飛象網(wǎng)訊（魏德齡/文）“10號(hào)”這一足球場(chǎng)上代表了球隊(duì)核心的號(hào)碼，隨著戰(zhàn)術(shù)理念的變化，其所屬球員的定義也正在發(fā)生改變，從原來(lái)的傳統(tǒng)組織核心，轉(zhuǎn)變?yōu)閮A向于全能中場(chǎng)的設(shè)定，要求球員在擁有聰明的頭腦之上，既能在關(guān)鍵時(shí)刻爆發(fā)能量、組織發(fā)起攻勢(shì)，還要有更高體能的耐力要求，與球隊(duì)達(dá)到共同施壓的效果。
隨著生成式AI在移動(dòng)終端上的初露端倪，對(duì)于如何策動(dòng)智能新體驗(yàn)，也在硬件能力上有了全新要求，就移動(dòng)賽場(chǎng)上的新“10號(hào)”而言，同樣少不了如同全能型中場(chǎng)一樣的上述三樣關(guān)鍵能力，并能夠?qū)崿F(xiàn)有效協(xié)同。
生成式AI時(shí)代的全能中場(chǎng)
聰明的頭腦確保了瞬間反應(yīng)能力，如在球場(chǎng)上敏銳地發(fā)現(xiàn)空檔，或快速進(jìn)行攔截。在智能終端上則代表了由用戶(hù)發(fā)出的按需型用例，并立即進(jìn)行響應(yīng)。例如圖片或視頻的拍攝、在PC上生成會(huì)議摘要，或在開(kāi)車(chē)時(shí)用語(yǔ)音查詢(xún)最近的加油站。
爆發(fā)能量組織發(fā)起攻勢(shì)則需要在一段時(shí)間內(nèi)進(jìn)行高強(qiáng)度的帶動(dòng)串聯(lián)。對(duì)于智能終端而言，則對(duì)應(yīng)了運(yùn)行時(shí)間較長(zhǎng)的持續(xù)型用例，如語(yǔ)音識(shí)別、游戲和視頻的超級(jí)分辨率、視頻通話(huà)的音視頻處理及實(shí)時(shí)翻譯。
持續(xù)的跑動(dòng)讓新10號(hào)能夠時(shí)刻能夠?qū)φw陣型與戰(zhàn)術(shù)作出貢獻(xiàn)，好比是智能終端上的泛在型用例，包括始終開(kāi)啟的預(yù)測(cè)性AI助手、基于情景感知的AI個(gè)性化和高級(jí)文本自動(dòng)填充。
從上述三項(xiàng)能力要求中不難發(fā)現(xiàn)，如同對(duì)于全能型中場(chǎng)的要求，終端上的移動(dòng)平臺(tái)其實(shí)存在著如在“性能爆發(fā)與持久續(xù)航”之間的矛盾點(diǎn)，這就需要利用內(nèi)部不同的處理器來(lái)進(jìn)行不同的任務(wù)，CPU擅長(zhǎng)于順序控制和即時(shí)性，GPU適合并行數(shù)據(jù)流處理，NPU擅長(zhǎng)標(biāo)量、向量和張量數(shù)學(xué)運(yùn)算，可用于核心AI工作負(fù)載。
也就是說(shuō)，通過(guò)使用合適的處理器，異構(gòu)計(jì)算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航，賦能全新增強(qiáng)的生成式AI體驗(yàn)。讓跑不累的新“10號(hào)”，還能有細(xì)膩的腳法與關(guān)鍵時(shí)刻的爆發(fā)力。
于是，不妨就來(lái)具體看看這名新“10號(hào)”的具體各項(xiàng)能力如何，以及它將如何進(jìn)行靈活運(yùn)用，來(lái)實(shí)現(xiàn)在AI上的全面表現(xiàn)。
高效組織的AI引擎
從上文中不難發(fā)現(xiàn)，移動(dòng)平臺(tái)中的眾多單元其實(shí)都參與了AI用例的運(yùn)算工作。在高通技術(shù)公司剛剛發(fā)布的最新白皮書(shū)《通過(guò)NPU和異構(gòu)計(jì)算開(kāi)啟終端側(cè)生成式AI》中將高通AI引擎定義為包括Hexagon NPU、Adreno GPU、高通Kryo或Oryon CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)，能夠支持按需型用例、持續(xù)型用例和泛在型用例，為生成式AI提供業(yè)界領(lǐng)先的異構(gòu)計(jì)算解決方案。
對(duì)于新“10號(hào)”，“球商”高不高無(wú)疑決定了上限將能夠達(dá)到何種水平。其中Hexagon NPU在近年來(lái)可謂迎來(lái)了巨大升級(jí)，在2020年高通Hexagon NPU實(shí)現(xiàn)了標(biāo)量、向量和張量加速器的架構(gòu)融合，打造了專(zhuān)用大共享內(nèi)存，為未來(lái)的進(jìn)一步升級(jí)奠定了基礎(chǔ)。2022年的第二代驍龍8中引入了微切片推理能力，可將神經(jīng)網(wǎng)絡(luò)分割成多個(gè)能夠獨(dú)立執(zhí)行的微切片，可最大化利用NPU中的加速器并降低功耗。2023年發(fā)布的第三代驍龍8，為持續(xù)AI推理帶來(lái)了98%的性能提升和40%能效提升，Hexagon NPU成為了面向終端側(cè)生成式AI大模型推理的領(lǐng)先處理器。
Adreno GPU可用于以高精度格式進(jìn)行AI并行處理，支持32位浮點(diǎn)、16位浮點(diǎn)和8位正數(shù)運(yùn)算。在第三代驍龍8中，基于Adreno GPU，Llama 2-7B每秒可生成超過(guò)13個(gè)tokens。
高通Oryon CPU在驍龍X Elite計(jì)算平臺(tái)上可謂實(shí)現(xiàn)了一鳴驚人，在功耗僅為競(jìng)品三分之一的情況下，可提供高達(dá)競(jìng)品兩倍的CPU性能，非常擅長(zhǎng)時(shí)延敏感型的低計(jì)算量AI工作負(fù)載。
同時(shí)，在整體架構(gòu)上，高通進(jìn)一步提升了AI引擎的運(yùn)行能力。例如作為大語(yǔ)言模型token生成瓶頸的內(nèi)存帶寬，一方面移動(dòng)平臺(tái)上的共享內(nèi)存機(jī)制帶來(lái)了天生的優(yōu)勢(shì)，另一方面高通還為第三代驍龍8配置了最快的內(nèi)存之一：4.8GHz LPDDR5x，支持77GB/s帶寬。
異構(gòu)計(jì)算也帶來(lái)在運(yùn)行生成式AI工作負(fù)載時(shí)的最佳解決方案，可充分利用所有處理器的能力，包括跨處理器和處理器內(nèi)核擴(kuò)展生成式AI處理，以及將生成式AI模型和用例映射至一個(gè)或多個(gè)處理器及內(nèi)核。
高通技術(shù)公司產(chǎn)品管理高級(jí)副總裁Ziad Asghar就舉例表示：當(dāng)應(yīng)用使用小模型時(shí)，CPU通常是正確的選擇。而當(dāng)模型變大時(shí)，GPU和NPU往往更合適。電池續(xù)航和能效對(duì)于持續(xù)和泛在型用例至關(guān)重要，因此NPU是最佳選擇。
當(dāng)新“10號(hào)”AI引擎具備了全面的能力，移動(dòng)賽場(chǎng)的新體驗(yàn)升級(jí)也將開(kāi)始策動(dòng)，下面不妨來(lái)看看當(dāng)下這個(gè)最為經(jīng)典的本地AI案例背后，新10號(hào)帶來(lái)了什么樣的臨場(chǎng)表現(xiàn)。
策動(dòng)智能新體驗(yàn)
AI個(gè)人助手恰好是一個(gè)充分體現(xiàn)AI引擎如何通過(guò)不同的處理器來(lái)完成工作負(fù)載的案例。
當(dāng)用戶(hù)與AI助手進(jìn)行交談時(shí)，通過(guò)高通傳感器中樞上運(yùn)行的OpenAI自動(dòng)語(yǔ)音識(shí)別生成式AI模型Whisper，可將語(yǔ)音轉(zhuǎn)化為文本。隨即在通過(guò)NPU上運(yùn)行的大語(yǔ)言模型Llama 2-7B生成文本回復(fù)。CPU再通過(guò)運(yùn)行開(kāi)源TTS模型將文本轉(zhuǎn)化為語(yǔ)音。整個(gè)過(guò)程中，NPU還負(fù)責(zé)實(shí)現(xiàn)虛擬化身與語(yǔ)音的輸出同步，再借助音頻創(chuàng)建融合變形動(dòng)畫(huà)，為嘴形和面部表情帶來(lái)合適的動(dòng)畫(huà)效果。GPU還會(huì)在最后完成虛擬化身的渲染。
綜上不難發(fā)現(xiàn)，整個(gè)過(guò)程盡可能的實(shí)現(xiàn)了本地完成。只有當(dāng)遇到如機(jī)票預(yù)定這類(lèi)聯(lián)網(wǎng)問(wèn)題時(shí)，才會(huì)通過(guò)云端的插件來(lái)完成操作。最大限度的確保了用戶(hù)隱私安全，同時(shí)也大大減輕了云端的功耗壓力。
大語(yǔ)言模型落地至端側(cè)的案例背后，其實(shí)也預(yù)言了生成式AI對(duì)于電子終端在交互方式上的變革。當(dāng)用戶(hù)只需通過(guò)簡(jiǎn)單的對(duì)話(huà)就能獲得想要的結(jié)果，調(diào)用開(kāi)啟相關(guān)功能，甚至是直接完成機(jī)票、商品的消費(fèi)時(shí)，就意味著電子終端將在交互上打破如今在不同應(yīng)用間的隔閡，用戶(hù)不用反復(fù)跳轉(zhuǎn)，就能在單一入口下達(dá)成所需。就像如今很多人開(kāi)始通過(guò)具備聯(lián)網(wǎng)能力的生成式AI，來(lái)替代傳統(tǒng)搜索引擎。
策動(dòng)這場(chǎng)智能新一輪體驗(yàn)變革的核心，無(wú)疑正是AI引擎。移動(dòng)賽場(chǎng)上正在迎來(lái)的戰(zhàn)術(shù)與理念變化，同樣也需要對(duì)于核心的重新定義，已經(jīng)展現(xiàn)出全能屬性的新“10號(hào)”正在躍躍欲試。
