前沿科技，數(shù)智經(jīng)濟(jì)

文 | 姚 悅

編 | 王一粟

(資料圖)

大模型“跑”進(jìn)手機(jī)，AI的戰(zhàn)火已經(jīng)從“云端”燒至“移動終端”。

“進(jìn)入AI時代，華為盤古大模型將會來助力鴻蒙生態(tài)。”8月4日，華為常務(wù)董事、終端BG CEO、智能汽車解決方案BU CEO 余承東介紹，通過盤古大模型的底層技術(shù)，Harmony OS帶來了下一代智能終端操作系統(tǒng)。

在手機(jī)上使用大模型早已不是新鮮事，此前ChatGPT、文心一言、妙鴨等APP、小程序都是通過調(diào)用云端算力，滿足手機(jī)終端AI應(yīng)用的需求。

下一步，則是讓大模型直接運行在手機(jī)上。

從今年四、五月開始，美國科技三巨頭——高通、微軟、英偉達(dá)，最受矚目的AI新星OpenAI，以及國內(nèi)AI“頭部戰(zhàn)隊”的騰訊、百度等，都已經(jīng)紛紛加速推進(jìn)在移動終端的輕量化部署AI大模型。高通甚至宣布，正在逐漸轉(zhuǎn)型成一家智能邊緣計算（在移動終端等數(shù)據(jù)源頭提供計算服務(wù)）的公司。

巨頭的群力強(qiáng)推下，大模型從云到端邁進(jìn)的產(chǎn)業(yè)趨勢已經(jīng)十分明確。

大模型為什么

要“跑”在手機(jī)上？

大模型的最大特點就是“大”，動輒百億千億甚至萬億參數(shù)，且為了更好運行大模型，算力集群都已經(jīng)升級到“萬卡”級別。如今，為什么又非要把大模型“塞”進(jìn)巴掌大的小手機(jī)？

大模型確實會給手機(jī)用戶帶來一些體驗上的提升。例如，華為終端智能助手小藝不僅可以根據(jù)語音提示推薦餐廳，還可以進(jìn)行摘要總結(jié)、信息檢索、多語種翻譯等信息處理，數(shù)千字的英文長文，具備大模型能力的手機(jī)智能助手就可以生成摘要，還可以翻譯成中文。尤其后一點，在信息爆炸時代，對于提高學(xué)習(xí)工作效率還是很有價值的。

華為終端BG AI與智能全場景業(yè)務(wù)部總裁賈永利解釋，一方面，大語言模型具備泛化能力，能夠幫助手機(jī)智能助手提升理解能力。另一方面，大模型Plug-in的插件能力，可以在手機(jī)內(nèi)部打通各應(yīng)用之間的壁壘，借助工具拓展能力。

此外，ChatGPT等AIGC應(yīng)用一直以來都伴隨著強(qiáng)烈的隱私安全爭議，但如果完全在端側(cè)運行，就能夠完全避免這一問題。因為大模型在端側(cè)運行，數(shù)據(jù)也不會離開端側(cè)。而且，這樣響應(yīng)的速度還會更快。

另一邊，大模型對于到手機(jī)等移動終端的需求也已經(jīng)非常迫切。

大模型的洶涌之勢讓云端越來越無法獨自承載算力的需求。高通高級副總裁Alex Katouzian近期就直言，“隨著連接設(shè)備和數(shù)據(jù)流量加速增長，疊加數(shù)據(jù)中心成本攀升，（我們）不可能將所有內(nèi)容都發(fā)送到云端?！?/p>

不算數(shù)據(jù)傳輸要消耗網(wǎng)絡(luò)帶寬、存儲，以及硬件等大量資源，光是云端算力現(xiàn)在已經(jīng)讓相關(guān)廠商有些吃不消。ChatGPT僅在推理階段，保守估計每個月算力成本在1000萬美元左右。

最大的問題還不是“貴”，而是“缺”。

此前，就連OpenAI創(chuàng)始人Sam Altaman都自曝GPU很缺，甚至直言不希望太多人用ChatGPT。近期，也有業(yè)內(nèi)人士推測，小型和大型云提供商的大規(guī)模H100集群容量即將耗盡，H100的需求趨勢至少會持續(xù)到2024年底。當(dāng)前英偉達(dá)H100的產(chǎn)能還嚴(yán)重受制于供應(yīng)鏈。

所以，云端和終端形成配合，手機(jī)等終端閑置算力資源被利用起來，解決“集中式”算力與“分布式”需求的錯配，已經(jīng)成為大模型發(fā)展“降本增效”的確定趨勢。更重要的是，相比數(shù)量有限的中心節(jié)點，眾多的移動終端堪稱觸及萬千場景的“毛細(xì)血管”，也就決定了這一入口會是大模型加速應(yīng)用滲透的關(guān)鍵。

如何把大模型“裝進(jìn)口袋”？

“相比傳統(tǒng)的PC或者服務(wù)器，移動終端最大的挑戰(zhàn)就是如何平衡好體驗和能耗，這是鴻蒙內(nèi)核設(shè)計最重要的核心點之一?！比A為終端業(yè)務(wù)軟件部總裁龔體強(qiáng)調(diào)。

大模型需要大量的計算資源和存儲資源，尤其是基于現(xiàn)有的手機(jī)硬件配置，這就需要軟件系統(tǒng)做好協(xié)調(diào)，提升效率降低能耗。

現(xiàn)在手機(jī)為了提高性能，至少是8個芯片內(nèi)核，就需要手機(jī)系統(tǒng)做協(xié)同，這個過程就會消耗大量算力。如果采用異構(gòu)資源調(diào)度，就可以高效協(xié)調(diào)CPU、GPU、NPU。龔體表示，這樣調(diào)度效率可以提升60%以上。

手機(jī)系統(tǒng)能夠進(jìn)行運算，調(diào)度的最小單位叫做線程，傳統(tǒng)的操作系統(tǒng)中往往上萬線程同時運行，其中就會存在大量無效線程。針對這點，就可以通過更輕量的并發(fā)模型來處理并發(fā)操作，降低無效線程切換對算力的消耗。據(jù)龔體說，并發(fā)模型可以讓任務(wù)切換開銷節(jié)省50%。

另外，在操作系統(tǒng)的任務(wù)調(diào)度方面，這也是影響流暢體驗的最基本要素，相比公平調(diào)度，動態(tài)優(yōu)先級調(diào)度會很大程度降低能耗。動態(tài)優(yōu)先級調(diào)度就類似于一個智能交通系統(tǒng)，可以根據(jù)道路狀況和交通流量，動態(tài)調(diào)整交通信號燈亮起狀態(tài)，如當(dāng)某個方向的車流增加時，該方向的信號燈就提前變綠，就會減少擁堵和延遲。

不過，要想讓大模型部署到手機(jī)上，還能運轉(zhuǎn)起來，光是手機(jī)操作系統(tǒng)升級改進(jìn)還遠(yuǎn)遠(yuǎn)不夠。

隨著大模型預(yù)測越來越準(zhǔn)確，網(wǎng)絡(luò)越來越深，神經(jīng)網(wǎng)絡(luò)消耗的內(nèi)存容量已成為核心問題。同時，還涉及內(nèi)存帶寬的問題，網(wǎng)路運行時，內(nèi)存、CPU和電池都會飛速消耗，這絕對是現(xiàn)在的手機(jī)難以承受之重。

因此，在部署到手機(jī)之前，就必須對大模型進(jìn)行壓縮，以降低對推理算力的需求。但是，一定要確保原有性能和精度基本不變。

量化就是一種常見且重要的壓縮操作，可以減少模型占用的內(nèi)存空間，提高推理性能。本質(zhì)上就是將浮點運算模型轉(zhuǎn)化為整數(shù)運算模型，因為整數(shù)運算比浮點運算精度更高，運算速度也更快。

當(dāng)前，量化技術(shù)也已經(jīng)在加速突破。服務(wù)器上訓(xùn)練的模型一般采用32位浮點運算（FP32），在手機(jī)端，高通已經(jīng)將FP32模型量化壓縮到INT4模型，實現(xiàn)64內(nèi)存和計算能效提升。高通的實現(xiàn)數(shù)據(jù)表明，在借助高通的量化感知訓(xùn)練后，不少AIGC模型可以量化至INT4模型，與INT8相比，性能提升約90%，能效提升大約60%。

大模型壓縮技術(shù)，無疑是AI巨頭制勝移動終端戰(zhàn)場的關(guān)鍵因素。這也在一定程度上，解釋了英偉達(dá)在今年2月為什么“悄悄”收購了掌握壓縮大模型技術(shù)的人工智能初創(chuàng)公司OmniML。

大模型倒逼終端硬件升級

“本年度我們將能夠支持參數(shù)達(dá)100億的生成式AI模型在手機(jī)上運行。”高通產(chǎn)品管理高級副總裁兼AI負(fù)責(zé)人Ziad Asghar近期則對外表示，100億-150億參數(shù)的模型可以覆蓋絕大多數(shù)AIGC用例。如果終端已經(jīng)可以支持這一參數(shù)級別，運算可全部在終端上進(jìn)行，手機(jī)會成為真正的個人助理。

但是，當(dāng)前新一代旗艦版手機(jī)芯片也就可以承載運行10億參數(shù)級大模型，高通在今年6月計算機(jī)視覺學(xué)術(shù)頂會 CVPR 上，成功演示的跑在安卓系統(tǒng)上的大模型，也不過15億參數(shù)。

參數(shù)躍升幾乎十倍，奔赴移動終端的大模型已踩下“油門”，那手機(jī)也就不得不加速升級才能應(yīng)對。

手機(jī)硬件亟需在AI加速器和內(nèi)存進(jìn)行革新。

首先，更大參數(shù)的大模型，需要更大的內(nèi)存和存儲空間來存儲模型參數(shù)和中間結(jié)果。這就要求移動終端內(nèi)存芯片容量，以及內(nèi)存接口帶寬都進(jìn)行升級。

其次，更大的參數(shù)勢必需要更強(qiáng)大的計算和推理能力，處理輸入數(shù)據(jù)和輸出結(jié)果。

雖然，目前手機(jī)芯片上的AI加速器（例如各種NPU IP）幾乎已經(jīng)是標(biāo)配，但設(shè)計基本上是針對上一代卷積神經(jīng)網(wǎng)絡(luò)設(shè)計，并不完全針對大模型。

為了適配大模型，AI加速器必須能有更大的內(nèi)存訪問帶寬，并減少內(nèi)存訪問延遲。這就需要AI加速器的接口上做出一些改變（例如分配更多的pin給內(nèi)存接口），同時也需要片上數(shù)據(jù)互聯(lián)做出相應(yīng)的改變，來滿足AI加速器訪存的需求。

高通能喊出“年內(nèi)100億參數(shù)跑手機(jī)”的重要原因之一，就是其手握搭載了高通史上最快速、最先進(jìn)的AI引擎的第二代驍龍8處理器，相比第一代驍龍8處理器，AI性能提升了4.35倍，能效提升60%。

當(dāng)然，超大規(guī)模參數(shù)大模型的訓(xùn)練和推理，即便在云端也亟待突破五堵墻：內(nèi)存墻+算力墻+通信墻+調(diào)優(yōu)墻+部署墻，手機(jī)更得一層一層去突破。

不過，從“智能”到“人工智能”，對于手機(jī)來說，機(jī)遇大于挑戰(zhàn)。

“創(chuàng)新周期對電子消費品的影響更為重要，甚至可以帶領(lǐng)一個產(chǎn)業(yè)走出經(jīng)濟(jì)周期的影響?！睒s耀終端CEO趙明判斷，當(dāng)前智能手機(jī)行業(yè)就處在一個AI、5G+開啟的新一輪創(chuàng)新周期中。

光錐智能“AI交流群”已建立，

感興趣的朋友可以添加小助手微信（GZZN2019）溝通進(jìn)群。

聯(lián)系我們

與主編交流、溝通請?zhí)砑游⑿牛篶ishicike000

商務(wù)合作請?zhí)砑游⑿牛篏ZZN2019

轉(zhuǎn)載開白請留言或添加微信：GZZN2019

※添加時請備注公司+姓名+來意

「往期精彩推薦」

深度研報：AI芯片廠商｜存算?一體｜存儲行業(yè)｜信創(chuàng)戰(zhàn)略｜2022智能汽車盤點（上）｜2022智能汽車盤點（下）｜化學(xué)電池｜人工智能機(jī)器人｜碳中和｜低代碼/無代碼｜VR/AR｜國產(chǎn)數(shù)據(jù)庫｜碳中和氫能｜協(xié)同辦公｜RISC-V芯片AI大爆炸：硅谷AI融資｜數(shù)字人｜消費物聯(lián)網(wǎng)｜京東大模型｜騰訊云MaaS｜世界人工智能大會｜阿里云｜ChatGPT｜AI并購潮｜云知聲山海大模型｜模型安全｜大模型創(chuàng)業(yè)｜國產(chǎn)大模型｜百度文心一言｜生成式AI｜火山方舟｜AI面試｜360大模型｜SaaS觀察|云計算：“東數(shù)西算”｜算力革命｜華為昇騰｜云廠商｜云數(shù)據(jù)庫｜阿里云算力｜亞馬遜云｜華為云｜云智一體｜云存儲｜云原生數(shù)據(jù)倉庫｜云大廠交戰(zhàn)“低代碼”｜微軟云｜云原生｜汽車云汽車智能化：上海車展｜禾賽科技上市｜港口自動駕駛｜零跑上市｜高通｜宏景智駕｜威馬上市｜小米造車｜車企自研自動駕駛｜自動駕駛黃金拐點｜高精地圖｜無人重卡｜飛行汽車｜港口自動駕駛｜宏景智駕｜硅谷明星無人車wayoo｜無人公交數(shù)智化案例：

金融數(shù)據(jù)?庫｜安全芯片｜國產(chǎn)GPU｜中國芯片投資十年｜蘋果芯片｜高通｜蘋果WWDC2022｜英偉達(dá)｜高科數(shù)聚｜菜鳥｜贏識科技｜零售行業(yè)數(shù)字化轉(zhuǎn)型

投稿、開白、

商務(wù)合作、應(yīng)聘

請?zhí)砑有≈?/strong>

更多精彩內(nèi)容

關(guān)注商業(yè)數(shù)據(jù)派