端側(cè)大模型（Edge AI models），也就是只在設(shè)備本地（如智能手機、IoT設(shè)備、嵌入式系統(tǒng)等）運行的大模型，過去一兩年來非常流行。

具體表現(xiàn)在，終端設(shè)備廠商，如蘋果、榮耀、小米、OV等，AI公司如商湯科技，都推出了自研的純端側(cè)大模型。

端側(cè)大模型存在的意義，就是“以小博大”。

簡單來說，和云側(cè)大模型相比，端側(cè)大模型要在本地部署，所以參數(shù)規(guī)模都不大，不用擔(dān)心私密數(shù)據(jù)在推理時被泄露；不需要網(wǎng)絡(luò)傳輸，因此響應(yīng)速度更快；設(shè)備原生搭載，不需要租用云資源，用起來更省……

聽起來，端側(cè)大模型簡直是AI設(shè)備不可或缺的標(biāo)配啊。但實際情況，可能出乎很多人的意料。

我們在調(diào)研和使用多個終端廠商的大模型時發(fā)現(xiàn)，端云協(xié)同、云端大模型，才是大模型在端側(cè)的主流形式。

比如目前很流行的“手機拍照一鍵擦除背景人物”，僅靠端側(cè)大模型的計算能力是無法實現(xiàn)的，需要端云協(xié)同來完成。

再比如公文寫作、長文要點總結(jié)、PDF要點摘要等，端側(cè)大模型要么無法完成，比如榮耀、OPPO端側(cè)大模型都不支持PDF文本摘要，小米MiLM的支持度和生成效果也不夠好。

最終，用戶還是要訪問GPT-4、文心一言、智譜清言、訊飛星火、KIMI等云端大模型的網(wǎng)頁/APP，來滿足一些復(fù)雜AIGC任務(wù)需求。

不難看到，端側(cè)大模型聽起來很美，但真正用起來卻有點雞肋。

而隨著云端大模型“變大”（走向統(tǒng)一多模態(tài)）又“變小”（壓縮技術(shù)），留給“端側(cè)大模型”的時間，真的不多了。

端側(cè)大模型不是萬能的，但沒有云側(cè)大模型是萬萬不能的

目前來看，“端側(cè)大模型”收益和損失這筆賬，根本算不平。

先說收益，云端大模型比端側(cè)大模型對用戶的價值更大。

端側(cè)AI首先要保障用戶體驗，先有價值，再說其他。只能在設(shè)備本地運行，意味著“端側(cè)大模型”注定不會太大，必然限制了模型本身的性能表現(xiàn)，無法媲美云端大模型。

所以，用戶在使用端側(cè)大模型時，要犧牲一部分體驗，那么所獲得的收益是否更大呢？并不是。

云端大模型的能力變得越來越強大，與不得不“因小失大”的端側(cè)大模型，拉開了更大的體驗差距。比如近期OpenAI和谷歌斗得火熱的多模態(tài)大模型，GPT-4o和Gemini帶來令人驚艷的語音交互、多種模態(tài)一次生成等能力，處理圖片、視頻、音頻等數(shù)據(jù)和復(fù)雜邏輯，都要在云端運行。

一位國內(nèi)PC行業(yè)的資深從業(yè)者曾告訴腦極體，大模型出來之后我們硬件企業(yè)就在研究，怎么將大模型跟PC結(jié)合，究竟什么是真正的AI PC？結(jié)論就是，搭載了GPT-4（代指當(dāng)下最先進大模型）的硬件，確實可以叫“AI xx”，模型能力才是最核心的。

所以，想做好端側(cè)AI，端側(cè)大模型不是萬能的，但沒有云側(cè)大模型是萬萬不能的。

云端大模型不得不用，那端側(cè)大模型也一樣非用不可嗎？這就要來說說損失了。

不用端側(cè)大模型，并不會給用戶帶來更大的麻煩。

此前，終端追求搭載“端側(cè)大模型”，主要受限于兩點：計算瓶頸、安全顧慮。大模型推理對實時性的要求，云端相比本地的時延更高。此外，手機、PC涉及大量隱私數(shù)據(jù)，傳輸?shù)皆贫诉M行推理，讓很多人有顧慮。上述兩點“損失”正在被積極地解決。

比如前不久谷歌I/O大會上，就發(fā)布了響應(yīng)速度快、成本低的輕量化模型Gemini 1.5 Flash。谷歌采用了“蒸餾”方法，將較大Gemini 模型的核心知識和技能遷移到了更小、更高效的模型中，Gemini 1.5 Flash在摘要、聊天應(yīng)用、圖像和視頻字幕等多種任務(wù)中，有很好的表現(xiàn)，可以在不同平臺運行。

此外，本地計算硬件針對AI任務(wù)進行優(yōu)化，也可以提升云端推理服務(wù)的流暢度。目前x86、Arm陣營都在積極提升端側(cè)計算單元對AI專項任務(wù)的適配度，已經(jīng)有旗艦和高端手機支持實時運行大規(guī)模參數(shù)量的大模型。

數(shù)據(jù)安全層面，終端廠商和大模型企業(yè)都推出了相應(yīng)的隱私安全保護機制，通過“數(shù)據(jù)可用不可見”、脫敏、聯(lián)邦學(xué)習(xí)等多種手段，防范泄露風(fēng)險。

以一貫注重隱私安全的蘋果為例，也自研了端側(cè)模型OpenELM，可在手機和筆記本電腦等設(shè)備上運行，但在真正上線AIGC等能力時，據(jù)說也將選擇與大模型企業(yè)合作（國外據(jù)傳是OpenAI，國內(nèi)據(jù)傳是文心一言）。

綜上，使用“云端大模型”的收益正顯著增大，不用“端側(cè)大模型”的損失卻越來越小。這讓“以小博大”端側(cè)大模型，顯得越來越不劃算了。

接下來的故事也不難預(yù)測，隨著越來越多的終端企業(yè)，紛紛把云端大模型塞進設(shè)備，純端側(cè)大模型的存在會越來越尷尬，進入到“不好用－不愛用－更不好用”的循環(huán)中。

這端側(cè)大模型，終端廠商是非做不可嗎？

你可能會問了，既然端側(cè)大模型不如云端大模型好用，為什么終端廠商還都在下大力氣做呢？

客觀情況是，大模型必須得有，但終端廠商并不適合做云端大模型，所以端側(cè)、端云協(xié)同就成了必選項。

一位國內(nèi)某終端企業(yè)的負(fù)責(zé)人曾直言：即使我的研發(fā)費用再翻一倍，也沒法做像ChatGPT、AIGC、Sora這樣的通用大模型，還是會選擇跟百度、騰訊、阿里巴巴等伙伴合作。

比如榮耀正在引導(dǎo)百模千態(tài)，在手機中接入文心一言等通用大模型，以及高德地圖、航旅縱橫等行業(yè)大模型；華為在PC中接入了文心一言、訊飛星火、智譜AI的通用大模型，同時上線了基于自研盤古大模型的AI紀(jì)要功能……

從主觀角度猜測，終端廠商做端側(cè)大模型，既有品牌方面的考量，彰顯大模型技術(shù)的自研能力，也有“將靈魂握在自己手里”的考慮，類似于銀行、金融機構(gòu)、車企希望將數(shù)據(jù)這一核心優(yōu)勢，掌握在自己手里，打造行業(yè)大模型，而非交給大模型廠商。

終端廠商，既希望通過合作云端大模型，拔高AI設(shè)備的體驗優(yōu)勢，增強產(chǎn)品對消費者的吸引力，又希望通過自研抓住端側(cè)大模型，守住數(shù)據(jù)護城河，是進可攻、退可守的大模型策略。

我們預(yù)計，隨著云端大模型的性能、能力在非線性增長，終端廠商的純端側(cè)大模型，會被拉開越來越大的差距，無法成為消費者的購買決策依據(jù)。

不遠(yuǎn)的將來，能否在設(shè)備側(cè)整合優(yōu)質(zhì)云端大模型生態(tài)，會成為AI終端設(shè)備的賽點。

總結(jié)一下就是，端側(cè)大模型，終端廠商可以做，但沒必要。云側(cè)大模型，終端廠商必須有，且得比人強。

深度協(xié)作的不只大模型，還有兩類廠商

在一次與華為終端的交流中，對方提到：華為是唯一一個云側(cè)通用大模型、端側(cè)大模型全自研的終端廠商（指盤古大模型），這給AI硬件奠定了很好的基礎(chǔ)。比如要完成一個復(fù)雜的AIGC任務(wù)，可以拆分為云、端、邊緣等并行訓(xùn)練，兼顧推理效果、運行速度、數(shù)據(jù)安全等。

需要說明的是，上述思路仍處于概念驗證階段，目前我們還未能在華為終端設(shè)備上體驗到盤古大模型從云到端的深度整合。但這一理念，在邏輯上確實是說得通的——通過端云高效協(xié)同，可以建立起無短板的大模型產(chǎn)品力，打動AI硬件的潛在消費者，而這離不開終端廠商和通用大模型廠商的深度合作。

端側(cè)大模型和云側(cè)通用大模型全自有的終端企業(yè)，確實具備緊密融合的先天優(yōu)勢，不過，其他廠商也可以通過開放生態(tài)補足，形成一個更全面的AGI模型生態(tài)。

這對雙方來說，是一件互利共贏的事情：

通用大模型廠商，需要借助終端廠商的龐大設(shè)備生態(tài)，作為大模型落地的土壤，回收基座模型的龐大投入。借助端側(cè)的設(shè)備數(shù)據(jù)，更好地解決大模型的幻覺問題，推動模型進化。

而終端廠商，需要通用大模型（尤其是尖端版本的云端大模型）作為體驗支撐，為用戶提供最先進的AIGC應(yīng)用和體驗，避免在基座模型上投入太高的研發(fā)成本，也避免在AI體驗上被其他終端廠商拉大。

在此基礎(chǔ)上，終端廠商和云端通用大模型廠商還要抓緊解決的重點問題：

安全問題。如何在保證隱私數(shù)據(jù)的基礎(chǔ)上，學(xué)習(xí)設(shè)備數(shù)據(jù)，明確數(shù)據(jù)權(quán)益與責(zé)任歸屬，對數(shù)據(jù)產(chǎn)生的商業(yè)收益建立合理的分配機制。

開發(fā)者分利政策。無論是手機的AI應(yīng)用，還是云端大模型的AI應(yīng)用，都需要開發(fā)者來完成。終端開發(fā)者生態(tài)和大模型開發(fā)者生態(tài)的進一步打通，也會增加對開發(fā)者的吸引力，加速AI應(yīng)用的孵化。那么，如何共同賦能并分利給開發(fā)者，將成為兩類廠商合作與博弈的關(guān)鍵。

今年上半年，我們見證了通用大模型的諸多突破，留給端側(cè)大模型的時間已經(jīng)不多了，留給終端廠商構(gòu)建大模型共同體生態(tài)的機會窗口期，也并不會太久。

下半年，我們或?qū)⒁娮C一場“終端廠商+大模型廠商”攜手的“陣營戰(zhàn)”。

       原文標(biāo)題 : 留給“端側(cè)大模型”的時間不多了