這個4月，成為國產(chǎn)大模型混戰(zhàn)期。

繼百度之后，阿里、華為、京東、360等大模型也陸續(xù)浮出水面，大模型軍備競賽正式開啟。

4月7日，阿里云宣布自研大模型“通義千問”開始邀請企業(yè)用戶測試體驗。

4月8日，華為云人工智能領域首席科學家田奇現(xiàn)身《人工智能大模型技術高峰論壇》，分享了華為云盤古大模型的進展及其應用。

同日，京東集團副總裁何曉冬表示，京東將在今年發(fā)布新一代產(chǎn)業(yè)大模型，言犀是“京東版”ChatGPT。

4月9日，360正式官宣，基于360GPT大模型開發(fā)的人工智能產(chǎn)品矩陣“360智腦”率先落地搜索場景，將面向企業(yè)用戶開放內(nèi)測。

但有業(yè)內(nèi)人士指出，大模型的訓練需要龐大的算力資源，GPU是大模型的最佳算力發(fā)動機。

截至目前，英偉達的GPU芯片正在為全球絕大多數(shù)的人工智能系統(tǒng)提供最基礎的算力支持。

那么，在GPU受限的情況下，國內(nèi)AI行業(yè)發(fā)展境況如何，能否交出屬于他們自己的答卷？未來的發(fā)展是否會與國外越差越大？

國內(nèi)廠商大囤AI芯片

眾所周知，OpenAI ChatGPT大模型能有今日風光，英偉達的芯片A100功不可沒。公開數(shù)據(jù)顯示，憑借10000片英偉達的GPU芯片，OpenAI成功訓練出了GPT-3大語言模型。

TrendForce研究顯示，以A100的算力為基礎，GPT-3.5大模型需要高達2萬枚GPU，未來商業(yè)化后可能需要超過3萬枚。

在這個ChatGPT的出圈元年，英偉達作為全球算力硬件當之無愧的龍頭公司，今年前三個月市值翻了一番。

近日，英偉達又不負眾望，推出了適用于ChatGPT的專用GPU，可以將推理速度提升10倍。

但值得注意的是，自2022年9月，美國禁止向國內(nèi)客戶售賣英偉達A100、H100和AMD的MI250人工智能芯片。

基于此，針對中國用戶，英偉達按照A800操作模式（A100芯片的降維版本），推出了完全符合出口規(guī)定的H100的降維版本芯片，具體參數(shù)并未公布。

然而，無論是A800，還是H100中國版本，都和國外市場可使用的原版芯片存在差距。

據(jù)公開信息顯示，英偉達專供中國的A800芯片，其傳輸速度只有A100的70%。

國內(nèi)企業(yè)擔心以后會買不到英偉達AI芯片，自美國制裁令開啟，就開始大舉囤芯片。

有廠家自去年下半年起就持續(xù)在市場中尋覓能拆出A100的各類整機產(chǎn)品，目的僅是獲得GPU芯片。

但據(jù)媒體報道，國內(nèi)擁有超高算力芯片的廠商并不多。國內(nèi)云廠商主要采用的是英偉達的中低端性能產(chǎn)品，擁有超過1萬枚GPU的企業(yè)不超過5家。其中，擁有1萬枚英偉達A100芯片的最多只有一家。

而國內(nèi)云計算相關專家認為，做好AI大模型的算力最低門檻，就是1萬枚英偉達A100芯片。

國內(nèi)外AI芯片存在差距

從長遠來看，未來大模型的研發(fā)和部署是必然趨勢，而每個大模型訓練和部署的背后，都有幾萬個GPU芯片在支持。因此，通用GPU市場需求將會迎來爆發(fā)式增長。

據(jù)Verified Market Research數(shù)據(jù)，2020年中國大陸的獨立GPU市場規(guī)模為47.39億美元，預計2027年將超過345.57億美元。

有業(yè)內(nèi)人士指出，作為大模型的主要入局者，國內(nèi)互聯(lián)網(wǎng)大廠擁有天然的數(shù)據(jù)優(yōu)勢，自然不希望因算力被卡在大模型能帶來的廣闊世界和商機之外。

在經(jīng)歷制裁后，國內(nèi)的大型互聯(lián)網(wǎng)企業(yè)在采購相關芯片時，盡管目前還是會購買英偉達，但也有相關的國產(chǎn)化替代方案。

因此，在這波替代潮中，國內(nèi)的寒武紀、昆侖芯、燧原、華為海思、海光、沐曦、摩爾線程等中國新一代GPU芯片研發(fā)公司，都將迎來非常大的機會。

但同時，也需要看到國產(chǎn)GPU芯片與國外的差距，具體而言：

大模型對于算力的需求分為兩個階段，一是訓練出ChatGPT這類大模型的過程；二是將這個模型商業(yè)化的推理過程。

在大模型訓練階段，需要處理高顆粒度的信息，對云端訓練芯片的芯片處理信息的精細度和算力速度要求更高，而現(xiàn)階段國產(chǎn)GPU大多還不具備支撐大模型訓練所需的能力。

不同于多媒體和圖形處理的單精度浮點計算（FP32）計算需求，在超算領域，雙精度浮點計算能力FP64是進行高算力計算的硬性指標。

英偉達的A100同時具備上述兩類能力，而國內(nèi)GPU芯片的云端訓練公司，大多只能處理單精度浮點計算，如壁仞科技（通用GPU芯片BR100）、天數(shù)智芯（“智鎧100”）、寒武紀（云端推理思元270）的產(chǎn)品在FP32的理論指標上做得不錯，但沒有處理FP64的能力。

根據(jù)公開消息，目前國內(nèi)唯一支持FP64雙精度浮點運算的只有海光推出的DCU（協(xié)處理器），但是它的性能只有A100的60%左右。

但有專家認為，國內(nèi)通用GPU產(chǎn)品在滿足大模型訓練上與國際旗艦產(chǎn)品存在差距，但并非不可彌補，只是此前行業(yè)在產(chǎn)品定義里未朝著大模型方向做設計。

目前國產(chǎn)GPU公司都在朝著大模型領域去做布局。

昆侖芯表示，昆侖芯2代芯片相較第一代產(chǎn)品大幅優(yōu)化了算力、互聯(lián)和高性能，公司正在不斷研發(fā)新的產(chǎn)品和技術，為ChatGPT等大模型的應用提供更佳的性能體驗。

登臨科技新一代Goldwasser產(chǎn)品針對基于Transformer的網(wǎng)絡和生成式AI類大模型的應用在性能有大幅提升，對標國際大廠的產(chǎn)品有明顯的能效比和性價比的優(yōu)勢。

燧原科技宣布對公司品牌做戰(zhàn)略升級，要打造AIGC時代的基礎設施。

摩爾線程則表示將推出基于公司全功能GPU的AIGC算力平臺。

此外，行業(yè)從業(yè)者也都在做相關的探索和努力，如思考能否通過Chiplet（將芯片堆疊或者并列擺放）、先進封裝的方式提高算力。

國產(chǎn)AI芯片尚需生態(tài)支撐

事實上，比起硬件性能上的差異，軟件適配與兼容讓國內(nèi)客戶接受更難。

當大模型和應用層面的競爭拉響，從商業(yè)角度思考，采用國產(chǎn)AI芯片參戰(zhàn)并不是好的選擇。

從硬件性能上，使用國產(chǎn)AI芯片計算會比采用英偉達A100慢，在分秒必爭的當下，“慢”是企業(yè)最不愿意看到的場景。

此外，哪怕能通過堆芯片的方式堆出一個算力相當?shù)漠a(chǎn)品，從服務器運營的角度，它的主板開銷、電費、運營費，以及需要考慮的功耗、散熱等問題，都會大大增加數(shù)據(jù)中心的運營成本。

對廠商而言，把國產(chǎn)AI芯片用起來并不容易。

算力的釋放需要復雜的軟硬件配合，才能將芯片的理論算力變?yōu)橛行�算力。國產(chǎn)AI芯片想要替換英偉達的GPU，需要突破CUDA生態(tài)和整個產(chǎn)業(yè)生態(tài)的壁壘。

先說CUDA，為了把GPU的算力能力進一步發(fā)揮，英偉達花了10年時間，投入3000多人打造了一個CUDA框架。這套框架里集成了很多調(diào)用GPU算力所需的代碼，工程師可以直接使用這些代碼，無須一一編寫。如果沒有這套編碼語言，軟件工程師發(fā)揮硬件價值的難度會變得極大。

目前世界上主流的深度學習框架都基于CUDA進行加速，整個產(chǎn)業(yè)中下游軟件、驅(qū)動廠家等都基于此進行適配。

這構成了一個極強大的生態(tài)壁壘，就像蘋果系統(tǒng)內(nèi)部的閉環(huán)生態(tài)，和window操作系統(tǒng)+上層應用軟件一樣。

尚處于創(chuàng)業(yè)階段的芯片設計公司，很難在生態(tài)上投入如此大的人力財力，大多會選擇兼容CUDA架構，來降低客戶使用門檻。

當然，也有部分公司會選擇自研加速器，如：寒武紀就構建了自己的加速平臺；昆侖芯也面向開發(fā)者提供了類似英偉達CUDA的軟件棧，希望打造自己的生態(tài)，也能擺脫硬件需受CUDA更新的困擾。

但即使有了這個編程框架，整個產(chǎn)業(yè)生態(tài)上的人也很難把這個芯片用起來。

對于企業(yè)來說，更換云端 AI 芯片要承擔一定的遷移成本和風險，除非新產(chǎn)品存在性能優(yōu)勢，或者能在某個維度上提供其他人解決不了的問題，否則客戶更換的意愿很低。

為此，國內(nèi)從業(yè)者已經(jīng)在構建生態(tài)上做努力。

在一個AI生態(tài)中，支撐大模型訓練需求，需要底層硬件、中間深度學習平臺、上層應用軟件的整體適配、互相支持。

例如，2022年4月，百度飛漿已完成和包括百度昆侖芯、華為昇騰在內(nèi)的22家國內(nèi)外硬件廠商，31種芯片的適配和優(yōu)化，基本覆蓋國內(nèi)主流芯片。

昆侖芯和飛漿完成3級兼容性適配，登臨科技和飛漿也完成2級適配，沐曦集成電路和飛漿完成1級兼容性測試。

除此之外，華為的MindSpore和愛可生向量數(shù)據(jù)庫兼容；智源研究院的九鼎智算平臺也在和多家國內(nèi)AI芯片公司合作。

結(jié)語

未來，大模型訓練對算力的需求會越來越大。想要參戰(zhàn)大模型競賽，算法、算力、數(shù)據(jù)環(huán)環(huán)相扣。

在最卡脖子的芯片環(huán)節(jié)，如何縮小差距，成為國內(nèi)廠商求共解的命題。

【科技云報道原創(chuàng)】

轉(zhuǎn)載請注明“科技云報道”并附本文鏈接

       原文標題 : GPU受限，國內(nèi)AI大模型能否交出自己的答卷？