維科杯· OFweek 2024(第九屆)人工智能行業(yè)年度評選(OFweek 9th AI Awards 2024)由高科技行業(yè)門戶舉辦已有數(shù)年,作為高科技產(chǎn)業(yè)的核心評選活動(dòng),該評選是人工智能行業(yè)內(nèi)的一大品牌盛會(huì),亦是高科技行業(yè)具有專業(yè)性、影響力的評選之一。

此次活動(dòng)旨在為人工智能行業(yè)的產(chǎn)品、技術(shù)和企業(yè)搭建品牌傳播展示平臺(tái),并借助OFweek平臺(tái)資源及影響力,向行業(yè)用戶和市場推介創(chuàng)新產(chǎn)品與方案,鼓勵(lì)更多企業(yè)投入技術(shù)創(chuàng)新;同時(shí)為行業(yè)輸送更多創(chuàng)新產(chǎn)品、前沿技術(shù),一同暢想人工智能行業(yè)的未來。

維科杯· OFweek 2024(第九屆)人工智能行業(yè)年度評選(OFweek 9th AI Awards 2024)將于2024年7月1日-7月19日進(jìn)入網(wǎng)絡(luò)投票階段,頒獎(jiǎng)典禮將于8月28日在深圳舉辦。目前,活動(dòng)正處于火熱的企業(yè)申報(bào)階段,業(yè)內(nèi)企業(yè)積極響應(yīng)。

寒武紀(jì)參評“維科杯·OFweek 2024人工智能行業(yè)技術(shù)突破獎(jiǎng)”

參評獎(jiǎng)項(xiàng):維科杯·OFweek 2024人工智能行業(yè)技術(shù)突破獎(jiǎng)

參評項(xiàng)目:寒武紀(jì)基礎(chǔ)系統(tǒng)軟件平臺(tái)(訓(xùn)練及推理軟件平臺(tái))

項(xiàng)目亮點(diǎn):

(1)訓(xùn)練軟件平臺(tái)

報(bào)告期內(nèi),公司持續(xù)推進(jìn)訓(xùn)練軟件棧的研發(fā)和改進(jìn),新增加了功能和通用性支持,并大力推進(jìn)大模型及推薦系統(tǒng)業(yè)務(wù)的支持和優(yōu)化。

在新增功能方面,訓(xùn)練軟件平臺(tái)為客戶模型遷移提供了多種工具,降低了客戶的適配遷移成本。公司重點(diǎn)投入分布式和大規(guī)模集群的軟件棧支撐,增加支持了多個(gè)分布式訓(xùn)練庫,使訓(xùn)練軟件棧能夠支撐更多大模型分布式訓(xùn)練需求。軟件棧完成了對典型操作系統(tǒng)的支持和發(fā)布,支持了生態(tài)的發(fā)展。

在通用性方面,公司增加了框架算子的支持?jǐn)?shù)量,完成了重點(diǎn)客戶提出的大量定制化算子擴(kuò)展需求, 適配了多個(gè)重點(diǎn)客戶的業(yè)務(wù)場景, 實(shí)現(xiàn)了更全面的數(shù)據(jù)類型支持,更好地支撐了大模型訓(xùn)練場景。

在性能方面, 公司通過重點(diǎn)客戶性能優(yōu)化需求的牽引,針對多個(gè)網(wǎng)絡(luò)進(jìn)行了優(yōu)化,分析并實(shí)現(xiàn)了多個(gè)算子和框架層面的性能優(yōu)化點(diǎn),并在通信上持續(xù)進(jìn)行了單機(jī)多卡和多機(jī)多卡的低延遲優(yōu)化,通信延遲和帶寬利用率達(dá)到了業(yè)界領(lǐng)先水平。

在大模型訓(xùn)練領(lǐng)域,公司完善了大模型的訓(xùn)練軟件棧研發(fā),進(jìn)行了多個(gè)大模型的微調(diào)及預(yù)訓(xùn)練支持工作。 通過持續(xù)的技術(shù)優(yōu)化和適配工作, 進(jìn)一步優(yōu)化了大模型訓(xùn)練性能,在大模型訓(xùn)練的性能和精度方面都取得了較強(qiáng)的競爭力,達(dá)到業(yè)務(wù)落地的性能和精度要求。 報(bào)告期內(nèi),公司成功驗(yàn)證了大模型在分布式集群上的預(yù)訓(xùn)練功能,實(shí)現(xiàn)了較長時(shí)間的穩(wěn)定運(yùn)行,且計(jì)算效率達(dá)到了業(yè)界領(lǐng)先水平。

此外,在搜索、廣告推薦領(lǐng)域進(jìn)行了優(yōu)化或完成組件開發(fā), 支撐多家客戶的私有網(wǎng)絡(luò)適配工作,客戶需求網(wǎng)絡(luò)性能遠(yuǎn)超既定目標(biāo)。 完成了蛋白質(zhì)模型領(lǐng)域的網(wǎng)絡(luò)訓(xùn)練任務(wù)。

( 2)推理軟件平臺(tái)

報(bào)告期內(nèi),公司開發(fā)了支持大語言模型和多模態(tài) AIGC 推理業(yè)務(wù)的基礎(chǔ)軟件,并分別對傳統(tǒng)模型和生成式大模型進(jìn)行了持續(xù)性能優(yōu)化,加速了實(shí)際應(yīng)用部署。

針對傳統(tǒng)模型推理業(yè)務(wù)的性能優(yōu)化,在包括語音合成、搜索推薦和視覺處理等領(lǐng)域的高頻使用網(wǎng)絡(luò)中,公司通過持續(xù)的優(yōu)化工作,確保了該業(yè)務(wù)模型保持業(yè)界領(lǐng)先水平,滿足客戶業(yè)務(wù)的落地需求。

在大語言模型推理業(yè)務(wù)方面,公司研發(fā)了分布式推理加速庫 BangTransformer,適配了主流大模型,經(jīng)過深度性能優(yōu)化,大模型推理達(dá)到了業(yè)界領(lǐng)先的模型計(jì)算效率,并成功實(shí)現(xiàn)了在客戶業(yè)務(wù)環(huán)境下的應(yīng)用。公司將 BangTransformer 集成到部分開源大模型推理框架中,進(jìn)一步豐富了大模型生態(tài)系統(tǒng)。

在推理性能提升方面, BangTransformer 引入了多項(xiàng)優(yōu)化技術(shù),相較于傳統(tǒng)框架,顯著提高了運(yùn)行效率。在圖像生成領(lǐng)域,利用 MagicMind 對 StableDiffusion 等關(guān)鍵網(wǎng)絡(luò)進(jìn)行了優(yōu)化和加速,成功服務(wù)了客戶基于寒武紀(jì)推理軟件平臺(tái)的應(yīng)用。

參評理由:

2023年,寒武紀(jì)基礎(chǔ)系統(tǒng)軟件平臺(tái)的持續(xù)優(yōu)化,軟硬件平臺(tái)易用程度有所提升,生態(tài)建設(shè)持續(xù)發(fā)展; 憑借過硬的技術(shù)能力,良好的服務(wù)意識(shí),公司品牌影響力也在持續(xù)增強(qiáng)。此外,公司重視產(chǎn)學(xué)合作,已和多所高校開設(shè)了基于寒武紀(jì)平臺(tái)的人工智能課程,建立了較完善的高校課程生態(tài)體系,此舉將進(jìn)一步助力公司生態(tài)建設(shè)的發(fā)展。

企業(yè)介紹:

寒武紀(jì)成立于2016年,專注于人工智能芯片產(chǎn)品的研發(fā)與技術(shù)創(chuàng)新,致力于打造人工智能領(lǐng)域的核心處理器芯片,讓機(jī)器更好地理解和服務(wù)人類。

寒武紀(jì)提供云邊端一體、軟硬件協(xié)同、訓(xùn)練推理融合、具備統(tǒng)一生態(tài)的系列化智能芯片產(chǎn)品和平臺(tái)化基礎(chǔ)系統(tǒng)軟件。寒武紀(jì)產(chǎn)品廣泛應(yīng)用于服務(wù)器廠商和產(chǎn)業(yè)公司,面向互聯(lián)網(wǎng)、金融、交通、能源、電力和制造等領(lǐng)域的復(fù)雜 AI應(yīng)用場景提供充裕算力,推動(dòng)人工智能賦能產(chǎn)業(yè)升級(jí)。

投票時(shí)間:

本屆“OFweek 9th AI Awards 2024”活動(dòng)將于7月1日進(jìn)入投票階段,請關(guān)注維科網(wǎng)人工智能相關(guān)評選新聞,歡迎屆時(shí)踴躍投票。

人工智能年度評選專題鏈接:

http://m.renttoownconsultants.com/award/2024/AI/

參評表單:

https://forms.ofweek.com/Form/preview/form_id/1652