根據(jù)世界經(jīng)濟(jì)論壇的估算,2020年全世界產(chǎn)生了超過44ZB的數(shù)據(jù)量,而在十年前全球的數(shù)據(jù)總量還只有1ZB。

數(shù)據(jù)量的指數(shù)級增長,預(yù)示著人類文明徹底進(jìn)入了數(shù)字化時代,數(shù)據(jù)已經(jīng)成為人類存在的另一種方式。特別是在新基建、數(shù)字經(jīng)濟(jì)等宏觀話題大行其道的當(dāng)下,數(shù)據(jù)的存儲、挖掘、應(yīng)用早已和經(jīng)濟(jì)直接掛鉤。

11月18日的國際超級計算大會SC21上,正式公布了最新的全球IO500榜單。其中華為OceanStor Pacific存儲在IO500榜單和10節(jié)點榜單中均名列第二,刷新了華為覇榜IO500的新紀(jì)元。

作為存儲性能最權(quán)威的世界排行榜之一,IO500包括總榜單和10節(jié)點榜單兩大類別。由于10節(jié)點榜單將基準(zhǔn)性能測試限制為10個計算節(jié)點,可以準(zhǔn)確反應(yīng)存儲系統(tǒng)為實際程序提供的I/O性能,被視為衡量超級計算機(jī)應(yīng)用效率的核心指標(biāo)。

當(dāng)華為OceanStor Pacific代表的企業(yè)占領(lǐng)IO500榜單的頭部,乃至將榜單前三名均收入囊中的時候,對整個存儲市場意味著什么?

01 高性能計算三部曲

想要理解數(shù)據(jù)存儲性能的價值所在,似乎有必要回顧下高性能計算(HPC)的進(jìn)化歷程。畢竟在人類從工業(yè)文明邁向信息文明的過程中,HPC扮演了不可或缺的角色,甚至說是科技創(chuàng)新的典型標(biāo)桿。

以往在復(fù)盤HPC進(jìn)化史的時候,不少人習(xí)慣按照時間軸進(jìn)行整理,直觀地展現(xiàn)算力上的爆炸性增長。倘若從需求驅(qū)動的思路審視HPC的發(fā)展史,或許可以找到一個新的視角,即應(yīng)用需求深度影響了HPC的進(jìn)化方向。

最早的“超級計算機(jī)”屬于政府主導(dǎo)的項目,第一臺電子計算機(jī)ENIAC的誕生為起點,HPC在長達(dá)幾十年的時間里被應(yīng)用于高能物理、流體力學(xué)等學(xué)術(shù)領(lǐng)域,數(shù)值計算的場景決定了HPC不斷提升計算能力的演變軌跡。

隨著越來越多的商業(yè)公司進(jìn)入到計算產(chǎn)業(yè),HPC的應(yīng)用場景逐步向油氣勘探、氣象預(yù)測、芯片研發(fā)等領(lǐng)域傾斜,模擬仿真的需求漸漸超過了數(shù)值計算,HPC的進(jìn)化不再只是主攻算力,而是存儲、網(wǎng)絡(luò)等多元化的性能。

到了2020年前后,自動駕駛、基因測序、深空探索等商業(yè)智能蓬勃向上,HPC的應(yīng)用場景也進(jìn)一步轉(zhuǎn)變:需要卷積更多的歷史數(shù)據(jù)參與計算分析,不斷提升分析的精度,對數(shù)據(jù)存儲的性能需求逐漸上升到了新的高度。

正是在這樣的大背景下,John Bent、Julian Kunkel、Jay Lofstead在內(nèi)的學(xué)者紛紛推動IO性能的測試方法、基準(zhǔn)測試程序和規(guī)則,通過模擬應(yīng)用需要的不同IO模型,驗證數(shù)據(jù)帶寬(GIB/s)和元數(shù)據(jù)(KIOP/S)兩個關(guān)鍵維度的性能表現(xiàn),并在一些TOP500計算機(jī)上進(jìn)行了測試。

2017年的國際超級計算大會上,VI4IO組織公布了第一份IO500榜單,約定每年在SC和ISC大會上各更新一次排名。

IO500榜單的出現(xiàn)就像是一道江湖集結(jié)令,拉開了各路英雄角逐存儲性能的序幕:新興存儲硬件層出不窮,新興文件系統(tǒng)應(yīng)運(yùn)而生,標(biāo)準(zhǔn)和架構(gòu)也不斷推陳出新,數(shù)據(jù)存儲進(jìn)入了群雄逐鹿的年代。

畢竟HPC領(lǐng)域的所有玩家都明白一個道理:現(xiàn)實中許多場景參與計算的數(shù)據(jù)量已經(jīng)達(dá)到了PB級,計算過程中需要頻繁進(jìn)行訪存操作,存儲性能直接影響著計算的效率,同時對數(shù)據(jù)可靠性和安全性的要求也越來越高。數(shù)據(jù)存儲性能預(yù)料之中的成了高性能計算的聚焦點,也是各大廠商的必爭之地。

02 HPDA的產(chǎn)業(yè)態(tài)勢

為何IO500榜單有這么大的魔力?答案還要從需求的變化說起。就像在HPC的進(jìn)化歷程中,一個明顯的態(tài)勢是從“以計算為中心”到“以數(shù)據(jù)為中心”的轉(zhuǎn)變,進(jìn)入到了“數(shù)據(jù)密集型”的新階段。

國際權(quán)威分析師機(jī)構(gòu)Hyperion Research,曾在2020年對全球HPC市場的增速做出預(yù)測:2019年到2024年的時間周期內(nèi),存儲市場的復(fù)合增長率有望達(dá)到12．1%,遠(yuǎn)高于服務(wù)器、中間件、應(yīng)用、服務(wù)等市場。

之所以給出這樣的判斷,離不開一個特定的產(chǎn)業(yè)共識:在自動駕駛、氣象預(yù)測、宇宙探索等熱門的應(yīng)用場景中,HPC和AI、大數(shù)據(jù)的融合越來越緊密,HPC向HPDA(數(shù)據(jù)密集型超算)的演進(jìn),屢屢成為行業(yè)論壇上的主流議題。

可以找到的例子有很多。

過去地震勘探是二維的,從二維到三維的演進(jìn)中,采集和處理的數(shù)據(jù)量增加了5—10倍;電影渲染逐漸從2K向4K乃至8K過渡,對應(yīng)的數(shù)據(jù)量增加了16倍;衛(wèi)星測繪領(lǐng)域的精度從20米縮小到2米,數(shù)據(jù)量同比增長了70倍……再加上數(shù)據(jù)分析處理的算法越來越復(fù)雜,采集、存儲、處理、存檔的數(shù)據(jù)量呈現(xiàn)出爆炸式增長。

然而傳統(tǒng)的HPC存儲主要用于建模和仿真,包括項目文件共享、搜索、歸檔等等,主要是結(jié)構(gòu)化的數(shù)據(jù),且通常是基于順序的大I/O型。但人工智能的工作流程涉及到數(shù)據(jù)收集、注入、訓(xùn)練、推理和歸檔,不僅涵蓋結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù),數(shù)據(jù)存取的場景也更加復(fù)雜,AI負(fù)載需要順序大I/O型和隨機(jī)小I/O型的組合,特別是AI數(shù)據(jù)集標(biāo)注的元數(shù)據(jù)管理,需要快速的隨機(jī)小I/O型。

也就是說,推動數(shù)據(jù)存儲性能不斷提升的因素,絕不只是IO500榜單,而是隱藏在榜單背后的市場需求。傳統(tǒng)HPC的數(shù)據(jù)存儲已經(jīng)跟不上需求,能否打破數(shù)據(jù)存儲、性能、效率的限制,已經(jīng)是HPC產(chǎn)業(yè)革新的掣肘因素。

按照Hyperion Research在《HPDA趨勢白皮書》中的建議,針對HPDA負(fù)載中經(jīng)常出現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù),數(shù)據(jù)存儲應(yīng)該進(jìn)行針對性的創(chuàng)新,包括支持不同的I/O模型、支持多協(xié)議訪問、支持各種數(shù)據(jù)訪問頻率、高密度高效設(shè)計等等,不斷提升數(shù)據(jù)利用率,進(jìn)一步釋放數(shù)據(jù)潛力。

恰恰是數(shù)據(jù)存儲的新一輪革命,為華為等企業(yè)提供了重拾話語權(quán)的機(jī)會,并趁機(jī)進(jìn)行直線超車。

03 華為越級的硬實力

也就解釋了文初的一幕:幾年前的IO500榜單還被Intel、DDN、IBM等企業(yè)占領(lǐng),當(dāng)HPC向HPDA演進(jìn)的時候,華為OceanStor Pacific等新勢力頻頻出現(xiàn),而且就拿到了讓人振奮的位次。

如同中國超算力量的強(qiáng)勢崛起,華為OceanStor Pacific斬獲IO500榜單全球第二的消息并不令人意外。在這場技術(shù)硬實力的較量中,華為OceanStor Pacific的“越級”離不開4000多位研發(fā)人員夜以繼日的努力,以及3000多項專利構(gòu)成的技術(shù)創(chuàng)新,打破了HPC產(chǎn)業(yè)的三重壁壘:

一是多業(yè)務(wù)混合負(fù)載能力。傳統(tǒng)HPC存儲只支持單一負(fù)載,形成了性能上的孤島,導(dǎo)致流程間的數(shù)據(jù)需要在不同存儲間遷移,可以說是效率降低的“元兇”。

華為OceanStor Pacific存儲搭載了新一代并行文件系統(tǒng),針對傳統(tǒng)HPC的問題進(jìn)行了對癥下藥:采用目錄DHT分區(qū)、大IO直通小IO聚合、多粒度磁盤空間管理列技術(shù),一套存儲同時實現(xiàn)了大文件高帶寬、小文件高IOPS,配合分布式并行客戶端技術(shù),輕松滿足了客戶對多業(yè)務(wù)混合負(fù)載的需求。

二是多協(xié)議無損互通方案。在數(shù)據(jù)處理過程中,多樣性的數(shù)據(jù)轉(zhuǎn)化、拷貝、加載等環(huán)節(jié)就占據(jù)了35%以上的時間,人為制造了阻礙效率升維的格式壁壘。

華為OceanStor Pacific的切入點是協(xié)議互通,通過統(tǒng)一的數(shù)據(jù)管理系統(tǒng)和硬件資源池,文件、對象、大數(shù)據(jù)客戶端可以同時讀寫同一個文件,不需要協(xié)議轉(zhuǎn)換的過程,讓數(shù)據(jù)分析的效率提升了30%以上,并且避免了數(shù)據(jù)拷貝產(chǎn)生的冗余副本,節(jié)省了端到端的存儲資源,讓硬件發(fā)揮出極限性能。

三是超高密設(shè)計的硬件。當(dāng)海量數(shù)據(jù)的價值被進(jìn)一步分析挖掘,就需要保留更多更長久的數(shù)據(jù)資源,對機(jī)房空間、功耗、存儲成本等都提出了新的挑戰(zhàn)。

為了解決這些“癢點”,華為OceanStor Pacific推出了系列化超高密硬件,支持不同硬件間的數(shù)據(jù)自動分級,全面降低了HPC場景的存儲成本。以華為OceanStor Pacific 9950為例,每個5U機(jī)箱可容納8個存儲節(jié)點,提供128TB至614．4TB裸容量,節(jié)省了60%以上的機(jī)柜空間和能耗。

可以看到,華為OceanStor Pacific的軟硬件創(chuàng)新,填補(bǔ)了HPC向HPDA轉(zhuǎn)型的數(shù)據(jù)存儲短板,無形中為HPDA進(jìn)程按下了“快進(jìn)鍵”,也為站在轉(zhuǎn)型節(jié)點上的企業(yè),提供了迎合數(shù)據(jù)密集型趨勢的“理想之選”。

04 寫在最后

衡量一款產(chǎn)品、一家企業(yè)的價值標(biāo)桿,絕非是這樣或那樣的榜單,倘若只是靜靜地躺在榜單上,再好的結(jié)果也沒有太大的意義。盡管是IO500榜單上一鳴驚人的新秀,但華為OceanStor存儲并不讓人陌生。

中石化物探研究院采用華為OceanStor存儲的服務(wù),降低了30%的數(shù)據(jù)存儲成本,勘探效率提升了16%,運(yùn)維管理成本降低了50%;上海天文臺在華為OceanStor存儲的幫助下,搭建了世界首臺SKA原型機(jī),性能較傳統(tǒng)存儲提升了10倍;華大基因?qū)⑷A為OceanStor存儲用于無創(chuàng)產(chǎn)前基因檢測業(yè)務(wù)模型中,數(shù)據(jù)存儲性能提升了30%左右,基因檢測報告從15天壓縮到了7天……

相較于那些為了沖榜而送測的企業(yè),華為OceanStor Pacific正在以一種潤物細(xì)無聲的方式滲透進(jìn)社會生活的方方面面,幫助千行百業(yè)解決數(shù)據(jù)密集型升級帶來的挑戰(zhàn),IO500榜單第二的殊榮不過是水到渠成的結(jié)果。