侵權(quán)投訴
訂閱
糾錯
加入自媒體

以融合之勢,突破困局 | 極道Achelous統(tǒng)一計算系統(tǒng),助力企業(yè)數(shù)據(jù)“加速跑”

2021-05-31 18:03
來源: 粵訊

對大數(shù)據(jù)的分析處、處理,是將數(shù)據(jù)從低價值密度體中煉到高價值密度體的過程,被現(xiàn)代商業(yè)譽為“煉金術(shù)”。這也是數(shù)據(jù)資源轉(zhuǎn)化為數(shù)據(jù)資產(chǎn)的過程,然而由于數(shù)據(jù)規(guī)模龐大、數(shù)據(jù)類型眾多,使得數(shù)據(jù)價值的實現(xiàn)仍然存在很高的技術(shù)門檻,企業(yè)用戶也日益被大數(shù)據(jù)生態(tài)的復(fù)雜性所困。

企業(yè)“海量數(shù)據(jù)”之困

企業(yè)在擁有了海量非結(jié)構(gòu)化數(shù)據(jù)之后,要將這些數(shù)據(jù)同實際業(yè)務(wù)、商業(yè)目的和運營目標(biāo)相結(jié)合,對多樣性數(shù)據(jù)進行融合分析處理成為必然,這使得數(shù)據(jù)分析和加工部門需投入大量的人力物力進行數(shù)據(jù)分析、處理、加工和學(xué)習(xí),以得到有價值的結(jié)果輸出。

雖然數(shù)據(jù)分析本身是與行業(yè)和業(yè)務(wù)相關(guān),但非結(jié)構(gòu)化數(shù)據(jù)的分析計算模式是共通的。隨著技術(shù)發(fā)展,傳統(tǒng)批量計算、高性能計算、大數(shù)據(jù)分析、人工智能(分布式機器學(xué)習(xí)/深度學(xué)習(xí))等數(shù)據(jù)并行處理、分析方法相繼誕生,以滿足各行業(yè)數(shù)據(jù)分析需求。

在實際應(yīng)用中,企業(yè)各部門將以不同的計算模式,來構(gòu)建所需的系統(tǒng)和計算集群,但這種割裂的計算集群卻造成了重復(fù)建設(shè)和資源浪費。而隨著業(yè)務(wù)的推進,同一批數(shù)據(jù)在不同處理階段所需的分析方法不同,計算分析基礎(chǔ)架構(gòu)還需要掌握復(fù)雜的技術(shù)棧,以及數(shù)據(jù)分析前期的服務(wù)部署能力。

另外,由于計算模式多樣化帶來的資源壁壘,企業(yè)還需要投入巨大的成本;數(shù)據(jù)計算系統(tǒng)建立后,數(shù)據(jù)分析人員如果沒有能力設(shè)計高度并行和健壯的數(shù)據(jù)分析流程,需要經(jīng)過漫長等待才能夠獲得結(jié)果。

降低海量非結(jié)構(gòu)化數(shù)據(jù)使用門檻 助力企業(yè)數(shù)據(jù)“加速跑”

為了幫助企業(yè)用戶解決數(shù)據(jù)分析門檻高、效率低的問題,極道潛心打造了Achelous統(tǒng)一計算系統(tǒng)。這是一款融合多種計算于同一套物理集群、支持EB級海量數(shù)據(jù)分析、處理、訓(xùn)練的系統(tǒng),并且Achelous有能力跟不同特征的存儲系統(tǒng)配合,做到計算與存儲應(yīng)用感知,輕松構(gòu)建復(fù)雜數(shù)據(jù)流的智能融合計算平臺,降低企業(yè)IT建設(shè)投入

Achelous統(tǒng)一計算系統(tǒng)以統(tǒng)一的數(shù)據(jù)處理引擎更高效地挖掘數(shù)據(jù)價值,以智能化的方式驅(qū)動整個數(shù)據(jù)處理閉環(huán),計算效率與資源利用的大幅提升,為開發(fā)者、企業(yè)、以及政府的數(shù)字化、智能化升級打下堅實基礎(chǔ)。

降低構(gòu)建業(yè)務(wù)數(shù)據(jù)分析流程難度

Achelous 是極道提供的調(diào)度復(fù)雜工作流或數(shù)據(jù)流的調(diào)度器和執(zhí)行引擎。為了降低業(yè)務(wù)專家利用現(xiàn)有的算法和模型進行并行編程的難度,Achelous統(tǒng)一計算系統(tǒng)提供執(zhí)行引擎以及多種表達方式,進行數(shù)據(jù)流業(yè)務(wù)的組合編程。

業(yè)務(wù)專家只需描述所要分析業(yè)務(wù)的分析階段,以及數(shù)據(jù)依賴關(guān)系,系統(tǒng)將自動構(gòu)建負載的批量處理有向圖,并生成機器代碼調(diào)度執(zhí)行。例如,應(yīng)用領(lǐng)域?qū)S谜Z言(BSL、WDL)編寫工作流(Pipeline),業(yè)務(wù)專家可以動態(tài)構(gòu)建自己的大數(shù)據(jù)或者人工智能應(yīng)用,按照數(shù)據(jù)依賴進行計算。實現(xiàn)完整的數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)挖掘和機器學(xué)習(xí)建模等業(yè)務(wù)流程,極大地簡化了業(yè)務(wù)專家的數(shù)據(jù)處理流程,并大幅提高工作效率。

自動構(gòu)建跨應(yīng)用計算框架工作流

基于Achelous統(tǒng)一計算系統(tǒng),用戶面對設(shè)計復(fù)雜跨框架的數(shù)據(jù)流,需要高并發(fā)或高通量計算時,只需要制定計算框架和預(yù)計分配的資源,計算框架會在計算過程中自動構(gòu)建,計算完成后,計算框架會自動銷毀,資源重新釋放并共享給其他計算和數(shù)據(jù)處理應(yīng)用。創(chuàng)建集群的過程對用戶完全透明,無需人工干預(yù)和配置,高效完成。

另外,極道提供的可視化界面,方便用戶以拖拽的方式生成數(shù)據(jù)流和工作流,這一設(shè)計可以免去WDL或BSL程序編寫,幫助研究人員擺脫IT技術(shù)的束縛,將更多精力投入業(yè)務(wù)研發(fā)。

用事實見證數(shù)據(jù)流構(gòu)建能力

在某腫瘤檢測機構(gòu),通過部署極道Achelous統(tǒng)一計算系統(tǒng),其計算資源擴充近2倍,樣本交付能力提升了6倍,滿足其對海量生物數(shù)據(jù)處理、分析和建模的多樣化需求,助力打通腫瘤臨床檢測全流程。

在BioFlow計算引擎的協(xié)助下,該機構(gòu)一個作業(yè)的特殊階段,被輕松分解為數(shù)千路并行,每天有超過幾萬個任務(wù)運行在高度并行的計算集群里。

在零專業(yè)IT人員情況下,該機構(gòu)運行維護著一個復(fù)雜的數(shù)十節(jié)點HPC/Spark混雜計算集群,以及一個大規(guī)模分布式存儲系統(tǒng)。

利用強大的BioFlow WDL/BSL語言引擎和BioFlow執(zhí)行引擎, 幾名生物信息分析工程師在短短的4個月內(nèi),用近千個工具開發(fā)出了數(shù)百個復(fù)雜的分析流程。

高效的執(zhí)行引擎簡化了分析流程開發(fā),讓業(yè)務(wù)流程變得更敏捷、更靈活、更可控和自動化。

在未來數(shù)字經(jīng)濟浪潮中,降低計算成本、縮短任務(wù)周期、提高分析效率,是企業(yè)大數(shù)據(jù)點石成金的基礎(chǔ)。極道作為數(shù)據(jù)系統(tǒng)領(lǐng)域的生力軍,始終以用戶需求為導(dǎo)向,以技術(shù)創(chuàng)新為驅(qū)動,實現(xiàn)提高計算并行程度和提高資源利用率這一目標(biāo),進一步降低用戶的整體擁有成本,助力企業(yè)釋放更多數(shù)據(jù)價值。

關(guān)于極道:

極道,專注于數(shù)據(jù)“存”、“管”、“算”的創(chuàng)新數(shù)據(jù)系統(tǒng)公司,由國內(nèi)頂尖的存儲和數(shù)據(jù)分析專家團隊建立,是一家以分布式系統(tǒng)為核心幫助客戶提升IT資源效率,提供高效智能的數(shù)據(jù)處理基礎(chǔ)平臺的數(shù)據(jù)系統(tǒng)公司。

極道的核心產(chǎn)品涵蓋了分布式并行文件存儲、強關(guān)聯(lián)大規(guī)模實時數(shù)據(jù)管理系統(tǒng),以及集群的調(diào)度系統(tǒng)和執(zhí)行引擎,以滿足企業(yè)對數(shù)據(jù)處理、分析和建模的多樣化需求。極道注重自主知識產(chǎn)權(quán)和產(chǎn)品的可控性,核心軟件系統(tǒng)均為自主研發(fā),已擁有多項專利和軟件著作權(quán)。


聲明: 本文系OFweek根據(jù)授權(quán)轉(zhuǎn)載自其它媒體或授權(quán)刊載,目的在于信息傳遞,并不代表本站贊同其觀點和對其真實性負責(zé),如有新聞稿件和圖片作品的內(nèi)容、版權(quán)以及其它問題的,請聯(lián)系我們。

發(fā)表評論

0條評論,0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    醫(yī)療科技 獵頭職位 更多
    文章糾錯
    x
    *文字標(biāo)題:
    *糾錯內(nèi)容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網(wǎng)安備 44030502002758號