以融合之勢,突破困局 | 極道Achelous統(tǒng)一計算系統(tǒng),助力企業(yè)數(shù)據(jù)“加速跑”
對大數(shù)據(jù)的分析處、處理,是將數(shù)據(jù)從低價值密度體中煉到高價值密度體的過程,被現(xiàn)代商業(yè)譽為“煉金術(shù)”。這也是數(shù)據(jù)資源轉(zhuǎn)化為數(shù)據(jù)資產(chǎn)的過程,然而由于數(shù)據(jù)規(guī)模龐大、數(shù)據(jù)類型眾多,使得數(shù)據(jù)價值的實現(xiàn)仍然存在很高的技術(shù)門檻,企業(yè)用戶也日益被大數(shù)據(jù)生態(tài)的復(fù)雜性所困。
企業(yè)“海量數(shù)據(jù)”之困
企業(yè)在擁有了海量非結(jié)構(gòu)化數(shù)據(jù)之后,要將這些數(shù)據(jù)同實際業(yè)務(wù)、商業(yè)目的和運營目標(biāo)相結(jié)合,對多樣性數(shù)據(jù)進行融合分析處理成為必然,這使得數(shù)據(jù)分析和加工部門需投入大量的人力物力進行數(shù)據(jù)分析、處理、加工和學(xué)習(xí),以得到有價值的結(jié)果輸出。
雖然數(shù)據(jù)分析本身是與行業(yè)和業(yè)務(wù)相關(guān),但非結(jié)構(gòu)化數(shù)據(jù)的分析計算模式是共通的。隨著技術(shù)發(fā)展,傳統(tǒng)批量計算、高性能計算、大數(shù)據(jù)分析、人工智能(分布式機器學(xué)習(xí)/深度學(xué)習(xí))等數(shù)據(jù)并行處理、分析方法相繼誕生,以滿足各行業(yè)數(shù)據(jù)分析需求。
在實際應(yīng)用中,企業(yè)各部門將以不同的計算模式,來構(gòu)建所需的系統(tǒng)和計算集群,但這種割裂的計算集群卻造成了重復(fù)建設(shè)和資源浪費。而隨著業(yè)務(wù)的推進,同一批數(shù)據(jù)在不同處理階段所需的分析方法不同,計算分析基礎(chǔ)架構(gòu)還需要掌握復(fù)雜的技術(shù)棧,以及數(shù)據(jù)分析前期的服務(wù)部署能力。
另外,由于計算模式多樣化帶來的資源壁壘,企業(yè)還需要投入巨大的成本;數(shù)據(jù)計算系統(tǒng)建立后,數(shù)據(jù)分析人員如果沒有能力設(shè)計高度并行和健壯的數(shù)據(jù)分析流程,需要經(jīng)過漫長等待才能夠獲得結(jié)果。
降低海量非結(jié)構(gòu)化數(shù)據(jù)使用門檻 助力企業(yè)數(shù)據(jù)“加速跑”
為了幫助企業(yè)用戶解決數(shù)據(jù)分析門檻高、效率低的問題,極道潛心打造了Achelous統(tǒng)一計算系統(tǒng)。這是一款融合多種計算于同一套物理集群、支持EB級海量數(shù)據(jù)分析、處理、訓(xùn)練的系統(tǒng),并且Achelous有能力跟不同特征的存儲系統(tǒng)配合,做到計算與存儲應(yīng)用感知,輕松構(gòu)建復(fù)雜數(shù)據(jù)流的智能融合計算平臺,降低企業(yè)IT建設(shè)投入
Achelous統(tǒng)一計算系統(tǒng)以統(tǒng)一的數(shù)據(jù)處理引擎更高效地挖掘數(shù)據(jù)價值,以智能化的方式驅(qū)動整個數(shù)據(jù)處理閉環(huán),計算效率與資源利用的大幅提升,為開發(fā)者、企業(yè)、以及政府的數(shù)字化、智能化升級打下堅實基礎(chǔ)。
降低構(gòu)建業(yè)務(wù)數(shù)據(jù)分析流程難度
Achelous 是極道提供的調(diào)度復(fù)雜工作流或數(shù)據(jù)流的調(diào)度器和執(zhí)行引擎。為了降低業(yè)務(wù)專家利用現(xiàn)有的算法和模型進行并行編程的難度,Achelous統(tǒng)一計算系統(tǒng)提供執(zhí)行引擎以及多種表達方式,進行數(shù)據(jù)流業(yè)務(wù)的組合編程。
業(yè)務(wù)專家只需描述所要分析業(yè)務(wù)的分析階段,以及數(shù)據(jù)依賴關(guān)系,系統(tǒng)將自動構(gòu)建負載的批量處理有向圖,并生成機器代碼調(diào)度執(zhí)行。例如,應(yīng)用領(lǐng)域?qū)S谜Z言(BSL、WDL)編寫工作流(Pipeline),業(yè)務(wù)專家可以動態(tài)構(gòu)建自己的大數(shù)據(jù)或者人工智能應(yīng)用,按照數(shù)據(jù)依賴進行計算。實現(xiàn)完整的數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)挖掘和機器學(xué)習(xí)建模等業(yè)務(wù)流程,極大地簡化了業(yè)務(wù)專家的數(shù)據(jù)處理流程,并大幅提高工作效率。
自動構(gòu)建跨應(yīng)用計算框架工作流
基于Achelous統(tǒng)一計算系統(tǒng),用戶面對設(shè)計復(fù)雜跨框架的數(shù)據(jù)流,需要高并發(fā)或高通量計算時,只需要制定計算框架和預(yù)計分配的資源,計算框架會在計算過程中自動構(gòu)建,計算完成后,計算框架會自動銷毀,資源重新釋放并共享給其他計算和數(shù)據(jù)處理應(yīng)用。創(chuàng)建集群的過程對用戶完全透明,無需人工干預(yù)和配置,高效完成。
另外,極道提供的可視化界面,方便用戶以拖拽的方式生成數(shù)據(jù)流和工作流,這一設(shè)計可以免去WDL或BSL程序編寫,幫助研究人員擺脫IT技術(shù)的束縛,將更多精力投入業(yè)務(wù)研發(fā)。
用事實見證數(shù)據(jù)流構(gòu)建能力
在某腫瘤檢測機構(gòu),通過部署極道Achelous統(tǒng)一計算系統(tǒng),其計算資源擴充近2倍,樣本交付能力提升了6倍,滿足其對海量生物數(shù)據(jù)處理、分析和建模的多樣化需求,助力打通腫瘤臨床檢測全流程。
在BioFlow計算引擎的協(xié)助下,該機構(gòu)一個作業(yè)的特殊階段,被輕松分解為數(shù)千路并行,每天有超過幾萬個任務(wù)運行在高度并行的計算集群里。
在零專業(yè)IT人員情況下,該機構(gòu)運行維護著一個復(fù)雜的數(shù)十節(jié)點HPC/Spark混雜計算集群,以及一個大規(guī)模分布式存儲系統(tǒng)。
利用強大的BioFlow WDL/BSL語言引擎和BioFlow執(zhí)行引擎, 幾名生物信息分析工程師在短短的4個月內(nèi),用近千個工具開發(fā)出了數(shù)百個復(fù)雜的分析流程。
高效的執(zhí)行引擎簡化了分析流程開發(fā),讓業(yè)務(wù)流程變得更敏捷、更靈活、更可控和自動化。
在未來數(shù)字經(jīng)濟浪潮中,降低計算成本、縮短任務(wù)周期、提高分析效率,是企業(yè)大數(shù)據(jù)點石成金的基礎(chǔ)。極道作為數(shù)據(jù)系統(tǒng)領(lǐng)域的生力軍,始終以用戶需求為導(dǎo)向,以技術(shù)創(chuàng)新為驅(qū)動,實現(xiàn)提高計算并行程度和提高資源利用率這一目標(biāo),進一步降低用戶的整體擁有成本,助力企業(yè)釋放更多數(shù)據(jù)價值。
關(guān)于極道:
極道,專注于數(shù)據(jù)“存”、“管”、“算”的創(chuàng)新數(shù)據(jù)系統(tǒng)公司,由國內(nèi)頂尖的存儲和數(shù)據(jù)分析專家團隊建立,是一家以分布式系統(tǒng)為核心幫助客戶提升IT資源效率,提供高效智能的數(shù)據(jù)處理基礎(chǔ)平臺的數(shù)據(jù)系統(tǒng)公司。
極道的核心產(chǎn)品涵蓋了分布式并行文件存儲、強關(guān)聯(lián)大規(guī)模實時數(shù)據(jù)管理系統(tǒng),以及集群的調(diào)度系統(tǒng)和執(zhí)行引擎,以滿足企業(yè)對數(shù)據(jù)處理、分析和建模的多樣化需求。極道注重自主知識產(chǎn)權(quán)和產(chǎn)品的可控性,核心軟件系統(tǒng)均為自主研發(fā),已擁有多項專利和軟件著作權(quán)。
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
圖片新聞
最新活動更多
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市