CPFS是一種并行文件系統(tǒng),數(shù)據(jù)存儲(chǔ)到群集中多個(gè)數(shù)據(jù)節(jié)點(diǎn),多個(gè)客戶端可以同時(shí)訪問這些數(shù)據(jù),為大型高性能計(jì)算機(jī)集群提供高IOPS、高吞吐,低時(shí)延的數(shù)據(jù)存儲(chǔ)服務(wù)。

隨著高性能并行計(jì)算大規(guī)模商業(yè)化時(shí)代的到來,傳統(tǒng)并行文件系統(tǒng)面臨諸多挑戰(zhàn),存儲(chǔ)資源的急劇增長(zhǎng),成本高,運(yùn)維管理復(fù)雜度大,大規(guī)模存儲(chǔ)系統(tǒng)的穩(wěn)定性,性能隨規(guī)模無法完全線性擴(kuò)展等一系列問題困擾廣大客戶,CPFS應(yīng)運(yùn)而生。

具體來說,CPFS可將數(shù)據(jù)條帶化后均勻分布在整個(gè)存儲(chǔ)集群上,允許client并行訪問,吞吐和IOPS隨存儲(chǔ)節(jié)點(diǎn)的數(shù)量實(shí)現(xiàn)線性增長(zhǎng),整個(gè)存儲(chǔ)集群對(duì)外提供超高的聚合帶寬和IOPS。同時(shí),采用融合以太網(wǎng)的 RDMA 協(xié)議 (RoCE) 網(wǎng)絡(luò)縮短IO訪問的網(wǎng)絡(luò)時(shí)延,進(jìn)一步提高了IO訪問速度。此外,基于paxos ring的仲裁調(diào)度,CPFS可自動(dòng)檢測(cè)服務(wù)節(jié)點(diǎn)異常,并在分鐘級(jí)別切換到其它節(jié)點(diǎn)重新提供服務(wù)。

以基因行業(yè)為例,人全基因組測(cè)序的原始數(shù)據(jù)大約有300GB,這些數(shù)據(jù)在傳統(tǒng)模式下需要70小時(shí)才能處理完畢,在云端優(yōu)化后也需要5小時(shí)才能完成。采用CPFS后,可在17分鐘內(nèi)加載完1萬個(gè)人類全基因組數(shù)據(jù),僅用1.5小時(shí)就可完成單個(gè)基因測(cè)序pipeline,這對(duì)臨床醫(yī)學(xué)的快速診斷、科研成果的快速轉(zhuǎn)換具有重大意義。

除了CPFS并行文件系統(tǒng),阿里云還推出了兩款NAS新品:NAS Plus智能緩存型和NAS Plus極速IO型。前者適用于對(duì)延時(shí)、單線程讀吞吐能力有較高要求的廣電行業(yè),可滿足單臺(tái)云圖站對(duì)20層4K高清編輯能力的需求,縮短視頻采編播流程;后者則適合搭建高性能彈性Web Server,可將海量小文件的訪問性能提升20倍,IOPS可達(dá)100萬,而單路延遲僅有500微秒。

 

分享到

xiesc

相關(guān)推薦