為了應(yīng)對(duì)AI大模型訓(xùn)練對(duì)數(shù)據(jù)存儲(chǔ)的需求,天翼云推出并行文件服務(wù)HPFS(CT-HPFS,High Performance File Storage),旨在為AI時(shí)代提供高性能存儲(chǔ)底座,助力企業(yè)構(gòu)建基于云資源的、更高效的大型模型訓(xùn)練平臺(tái),實(shí)現(xiàn)大模型的連續(xù)訓(xùn)練。天翼云HPFS可通過分布式存儲(chǔ)實(shí)現(xiàn)數(shù)據(jù)的并發(fā)讀取,同時(shí)提供最高百萬IOPS和百GBPS的吞吐能力,顯著提升了數(shù)據(jù)的讀取速度,從而大大提升GPU卡的利用率,為提升HPC和AI等場景的訓(xùn)練效率賦能。
天翼云HPFS為AI場景的數(shù)據(jù)訓(xùn)練提供高并發(fā)、低延時(shí)、高吞吐的存儲(chǔ)解決方案:
高并發(fā),天翼云HPFS在保證文件一致性的前提下,將數(shù)據(jù)分布存儲(chǔ)在多個(gè)節(jié)點(diǎn)上,通過分布式鎖機(jī)制,實(shí)現(xiàn)多客戶端同時(shí)對(duì)同一文件的不同部分進(jìn)行讀寫,顯著提升并發(fā)性能,單客戶端的單流IO性能可提升200%以上,并發(fā)訪問同一文件的性能提升300%以上。
低延遲,天翼云HPFS采用 RDMA(Remote Direct Memory Access,遠(yuǎn)程直接內(nèi)存訪問)技術(shù),同時(shí)支持通過InfiniBand、RoCE和TCP/IP進(jìn)行數(shù)據(jù)交互,大幅降低了網(wǎng)絡(luò)傳輸?shù)难舆t,提高數(shù)據(jù)傳輸?shù)男?,?shí)現(xiàn)高速互聯(lián)。
高吞吐,天翼云HPFS基于 NVMe 存儲(chǔ)架構(gòu)做出深度優(yōu)化,能夠充分釋放SSD性能,顯著提高了吞吐量等性能表現(xiàn);基于并發(fā)傳輸通道的并行訪問,增強(qiáng)了服務(wù)器處理高并發(fā)請(qǐng)求的能力。更重要的是,隨著節(jié)點(diǎn)規(guī)模的增加,系統(tǒng)性能可實(shí)現(xiàn)線性增長。
基于多重優(yōu)勢能力,天翼云HPFS可為自動(dòng)駕駛、智能客服、工業(yè)制造、基因測序、語音導(dǎo)航、AI訓(xùn)練等場景,提供高性能并行文件存儲(chǔ)底座。
憑借卓越的技術(shù)實(shí)力,天翼云HPFS在 “華彩杯”算力應(yīng)用創(chuàng)新大賽中,榮獲一等獎(jiǎng),代表著業(yè)界對(duì)天翼云HPFS創(chuàng)新能力的充分肯定。
作為云服務(wù)國家隊(duì),天翼云將繼續(xù)堅(jiān)持科技創(chuàng)新,以滿足高性能計(jì)算場景存儲(chǔ)需求為己任,不斷提升產(chǎn)品的性能和可靠性,為客戶打造高性能存儲(chǔ)底座,持續(xù)為大模型產(chǎn)業(yè)發(fā)展提質(zhì)增速。