這個(gè)文章中提到的存儲(chǔ)和計(jì)算分離的技術(shù),是在計(jì)算框架和存儲(chǔ)系統(tǒng)之間,從新構(gòu)建了一個(gè)新的數(shù)據(jù)編排平臺(tái),通過添加一層抽象來解決數(shù)據(jù)訪問的挑戰(zhàn)。

Alluxio系統(tǒng)是全球首個(gè)分布式超大規(guī)模數(shù)據(jù)編排系統(tǒng),孵化于加州大學(xué)伯克利分校AMP實(shí)驗(yàn)室。自項(xiàng)目開源以來,已有超過來自300多個(gè)組織機(jī)構(gòu)的1200多位貢獻(xiàn)者參與開發(fā),包括全球最頭部科技公司、最頂尖的計(jì)算機(jī)科研院所等,現(xiàn)已成為發(fā)展最快的開源大數(shù)據(jù)項(xiàng)目之一。

李浩源本科畢業(yè)于北京大學(xué)計(jì)算機(jī)系,隨后在康奈爾大學(xué)攻讀碩士,后赴UC Berkeley AMPLab 獲得博士學(xué)位,師從分布式系統(tǒng)和網(wǎng)絡(luò)領(lǐng)域泰斗Ion Stoica教授和Scott Shenker教授。李浩源在讀期間創(chuàng)立了Alluxio(曾用名Tachyon)技術(shù)原型,并隨后創(chuàng)建Alluxio公司并致力于推廣技術(shù)商業(yè)化,于2021年完成5000萬美元C輪融資。

近日,Alluxio發(fā)布了Alluxio Enterprise AI 3.5最新版本。該版本憑借僅緩存寫入模式 ( Cache Only Write Mode )、高級(jí)緩存管理策略以及 Python 的深度集成等創(chuàng)新功能,大幅加速 AI 模型訓(xùn)練并簡(jiǎn)化基礎(chǔ)設(shè)施運(yùn)維,助力企業(yè)高效處理海量數(shù)據(jù)集、優(yōu)化 AI 工作負(fù)載性能。AI驅(qū)動(dòng)的工作負(fù)載常因海量的數(shù)據(jù)管理復(fù)雜度高導(dǎo)致效率瓶頸以及訓(xùn)練周期延長。Alluxio Enterprise AI 3.5 通過快速優(yōu)先訪問關(guān)鍵數(shù)據(jù)、無縫集成主流AI框架等優(yōu)化手段來提升性能,從而加速模型開發(fā)。

Alluxio Enterprise AI 3.5版本下載地址:https://www.alluxio.com.cn/product/download/

分享到

songjy

相關(guān)推薦