DataEngine將在VAST?DataStore上運(yùn)行,處理實(shí)時(shí)的豐富內(nèi)容、物聯(lián)網(wǎng)數(shù)據(jù)和文本。該軟件通過(guò)關(guān)聯(lián)VAST存儲(chǔ)群集的所有元數(shù)據(jù),訪問(wèn)所有群集的全球位置,包括存檔數(shù)據(jù),來(lái)做出決策。

VAST聲稱(chēng),全球聯(lián)盟的機(jī)器將在全球范圍內(nèi)處理數(shù)據(jù),以獲取最大的洞察力和最大的基礎(chǔ)設(shè)施效率。這將是一個(gè)全局命名空間——DataSpace,允許任意位置存儲(chǔ)、檢索和處理高性能數(shù)據(jù)。這意味著,做計(jì)算的是分布式的VAST?DataStore群集,而不是單個(gè)數(shù)據(jù)中心。

VAST OS支持公有云,現(xiàn)已在 AWS、Azure 和谷歌云上可用。

DataEngine軟件在DataSpace上運(yùn)行,創(chuàng)建一個(gè)計(jì)算資源(包括CPU、GPU和DPU)的網(wǎng)狀結(jié)構(gòu),可以將數(shù)據(jù)移動(dòng)到計(jì)算(計(jì)算比重較大時(shí)),或?qū)⒂?jì)算轉(zhuǎn)移到數(shù)據(jù)(數(shù)據(jù)比重較大時(shí))。

VAST Data表示,其Universal Storage是NFS的一種解聚共享實(shí)現(xiàn),其底層有一個(gè)非常精細(xì)的準(zhǔn)對(duì)象存儲(chǔ)。該系統(tǒng)可以處理大量的AI工作負(fù)載,構(gòu)建模型所需的海量數(shù)據(jù),以及對(duì)新數(shù)據(jù)進(jìn)行推斷的大量計(jì)算,同時(shí)提供強(qiáng)大的性能。

人工智能工作負(fù)載需要大量數(shù)據(jù)構(gòu)建模型,需要大量計(jì)算在新數(shù)據(jù)進(jìn)入模型時(shí)對(duì)其進(jìn)行推理,此外還有高性能要求。 因?yàn)檫@些都給存儲(chǔ)系統(tǒng)傳遞信息帶來(lái)了巨大的壓力。Vast Data 表示,其通用存儲(chǔ)(一個(gè)分離的非共享式NFS,底層有支持大細(xì)粒度的對(duì)象存儲(chǔ))能處理此問(wèn)題。

VAST 表示,DataStore 將通過(guò)可查詢(xún)的語(yǔ)義層嵌入到數(shù)據(jù)中來(lái)理解自然數(shù)據(jù)。它將持續(xù)遞歸地對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)計(jì)算,并隨著每次交互而演化。

Hallak 認(rèn)為,未來(lái)的AI系統(tǒng)在數(shù)據(jù)整合和學(xué)習(xí)方面可能會(huì)比現(xiàn)在的大型語(yǔ)言模型走得更遠(yuǎn)。 這將需要一個(gè)能吸收“整個(gè)自然數(shù)據(jù)范圍——視頻、圖像、文本、儀器數(shù)據(jù)形式的非結(jié)構(gòu)化以及結(jié)構(gòu)化數(shù)據(jù)類(lèi)型”的平臺(tái),這些數(shù)據(jù)將在世界各地生成,并使用實(shí)時(shí)推理和持續(xù)的遞歸人工智能模型訓(xùn)練進(jìn)行處理。這就是函數(shù)和應(yīng)用觸發(fā)器發(fā)揮作用的地方。

VAST的數(shù)據(jù)庫(kù)產(chǎn)品已經(jīng)面市,一些客戶(hù)已經(jīng)在使用。DataEngine將在2024年初推出。

分享到

崔歡歡

相關(guān)推薦