熊老師耕耘存儲(chǔ)20年，在騰訊云從事云存儲(chǔ)領(lǐng)域的高性能存儲(chǔ)以及與大模型融合創(chuàng)新方面的研究工作，致力于推動(dòng)云技術(shù)和人工智能的創(chuàng)新與發(fā)展。

如何將存儲(chǔ)技術(shù)與人工智能、機(jī)器學(xué)習(xí)相結(jié)合，從數(shù)據(jù)存儲(chǔ)、處理到智能分析，揭示如何利用存儲(chǔ)技術(shù)為AI應(yīng)用提供高效、可擴(kuò)展的基礎(chǔ)，熊老師在演講中提出了他的思考。

一、存儲(chǔ)技術(shù)與人工智能相結(jié)合：為AI應(yīng)用提供高效、可擴(kuò)展的數(shù)據(jù)存儲(chǔ)和處理基礎(chǔ)

面對(duì)當(dāng)前如此巨大的數(shù)據(jù)量，存儲(chǔ)產(chǎn)品和技術(shù)如何服務(wù)好我們的大模型？

以ChatGPT為中心，它的參數(shù)指數(shù)級(jí)發(fā)展，已經(jīng)接近甚至超越人腦神經(jīng)網(wǎng)絡(luò)數(shù)量。因此后臺(tái)對(duì)應(yīng)的算力有巨大的訴求，基本上百卡的雖然比較起步了，千卡和萬(wàn)卡，最后我們會(huì)有一個(gè)巨大的成本的投入。

把整個(gè)流程站在業(yè)務(wù)角度我們可以打開(kāi)來(lái)看，從開(kāi)始的數(shù)據(jù)的注入，這個(gè)注入有很多模式，在大模型維度可能通過(guò)我們各種語(yǔ)料的注入，進(jìn)一步的話，我們做數(shù)據(jù)的預(yù)處理，這里有一些常見(jiàn)的批注，包括數(shù)據(jù)預(yù)想到的結(jié)構(gòu)化的處理。再進(jìn)一步我們對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練，通常來(lái)說(shuō)我們比較花錢(qián)地方，一輪跑下來(lái)比較花錢(qián)。

再接著進(jìn)行數(shù)據(jù)的訓(xùn)練和推理，推理過(guò)程中有對(duì)數(shù)據(jù)安全的檢測(cè)。整一套流程我們可以在存儲(chǔ)的維度提煉出幾個(gè)訴求，我們有統(tǒng)一的存儲(chǔ)模式，一個(gè)流程下來(lái)，你不需要經(jīng)過(guò)太多的不同的存儲(chǔ)的服務(wù)的供給，希望一套數(shù)據(jù)能夠進(jìn)行全流程處理。再接著，我們對(duì)數(shù)據(jù)處理邏輯有一個(gè)自身的檢測(cè)。在AIGC里面，內(nèi)容審核目前看尤為關(guān)鍵。

我們看到具體展開(kāi)看有哪些訴求。一開(kāi)始采集過(guò)程中，對(duì)于存儲(chǔ)來(lái)說(shuō)使用訴求是比較互聯(lián)網(wǎng)化的，互聯(lián)網(wǎng)的服務(wù)希望是互聯(lián)網(wǎng)對(duì)象存儲(chǔ)的協(xié)議，數(shù)據(jù)量體量比較大。

第二個(gè)環(huán)節(jié)數(shù)據(jù)的預(yù)處理，整個(gè)環(huán)節(jié)訪問(wèn)方式比較靈活，有我們常見(jiàn)大數(shù)據(jù)的，HDFS，還可以用文件的語(yǔ)義。整個(gè)處理模型的數(shù)據(jù)量在百TB級(jí)，順序以大帶寬的讀寫(xiě)為主。

第三個(gè)變成兩個(gè)階段，訪問(wèn)接口希望采用文件的語(yǔ)義，將存儲(chǔ)數(shù)據(jù)按照文件方式掛載，進(jìn)行讀取。有順序的讀也有隨機(jī)讀，以及前面專(zhuān)家講到實(shí)時(shí)的checkpoint寫(xiě)，這是對(duì)存儲(chǔ)考驗(yàn)?zāi)芰Φ牡胤健?/p>

我們知道整個(gè)GPU使用過(guò)程中，本身也有一定的不穩(wěn)定因素，會(huì)導(dǎo)致整個(gè)訓(xùn)練過(guò)程中斷，這是比較花錢(qián)的，我們最常見(jiàn)的處理方式是把過(guò)程寫(xiě)入到存儲(chǔ)，一旦有中斷的時(shí)候存儲(chǔ)快速地回滾，將以前計(jì)算結(jié)果做了很好的保存。后面推理，推理的時(shí)候主體讀，讀的模型以POSIX語(yǔ)義為主，前面處理的模型的數(shù)據(jù)有一定的結(jié)構(gòu)化，后面對(duì)內(nèi)容進(jìn)行治理。

二、創(chuàng)新存儲(chǔ)解決方案：滿足大規(guī)模數(shù)據(jù)處理和AI應(yīng)用的需求，提供高性能、可靠性和可擴(kuò)展性

第二個(gè)階段，我按照存儲(chǔ)供給方式，第一個(gè)維度前面說(shuō)是比較貴的，量化的數(shù)據(jù)，我們拿著8核32G的節(jié)點(diǎn)，如果插入一張T4的顯卡，成本巨大提升，占比超過(guò)80%以上。第二，各種因素，原始產(chǎn)能因素，目前宏觀的因素，缺貨比較嚴(yán)重，后期會(huì)半年以上。所以整個(gè)因素會(huì)導(dǎo)致構(gòu)建模型的時(shí)候是以算力為中心，從我們客戶來(lái)講，哪個(gè)地方我在騰訊上，哪個(gè)地方有算力，趕緊構(gòu)建環(huán)境，希望數(shù)據(jù)快速地供給。

第二個(gè)存儲(chǔ)在過(guò)往這么多年經(jīng)驗(yàn)，我們逐漸構(gòu)建以數(shù)據(jù)為中心的計(jì)算生態(tài)，很天然，我們數(shù)據(jù)是有狀態(tài)的，你的計(jì)算可以就近調(diào)度到數(shù)據(jù)這邊來(lái)，它是無(wú)狀態(tài)隨時(shí)拉起。

隨著云上數(shù)據(jù)湖的構(gòu)建，會(huì)構(gòu)建更優(yōu)的數(shù)據(jù)為重要的技術(shù)平臺(tái)。隨著大模型的發(fā)展對(duì)訴求，進(jìn)一步加強(qiáng)。第一，我們看到可靠可用，對(duì)可用性有巨大要求，我希望寫(xiě)入是可靠的。第二，合規(guī)有更高的要求。我們以前講的數(shù)據(jù)是核心資產(chǎn)，到了大模型里面很多模型就是核心資產(chǎn)?；四敲炊鄡r(jià)錢(qián)算出這個(gè)模型，我們要做很好的保存和合規(guī)。

第三個(gè)隨意的訪問(wèn)，這個(gè)非常重要，我們之前構(gòu)建數(shù)據(jù)湖的時(shí)候重要的優(yōu)勢(shì)是，一個(gè)能夠在云上隨時(shí)隨地注入數(shù)據(jù)的，像湖一樣，水從任何地方流入數(shù)據(jù)湖。第二，能容忍任何數(shù)據(jù)格式，通常來(lái)說(shuō)，我不用管理你這個(gè)數(shù)據(jù)的模式，數(shù)據(jù)的格式，你可以讓它自然進(jìn)入到數(shù)據(jù)湖。

到了我們大模型時(shí)代，有進(jìn)一步地提升，數(shù)據(jù)在很多時(shí)候會(huì)出現(xiàn)很大，單體的文件可以想象到很多客戶單體文件可以到上百個(gè)TB。我們通常講大文件一般來(lái)講起步是兆，一兆以上是大文件，我們通常能看到一個(gè)G的文件也很大了，到了大模型時(shí)代，到了TB級(jí)，百TB的大模型。

第三個(gè)點(diǎn)低成本和擴(kuò)展能力，這個(gè)尤為關(guān)鍵，現(xiàn)在構(gòu)建的數(shù)據(jù)湖，我們希望擴(kuò)展性有極大的空間，這個(gè)空間沒(méi)有任何的限制，你可以輕易構(gòu)建EB級(jí)的數(shù)據(jù)湖存儲(chǔ)。

有了這兩個(gè)我們發(fā)現(xiàn)有一個(gè)小小的GAP，原來(lái)我們構(gòu)建以數(shù)據(jù)為中心的IT模型，有一個(gè)GPU為中心，以算力為中心，中間會(huì)有一些挑戰(zhàn)，以客戶來(lái)說(shuō)，數(shù)據(jù)構(gòu)建在騰訊云數(shù)據(jù)湖上，算力是動(dòng)態(tài)的，也就是說(shuō)有可能在北京的園區(qū)，正好能拿到GPU卡，構(gòu)建大模型的計(jì)算，中間就有位置的不匹配。

還有數(shù)據(jù)湖的構(gòu)建是以大容量，海量擴(kuò)展為中心，對(duì)GPU來(lái)說(shuō)，投喂數(shù)據(jù)的帶寬是巨大的，單獨(dú)構(gòu)建給指定的算力，而存儲(chǔ)數(shù)據(jù)中心以多租戶的方式構(gòu)建給云上的成千上萬(wàn)的企業(yè)客戶。

技術(shù)維度，數(shù)據(jù)湖的構(gòu)建，是以云上可以隨時(shí)隨地訪問(wèn)的對(duì)象存儲(chǔ)，是KV的方式，沒(méi)有目錄結(jié)構(gòu)的，而在以GPU算力為中心，我們剛剛有展示的以語(yǔ)意的方式。有一部分很兼容，投喂語(yǔ)料的時(shí)候用云原生的對(duì)向接口是可以的，一旦進(jìn)入到推理環(huán)節(jié)希望是充分的文件語(yǔ)意。

出現(xiàn)這樣一個(gè)GAP，我們?cè)趺唇鉀Q這個(gè)問(wèn)題呢？

第一，我們構(gòu)建了一個(gè)數(shù)據(jù)加速器，它起的作用是數(shù)據(jù)還是在以對(duì)對(duì)象存儲(chǔ)為中心的數(shù)據(jù)湖里，原來(lái)數(shù)據(jù)湖的入湖和湖上各種應(yīng)用的構(gòu)建，特別最近流行的湖倉(cāng)一體，這些分析都沒(méi)有任何變化。當(dāng)你需要構(gòu)建大模型的時(shí)候，剛才的例子，我在騰訊云的北京六區(qū)，拿到GPU資源的時(shí)候，我需要做的事情非常簡(jiǎn)單，我在騰訊六區(qū)構(gòu)建數(shù)據(jù)湖的加速器，加速器的存儲(chǔ)能力以單租戶的形式，跟我們私有化使用是完全一樣的體驗(yàn)，這樣的話，我保證昂貴的GPU算力得到充分的存儲(chǔ)資源的供給，不要因?yàn)榇鎯?chǔ)資源任何的不給力或波動(dòng)導(dǎo)致算力資源的浪費(fèi)。

第二，供給過(guò)程中，我可以實(shí)時(shí)根據(jù)算力的變化，有可能同時(shí)在廣州的三區(qū)，供給到另外一批GPU，隨時(shí)可以拉起數(shù)據(jù)加速器，實(shí)現(xiàn)存儲(chǔ)資源的供給，整個(gè)過(guò)程是云原生的方式，滿足以算力為中心的調(diào)度，哪里有算力，有GPU卡，哪里就能供給到數(shù)據(jù)加速器。

從存儲(chǔ)讀寫(xiě)維度，GPU到加速器整個(gè)訪問(wèn)路徑跟之前的GPU使用模式是一樣的，可以當(dāng)做一個(gè)并行的穩(wěn)定系統(tǒng)進(jìn)行使用，讀寫(xiě)是實(shí)時(shí)高并發(fā)的。另外一個(gè)程度，我們的數(shù)據(jù)加速器和以對(duì)象存儲(chǔ)為中心的數(shù)據(jù)湖實(shí)現(xiàn)異步的數(shù)據(jù)流動(dòng)，這樣可以將實(shí)時(shí)的checkpoint寫(xiě)入，可以將它異步沉降到數(shù)據(jù)湖里面進(jìn)行長(zhǎng)久的保存。同時(shí)，可以將其他地域模型結(jié)果加載到另外一個(gè)數(shù)據(jù)中心實(shí)現(xiàn)推理，這樣實(shí)現(xiàn)GPU資源合理的應(yīng)用以及整個(gè)云上資源全局的調(diào)度。

三、騰訊云實(shí)踐分享

騰訊云面向大模型提供了一站式、全流程以及端到端的解決方案，加速大模型訓(xùn)練效率，將數(shù)據(jù)和算力有效融合。

一站式是站在業(yè)務(wù)的數(shù)量上，每個(gè)環(huán)節(jié)都需要存儲(chǔ)的供給，都需要數(shù)據(jù)的處理，騰訊云提供一站式方案，從最初采集到最后整個(gè)訓(xùn)練完以后的推理和審核，整個(gè)方案以云原生的方式供給算力，按需進(jìn)行部署、訓(xùn)練和結(jié)果審核。

UGC的審核能力和解決方案，AIGC內(nèi)容可以被平滑地使用，可以對(duì)內(nèi)容進(jìn)行各種分類(lèi)和批注，圍繞AIGC，將云的原生能力形成全鏈路方案的供給。

端到端，從計(jì)算，從IT全鏈路全棧，騰訊云提供了以對(duì)象存儲(chǔ)COS為底座的數(shù)據(jù)湖，再到加速層，構(gòu)成系列的數(shù)據(jù)加速器體系，到TACO面向GPU的加速的套件，以及面向大模型的加速的網(wǎng)絡(luò)，這樣一個(gè)端到端的數(shù)據(jù)的大模型解決方案，可解決數(shù)據(jù)兼容原來(lái)的數(shù)據(jù)湖，適配算力按需的供給，高速供數(shù)據(jù)資源，滿足快速的訓(xùn)練和網(wǎng)絡(luò)的快速交換。

騰訊云數(shù)據(jù)加速器GooseFS通過(guò)全托管云服務(wù)，可一鍵式購(gòu)買(mǎi)發(fā)貨，省去部署、調(diào)測(cè)等運(yùn)維工作；完全兼容 POSIX 文件語(yǔ)義，工作負(fù)載無(wú)需進(jìn)行任何改動(dòng)；GooseFS按創(chuàng)建容量計(jì)費(fèi)，按量付費(fèi)、彈性擴(kuò)容，避免資源閑置；可自動(dòng)批量部署客戶端軟件，將GooseFSx掛載到主機(jī)的本地目錄，簡(jiǎn)單易用。

更多內(nèi)容，歡迎您參考閱讀原文中的專(zhuān)題視頻講解。

nina