AGI時(shí)代很快會(huì)來臨，現(xiàn)在的AI跟以前的AI有什么區(qū)別呢？

其實(shí)就是在智慧能力上。以前我們很多時(shí)候都是想著怎么用方法去解決，或者說我們用什么工具去解決一個(gè)問題，現(xiàn)在并不是在用一個(gè)工具來解決問題。不管之前最早的數(shù)學(xué)建模，再到后來的深度學(xué)習(xí)的網(wǎng)絡(luò)DNN，再到后面卷積神經(jīng)網(wǎng)絡(luò)做圖像的，再到其他的，比如說語言模型的循環(huán)神經(jīng)網(wǎng)絡(luò)，他們其實(shí)本質(zhì)上是在找一種方法。

大模型的本質(zhì)問題它解決了什么，解決了規(guī)模，并不是以前的傳統(tǒng)人工智能架構(gòu)不好。

第一，在超大超長的文本上一個(gè)特征的抽取問題，以前是用循環(huán)神經(jīng)網(wǎng)絡(luò)那就會(huì)有依賴，依賴的話就意味著你無法把規(guī)模做大。

第二，規(guī)模做大之后會(huì)出現(xiàn)什么東西，我們都很難去理解。存儲(chǔ)的人經(jīng)常會(huì)講，我做一個(gè)存儲(chǔ)系統(tǒng)，當(dāng)達(dá)到了一定規(guī)模之后，它的可靠性，它的性能，它的穩(wěn)定性以及它的QoS會(huì)有很多的挑戰(zhàn)，在1萬個(gè)并發(fā)、100萬并發(fā)、1億個(gè)并發(fā)的時(shí)候，你面臨的規(guī)模是不一樣的。這些是上一個(gè)時(shí)代，互聯(lián)網(wǎng)時(shí)代阿里云成功的經(jīng)驗(yàn)，阿里云很早地具備了上億級客戶應(yīng)用這種大型架構(gòu)的實(shí)踐，所以它解決了大家用傳統(tǒng)的，比如說你用IOE你解不了的問題。

同樣的道理，縮放原理其實(shí)就是大模型的第一性原理，它是OpenAI總結(jié)出來的，它認(rèn)為一個(gè)模型的智能化水平跟你模型提供的數(shù)據(jù)量以及模型的運(yùn)算量，還有模型的參數(shù)規(guī)模，這三者進(jìn)行一個(gè)匹配之后，你的模型的lost將會(huì)越來越小，lost就是我檢驗(yàn)這個(gè)模型的一個(gè)損失，拿一組的驗(yàn)證問答，我看它跟結(jié)果之間的差異到底足不夠足夠大。他堅(jiān)信這個(gè)原則，GPT1和GPT2剛出來的時(shí)候，他其實(shí)跟谷歌的bard差異是很大的，兩者之間我可以稱之為，bard是第一梯隊(duì)，而GPT是第二梯隊(duì)，甚至于我們都知道的引發(fā)這一次大語言模型的關(guān)鍵的論文是谷歌發(fā)明的，包括我們后來看到的谷歌其實(shí)在AI這個(gè)領(lǐng)域，它其實(shí)有了所有的技術(shù)經(jīng)驗(yàn)。但是他缺乏這個(gè)問題就是，他沒有把模型去做大，他沒有去做到最終。

單字接龍就解決了你想象到的所有的中間功能，而且還消亡了很多的AI中間狀態(tài)。所以不管我們相不相信，至少這是在當(dāng)前對我們理論上最有指導(dǎo)的理論，那就是我們要相信縮放原理，業(yè)界其實(shí)也是這么干的。

大家可以看到現(xiàn)在的國內(nèi)當(dāng)中，GP4大概就是個(gè)萬億模型的一個(gè)參數(shù)，但事實(shí)上最近大家一直在炒作的，至少在當(dāng)前2024年的今天，大模型的參數(shù)是以萬億為門檻的；千億為門檻的那些東西，就是跟我們傳統(tǒng)的那些，像咱們現(xiàn)在看到的百億和千億這些開源的模型，它很多時(shí)候是為了繁榮生態(tài)做的，真真正正的實(shí)際的大模型能力可能在萬億級別才能解決這個(gè)問題。

其實(shí)文生圖和文生視頻本身模型的架構(gòu)或者說它的參數(shù)量是遠(yuǎn)低于自然語言模型的，而語言是最復(fù)雜的東西。當(dāng)語言被突破以后，其他東西一次在一個(gè)確定性的賽道上有足夠的資金投入，它就會(huì)爆發(fā)出結(jié)果。

所以你看到Sora它僅僅是個(gè)demo版本或者說一個(gè)內(nèi)測版本，它的原始數(shù)據(jù)量大概是100G，包括前面說的1TB級的數(shù)據(jù)，其實(shí)很多人會(huì)講TB有什么大的值得存儲(chǔ)廠商討論嗎？大家要清楚我們講的是訓(xùn)練語料和數(shù)據(jù)集，而數(shù)據(jù)集在清洗之前的話一般是100倍以上的一個(gè)規(guī)模。我們可以預(yù)見的將來就是2024年肯定會(huì)有，國內(nèi)的大模型廠商，它的原始素材采集量會(huì)在100PB以上，這是一個(gè)必然的結(jié)果，而且是確定性的。

在海量的數(shù)據(jù)集上，我們存儲(chǔ)該怎么來應(yīng)對?

大家開始論證機(jī)器AI創(chuàng)造數(shù)據(jù)來做訓(xùn)練語料的可能性以及它是否可行，至少有一些理論認(rèn)為是可行的，所以我認(rèn)為未來的存儲(chǔ)架構(gòu)將會(huì)發(fā)生極大轉(zhuǎn)變。

傳統(tǒng)的我們的檢索和數(shù)據(jù)訪問模式與新的AI的訪問模式如何進(jìn)行交互和結(jié)合，這都是問題。所以我們還是從最基礎(chǔ)的，大家最容易忽視的數(shù)據(jù)預(yù)處理這個(gè)場景來開始看。

其實(shí)數(shù)據(jù)預(yù)處理在大數(shù)據(jù)時(shí)代其實(shí)已經(jīng)很多了，今天跟過去有什么區(qū)別，以前清洗量沒那么大，現(xiàn)在清洗量可能到90%或者99%的數(shù)據(jù)都會(huì)被淘汰掉。

第二，以前我們是半結(jié)構(gòu)化數(shù)據(jù)會(huì)居多，所以我們有一些傳統(tǒng)的引擎去解，大家都知道大數(shù)據(jù)其實(shí)就是一個(gè)確定性的函數(shù)，而AI是一個(gè)概率分布的抽樣，所以它倆是一個(gè)很大差異的，所以它處理數(shù)據(jù)的方式也非常的不一樣。

我們在考慮到這兩個(gè)場景之后，首先考慮第一個(gè)，如何采集足夠多的世界知識(shí)來讓你的AI更加的智能。

阿里云提供了OSS的傳輸加速，可以覆蓋全球的所有主要區(qū)域，滿足快速的數(shù)據(jù)采集功能。而且我們針對大型的數(shù)據(jù)采集，會(huì)有新的商業(yè)模式，因?yàn)檫@是一個(gè)全新的時(shí)代，我們不會(huì)部署在原有的商業(yè)模式上止步不前，我們希望跟大家一塊探索更多的可能性。

第二，我們看到數(shù)據(jù)清洗，以前其實(shí)大部分都是用大數(shù)據(jù)的生態(tài)來做清洗，我們簡單的一個(gè)數(shù)據(jù)湖存儲(chǔ)就可以解決這個(gè)問題。但是現(xiàn)在你會(huì)發(fā)現(xiàn)多模態(tài)里邊，比如說Sora預(yù)測的時(shí)候，它出幀的時(shí)候它出的是什么幀呢？它抽取的是一個(gè)特定場景的帪，它并不是一個(gè)跳變的東西，所以希望機(jī)器可以學(xué)習(xí)在一個(gè)長鏡頭下不同的物理世界的規(guī)律，以及如何平滑演變的物理規(guī)律，所以他會(huì)在出帪有很多的AI的操作，轉(zhuǎn)碼的、出幀的、找關(guān)鍵幀的，然后如何識(shí)別它是一個(gè)長鏡頭區(qū)域。

在谷歌文生圖的時(shí)候，其實(shí)大概也是谷歌先提出來的，我們會(huì)發(fā)現(xiàn)歷史在互聯(lián)網(wǎng)上的語料，圖片和文字之間的對比和關(guān)聯(lián)是很差的，它缺乏足夠豐富的信息。那怎么辦呢？谷歌當(dāng)時(shí)提供了一個(gè)自動(dòng)生成的這樣一個(gè)模型，就相當(dāng)于我為了訓(xùn)練一個(gè)很強(qiáng)大的生成模型，我先要訓(xùn)練一個(gè)很強(qiáng)大的判定模型，所以先用圖生文，再用圖生文造就出來的書內(nèi)容，再去訓(xùn)練一個(gè)更加強(qiáng)大的文生圖。所以你會(huì)發(fā)現(xiàn)整個(gè)過程中它是很多個(gè)AI在處理這些過程，數(shù)據(jù)會(huì)進(jìn)行很多輪的清洗。

這個(gè)清洗過程中會(huì)有大量的臨時(shí)數(shù)據(jù)產(chǎn)生，它不僅對性能要求很高，同時(shí)他還需要非常隨時(shí)的彈性的釋放，傳統(tǒng)的存儲(chǔ)是滿足不了的。但是如果你用全閃存的分布式存儲(chǔ)是否值得，我相信不會(huì)有人會(huì)給一個(gè)數(shù)據(jù)清洗工程師配套一套高端的并行的渲染的文件系統(tǒng)。所以這個(gè)時(shí)候我們推出了我們的彈性臨時(shí)盤，更便宜、按需、隨時(shí)釋放，同時(shí)跟你的上層的ECS和GPU服務(wù)器之間是解耦的，沒有任何強(qiáng)關(guān)聯(lián)。

其次就是訓(xùn)練，最關(guān)鍵的問題，CheckPoint的問題，很多人都在講這個(gè)問題，這其實(shí)是我們存儲(chǔ)人的悲哀。我們的塊存儲(chǔ)在多少年前都是已經(jīng)實(shí)現(xiàn)了快照，大模型時(shí)代需要tenseflow 來做，我們?yōu)槭裁吹搅舜竽Ｐ蜁r(shí)代，需要人家需要人家配套式來做，需要通過服務(wù)來做，而我們并沒有把這一層給它替換掉。在座的是不是覺得很慚愧，我也覺得很慚愧？你看GPT4他大概用了25,000張卡去訓(xùn)練了大概三個(gè)月，他整個(gè)的GPU利用率只有30%多，原因并不是說它的存儲(chǔ)不夠，大家不要以為說GPT存儲(chǔ)不行，雖然我也不知道他用的什么存儲(chǔ)。它的原因主要是在于AI跟HPC有個(gè)很大的區(qū)別，就是HPC它是確定性的任務(wù)，一般情況下很少犯錯(cuò)誤。而AI是一個(gè)煉丹的過程，隨時(shí)都有可能錯(cuò)誤，你都不知道錯(cuò)誤從哪里來，所以大家都需要不斷的把錢給CheckPoint，以前可能是一天一個(gè)CheckPoint，在HPC的時(shí)候，現(xiàn)在在AI的時(shí)候，英偉達(dá)在去年推薦的是4個(gè)小時(shí)，我前兩天去跟頭部的客戶常常聊說如果進(jìn)入萬卡時(shí)代，我們要求是5分鐘打一個(gè)，因?yàn)槲业炔黄?0分鐘。

這么多年存儲(chǔ)人夢寐以求的超大性能需求場景終于出現(xiàn)了，這個(gè)參數(shù)量會(huì)從千億到萬億，一個(gè)CheckPoint大概20T左右，20T客戶要求多少時(shí)間？5分鐘寫完，大概你就是200GB/s一個(gè)帶寬。而上面講了張量并行、數(shù)據(jù)并行，CheckPoint如果要加載起來的話不是加載一份，現(xiàn)在張量并行度默認(rèn)就是8以上了，你至少得加8分，200G的帶寬你再讀帶寬乘以8，你大概1.6T，所以大家看到一個(gè)TB級帶寬吞吐的一個(gè)場景出現(xiàn)了。但是這個(gè)場景現(xiàn)在大家滿足起來都很難，雖然有些人會(huì)宣傳我是TB級的帶寬，但是它是用多少臺(tái)機(jī)器堆出來的，這個(gè)就是我們大家需要討論的問題，我們?nèi)绾稳M足這個(gè)場景。

當(dāng)然阿里也做了很多的優(yōu)化。

首先RDMA網(wǎng)絡(luò)，我們暫時(shí)在AI的Cloud或者meta，meta就是建了兩張網(wǎng)，一張是24萬張,用的Infiniband。另外一張他用的Rocky網(wǎng)絡(luò)，然后他發(fā)布了說我這個(gè)Rocky網(wǎng)絡(luò)的性能其實(shí)跟Infiniband另外一個(gè)是接近的。

過去幾年，計(jì)算端和存儲(chǔ)端的RDMA網(wǎng)絡(luò)并沒有完全打通在云上。原因很簡單就是說，要滿足云上各種VPC網(wǎng)絡(luò)各種的需求，你就不能再摒棄TCP已有的一些東西。但是AI時(shí)代來得比較好的一點(diǎn)，就是說其實(shí)這東西我10年前我是特別希望這種場景出現(xiàn)的，場景又單一，操作系統(tǒng)全部都一致，硬件一個(gè)型號(hào)一個(gè)批次，對存儲(chǔ)來說這是特別好的一個(gè)場景，我就只需要滿足典型的特定的場景。

所以我們有時(shí)候做企業(yè)產(chǎn)品主要是做減法，你如果減的越多，你就做出來越高效，我就可以去定制屬于我自己的CPFS Client（分布式讀緩存），基于我們的大地分布式存儲(chǔ)，我們把CPU Cache，本地 Cache，然后還包括各個(gè)節(jié)點(diǎn)之間，我們做分布式 Cache，然后這樣的話整個(gè)的元數(shù)據(jù)開始和數(shù)據(jù)開始就做起來了。如果是讀請求比較多的時(shí)候，post語音下來之后，尤其我又可以做到并行的訪問，所以整個(gè)的帶寬是可以做得很大。    

第二，我們把很多東西放在我們的智能的網(wǎng)卡里邊來卸載了，這樣的話就達(dá)到了一個(gè)很低時(shí)延的一個(gè)效果。當(dāng)然這不是結(jié)束，這只是個(gè)開始。

其次就是推理。大模型的推理有兩種情況，一種情況就是說大廠，比如說我們講OpenAI，它的推理，首先他在推理之前我們會(huì)對模型進(jìn)行一個(gè)量化，剪枝，讓模型做的特別的小，讓推理成本降低，因?yàn)橛?xùn)練是拿入場券的，推理是生死線，你如何在保證因?yàn)橘|(zhì)量的情況下降低推理的成本，是你商業(yè)成功的一個(gè)基礎(chǔ)，所以未來一定推理是一個(gè)最大的成本中心，遠(yuǎn)超訓(xùn)練。

而訓(xùn)練當(dāng)前的基礎(chǔ)是什么？因?yàn)樵圪u了500億美金的卡，整個(gè)IT消耗了1,000億美金，未來的推理可能是訓(xùn)練的5倍以上，那只是當(dāng)前的水平，因?yàn)橐荒暝谟?xùn)練上開銷是1,000億，推理上可以看5,000億左右的一個(gè)美金的市場，所以未來推理是一個(gè)萬億市場的可替代空間。所以在推理的時(shí)候，我們一般會(huì)把模型精巧之后變小。其次做推理很多時(shí)候是創(chuàng)業(yè)企業(yè)，他們需要的是不同的模型來滿足不同的需求，動(dòng)態(tài)的加載。比如說我們現(xiàn)在當(dāng)前商業(yè)化比較成功的文生圖，做PPT這些領(lǐng)域場景，他做的模型其實(shí)都比較小。但是每一個(gè)人加載的時(shí)候需求其實(shí)都不一樣，所以每次都是一個(gè)動(dòng)態(tài)的加載。那能不能把這些模型全部放在我們上面講的CPFS全閃存儲(chǔ)里面，完全可以，但是成本如何解決？

所以第二個(gè)在這種場景下，大部分大家都是按需來做，所以當(dāng)大家用了小卡，做推理卡，是彈性的容器場景。所以這個(gè)時(shí)候，你會(huì)發(fā)現(xiàn)第一個(gè)問題就是并行的時(shí)候，你如何把你的模型加載起來，以Stable Diffusion為例，你做這個(gè)文生圖的時(shí)候，不同的監(jiān)控的一般2~10個(gè)G你加載起來之后，一個(gè)任務(wù)你生一張圖現(xiàn)在效率挺高的，30秒到一分鐘你生成了一張圖，但是你要把10個(gè)G的文件加載到你的容器內(nèi)存里邊，你可能也需要1分鐘，甚至以前還需要5分鐘，結(jié)果你GPU總共花了6分鐘，5分鐘的GPU錢是花在了存儲(chǔ)加載上。

所以針對這個(gè)場景，我們提供了一個(gè)比較簡單的處理方式，我們提供了我們的osS加速器是一個(gè)server端的Cache，我把你最熱的那部分模型給你Cache到我SSD層上，這一層對外它是一個(gè)統(tǒng)一的namespace，你不需要再去改變?nèi)魏蔚募軜?gòu)，你直接訪問就行了，不需要做任何操作。

其次針對加速器這種高性能的場景，我們很多時(shí)候發(fā)現(xiàn)好好的一個(gè)東西他沒用好，給你機(jī)會(huì)你不中用，你把后臺(tái)做好了，你前面的OSS、FS不行，這也是我們值得詬病的一個(gè)場景，就是為什么對象存儲(chǔ)在原生場景下，用csn插件竟然不是一個(gè)原生的邏輯，所以我認(rèn)為這可也是我們在座的可以去探討和去探索的一個(gè)地方。

我們以前可能會(huì)有一些強(qiáng)制限制，現(xiàn)在我們是在線彈性，你用多少彈多少。另外，我們可以把TB的數(shù)據(jù)我們可以瞬間落實(shí)到百GB的一個(gè)量級，但是百GB可能有多個(gè)進(jìn)程并發(fā)，多個(gè)請求并發(fā)。同時(shí)我們通過OSS和FS緩存機(jī)制，然后最重要的是強(qiáng)一致性，你不需要擔(dān)心，剛才我們講存儲(chǔ)里邊每個(gè)廠商都有一堆的存儲(chǔ)產(chǎn)品，每個(gè)存儲(chǔ)產(chǎn)品這邊的數(shù)據(jù)流動(dòng)實(shí)際上有一個(gè)非常麻煩的問題，很多時(shí)候數(shù)據(jù)流動(dòng)過來了，權(quán)限沒有流動(dòng)過去；權(quán)限流動(dòng)過去了，元數(shù)據(jù)參數(shù)信息沒有流動(dòng)過去，比如說對象存儲(chǔ)的語義和文件存儲(chǔ)的語義差異很大的。

這個(gè)時(shí)候我們的強(qiáng)一致性就不需要考慮那些問題，就是一個(gè)極高性能對象存儲(chǔ)，但是它價(jià)格還是跟對象存儲(chǔ)沒太大差異，何樂而不為。

最后一個(gè)，其實(shí)我認(rèn)為在現(xiàn)階段其實(shí)是比較重要的，很多人忽視了這個(gè)場景，當(dāng)前大模型可能是在一個(gè)炒作周期的頂峰，但是落地該怎么落地呢，文達(dá)的觀點(diǎn)就是說你通過AI引擎建成加上GPT3.5，你可以達(dá)到GPT4.0的效果，如果過兩天GPT5.0出來之后，你通過AI建成你可能達(dá)到更好的效果。

所以我們可以堅(jiān)信就是我們做了很多東西，它一定是有價(jià)值的，當(dāng)然也可能潑一盆涼水，OpenAI的奧特曼說你做這些都是無用功，大模型會(huì)把你所有的這些所謂的定制化全部給你干掉，因?yàn)槲覀儠?huì)發(fā)現(xiàn)世界上的第一性原理就是說什么，不要針對特定場景去定制，我會(huì)把所有場景全部適配掉，大家可以自己根據(jù)自己的看法去判定，有些是階段性策略，有些是長期的策略。

所以我們其實(shí)也一直在AI Landing這一塊做了很多的努力，比如說阿里的通訊千問，其實(shí)我們有兩套平臺(tái)，千尋平臺(tái)，百鏈平臺(tái)，就是可以讓不具備AI能力，不具備大模型訓(xùn)練能力的人，可以快速享受到這種技術(shù)突破所帶來的價(jià)值。所以我們從整個(gè)的服務(wù)層、轉(zhuǎn)化層、引擎層我們做了很多的優(yōu)化。

下面我講兩個(gè)最簡單的場景，第一個(gè)就是我一個(gè)典型的客戶，他以前是做數(shù)據(jù)服務(wù)類的，以前你選很多東西你去找到你想要那個(gè)文件，或者以前經(jīng)常還有人賣數(shù)據(jù)，賣幾千條的結(jié)構(gòu)化數(shù)據(jù)。他給我提了一個(gè)問題，他說大模型這么好，我想讓客戶隨便問，我就把他想要的東西給到他，我想這就是個(gè)典型的速度增強(qiáng)的一個(gè)場景。

但是你會(huì)發(fā)現(xiàn)現(xiàn)在的速度增強(qiáng)，包括OpenAI他做的速度增強(qiáng)其實(shí)非常弱，弱到爆，其實(shí)就是一個(gè)對話機(jī)器人，跟企業(yè)的生產(chǎn)是有很大一段距離的。

生產(chǎn)里邊最核心的是什么？數(shù)據(jù)庫，如何讓AI和數(shù)據(jù)庫結(jié)合起來，和你已有的知識(shí)結(jié)合起來，所以大家都會(huì)探討一個(gè)問題。如何把標(biāo)量查詢和向量查詢在自然語言的環(huán)境下快速地集合，客戶的特定狹窄場景，精準(zhǔn)的給到一個(gè)速度增強(qiáng)，這是我們需要解決的問題。

一般的解決之道是什么呢？NLP2SQL這個(gè)時(shí)候你會(huì)發(fā)現(xiàn)每一個(gè)客戶你都要訓(xùn)練，如果表太復(fù)雜的話，一般一個(gè)不太大的公司，它的表可能都會(huì)有幾千個(gè)列，你需要訓(xùn)練投入量特別大，還需要有專業(yè)的人才。

第二個(gè)就是聯(lián)合查詢。你的標(biāo)量查詢和向量查詢，向量查詢解決的是非結(jié)構(gòu)化數(shù)據(jù)的查詢，標(biāo)量查詢解決的結(jié)構(gòu)化數(shù)據(jù)的查詢，它兩者之間的關(guān)聯(lián)怎么來解？很多時(shí)候是用不同的數(shù)據(jù)架構(gòu)在中間做融合和穿插，那不是一個(gè)好的解決方案。我們一定要遵從一個(gè)如無必要勿增實(shí)體。

到這個(gè)階段后，你會(huì)發(fā)現(xiàn)向量數(shù)據(jù)庫會(huì)帶來極大的數(shù)據(jù)量，當(dāng)前大家可能感知不是很明顯，未來可能就會(huì)很明顯了。你從非結(jié)構(gòu)化，向量化化，你想以前我們結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)比例是和數(shù)據(jù)價(jià)值是個(gè)什么情況，現(xiàn)在它相當(dāng)于給非結(jié)構(gòu)化數(shù)據(jù)增大了極高的數(shù)據(jù)價(jià)值，數(shù)據(jù)價(jià)值決定了存儲(chǔ)產(chǎn)業(yè)的價(jià)值，所以我們應(yīng)該感謝這個(gè)時(shí)代，它給我們創(chuàng)造了很多數(shù)據(jù)價(jià)值，也創(chuàng)造了很多存儲(chǔ)價(jià)值，那意味著你能賣出更多的價(jià)值。所以我們用我們的表格存儲(chǔ)來做這樣的一個(gè)底座。

它有幾個(gè)好處，第一個(gè)就是說它是向量和標(biāo)量在一個(gè)數(shù)據(jù)庫里邊，可以做聯(lián)合查詢，你就不需要那么復(fù)雜，用兩個(gè)數(shù)據(jù)庫做了數(shù)據(jù)之后再做交叉。很多人會(huì)做很多牽強(qiáng)的處理，比如說統(tǒng)一建索引，建完索引之后，然后再從向量查詢里邊抽出來索引和標(biāo)量數(shù)的差異，再做一次，然后再做二次的連表，然后再把結(jié)果輸出來，沒有必要，我們以一個(gè)數(shù)據(jù)庫來解決這一個(gè)問題。

第二，我們跟我們的百煉平臺(tái)和千尋平臺(tái)進(jìn)行了對接，這樣的話你可以一站式做數(shù)據(jù)的標(biāo)準(zhǔn)檢索項(xiàng)目查詢，你只要在一個(gè)層級上全部解決了，而且不需要做那些額外的處理。

還有一個(gè)問題就是，當(dāng)前大家還沒有碰到瓶頸，很多人用AI AGENT的還是在實(shí)驗(yàn)階段，小打小鬧，真真正正如果商用，如果去做成一個(gè)海量化的業(yè)務(wù)系統(tǒng)的話，它一定會(huì)面臨一個(gè)問題，向量化的速度、存儲(chǔ)成本和檢索成本，這個(gè)時(shí)候我們現(xiàn)在提供的是一個(gè)service的架構(gòu)，這是在大部分?jǐn)?shù)據(jù)庫里邊很少提供的。Service的架構(gòu)就是說你可以按需來做，你查的多你就消耗的查詢資源多，你就多付點(diǎn)查詢的費(fèi)用，你存的數(shù)據(jù)多，你多付點(diǎn)存儲(chǔ)的費(fèi)用，同時(shí)我們還支持分級。

而最關(guān)鍵的問題其實(shí)就是開箱即用，不需要掌握那么多知識(shí)，普及是很重要的。

我相信AI時(shí)代，中國在這方面依然是領(lǐng)先的，所以這方面依然是我們存儲(chǔ)很大的機(jī)會(huì)。

第二就是在服務(wù)的過程中你會(huì)服務(wù)，當(dāng)你把所有的今天你能看到的、國民級APP全部做了AI化改造之后，你就面臨一個(gè)很典型的問題，如何收費(fèi)和計(jì)費(fèi)的問題，你如何把這個(gè)客戶在AI上產(chǎn)生的這些消耗進(jìn)行一個(gè)多租戶的管理，如果是1億的用戶，我怎么樣給他管理。我們其實(shí)在這個(gè)場景下，我們做了自帶的消息模型，幫大家去存儲(chǔ)這些東西，但那些都不重要。

最重要問題是兩點(diǎn)，第一我們支持1億個(gè)虛擬表，這樣的話你可以對任何一個(gè)用戶做單獨(dú)的額度和配額的管理，還有計(jì)費(fèi)計(jì)量的控制。

第二，我們剛才講了serless的產(chǎn)品，所以開發(fā)周期你可以從一個(gè)月，甚至幾個(gè)月縮短到幾天。今天我其實(shí)很零碎的把AI從數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練和推理、AI如何落地講了一下，也介紹了一些阿里的產(chǎn)品，比如說我們的數(shù)據(jù)庫產(chǎn)品，同時(shí)支持傳統(tǒng)的文件語義和HDFS語義。在數(shù)據(jù)處理的時(shí)候，我們還推出了我們新的產(chǎn)品特性臨時(shí)盤，在多模態(tài)大模型的數(shù)據(jù)清治理情況下，可以大幅的降低你的存儲(chǔ)使用成本，然后而且非常高效。

在訓(xùn)練的過程中，我們提供了我們的并行文件系統(tǒng)CPFS，它可以同時(shí)兼顧AI FACTOTY和AI COUND兩個(gè)場景,然后在AI推理上我們推出了加速器，可以讓你在對象存儲(chǔ)上來做AI的推理，同時(shí)獲取到像并行文件全閃存系統(tǒng)一樣的接近它的性能。同時(shí)我們在AI AGENT診斷上提供了速度增強(qiáng)，一些增強(qiáng)能力，以及大模型推理上的一些東西。

當(dāng)然我相信，就像我剛開始說的，今天我講的只是這個(gè)時(shí)代的一個(gè)快照，我們其實(shí)有很多的領(lǐng)域值得去發(fā)掘。第一個(gè)領(lǐng)域，我們所有架構(gòu)是否會(huì)發(fā)生改變？假如說到1:1的層級的話，我們的訓(xùn)練是否還是一個(gè)樹形結(jié)構(gòu)的元數(shù)據(jù)，我們還是傳統(tǒng)的大數(shù)據(jù)之前的那種方式，我要把所有的訓(xùn)練機(jī)全部 shuffle一遍，我們以前是為了防止梯度下降的時(shí)候下降的不夠隨機(jī)，不是一個(gè)最優(yōu)解。但當(dāng)你到了全量的數(shù)據(jù)的時(shí)候，是否還需要？這個(gè)時(shí)候可能 key value storage serverless才是未來，所以我們一定堅(jiān)信我們會(huì)做大做強(qiáng)我們的對象存儲(chǔ)的產(chǎn)品能力，來等待那個(gè)時(shí)代。

第二，大家都看到了Cache的重要性，你單靠一個(gè)server端的存儲(chǔ)是解決不了的，存儲(chǔ)永遠(yuǎn)是整個(gè)數(shù)據(jù)中心中最慢的部件，不管你怎么優(yōu)化，它都是最慢的?，F(xiàn)在英偉達(dá)提出的觀點(diǎn)是什么？CPU和PCle太慢，而不是存儲(chǔ)太慢。

大模型最大的痛點(diǎn)是什么？是內(nèi)存墻的問題，是顯存的內(nèi)存不夠的問題。所以要解決這個(gè)問題的話Cache是很重要的，現(xiàn)在的Cache是覆蓋到哪了，少部分覆蓋的是server端的開始，比如說在傳統(tǒng)存儲(chǔ)上做加速，比如說我用全閃存做加速。第二種是我做元數(shù)據(jù)加速等。

下個(gè)時(shí)代我們需要考慮的是GPU的ROM和CPU ROM之間的CASH，比如說CheckPoint，1TB的數(shù)據(jù)是不是先 offload到CPU的ROM，GPU的ROM空出來之后我就可以繼續(xù)訓(xùn)練了，再一步到持續(xù)化存儲(chǔ)，其實(shí)現(xiàn)在很多大型的模型已經(jīng)這么做了，包括阿里派平臺(tái)上的 easy checkpoint，他已經(jīng)在做這些相關(guān)的

第二是 GPU的數(shù)據(jù)調(diào)動(dòng)，大家都知道GPS，GPU directory storage可以直接從GPU去加載，但是整個(gè)過程的控制指令還是CPU。英偉達(dá)GIDS是想從GPU虛擬出來了的一個(gè)隊(duì)列來做數(shù)據(jù)的加載，它解決兩部分問題，第一個(gè)問題就是說更精細(xì)化加載，以前GDS你是大塊大塊的加載，而GIDS你可以按需的去加載，這個(gè)時(shí)候你可以在一些小l的場景下效果可能達(dá)到一個(gè)很大。而這不僅僅是他當(dāng)前的一個(gè)想法，他在這次的GTC上他做大型的DATASETACCCERLARE，他就把GPU的ROM和cpu ROM，還有本地的NVME，它做成一個(gè)統(tǒng)一的CASH慢慢做。???

他當(dāng)前是在哪個(gè)神經(jīng)網(wǎng)絡(luò)上在圖神經(jīng)網(wǎng)絡(luò)上去做這個(gè)處理，因?yàn)閳D神經(jīng)網(wǎng)絡(luò)現(xiàn)在對于數(shù)據(jù)加載它的量很大，我們的常規(guī)的AI訓(xùn)練它是有批次的，有順序的可以做預(yù)加載，當(dāng)前的痛點(diǎn)并不強(qiáng)。但是我相信下一個(gè)時(shí)代一定是會(huì)有這樣的需求的，所以假設(shè)英偉達(dá)把這一套全部在CUDA里邊實(shí)現(xiàn)完成了之后，我們是如何去適配它，如何在這個(gè)場景下找到你獨(dú)特的存儲(chǔ)差異化，這是我們要考慮的一些問題。

還有我們是否能跳躍這個(gè)東西，我們往上看AI的訓(xùn)練和推理都基于拍照紙，而且現(xiàn)在拍照只是主流，它的DATASET其實(shí)就是一個(gè)內(nèi)碼，我們的存儲(chǔ)是不是可以在這一層上搞一個(gè)確定性的市場，一個(gè)確定性的場景，確定性的技術(shù)需求，而且不需要你發(fā)散，不需要你做兼容性，我覺得這也是我們值得考慮，這些都是我們值得去思索的。

nina