以下內(nèi)容根據(jù)演講速記整理，未經(jīng)本人審定?！?/p>

謝長生：大家下午好，今天聊一聊我關(guān)對AI高端存儲系統(tǒng)的發(fā)展邏輯與技術(shù)特征的一些思考。

圖靈機表達了宇宙的一切規(guī)律

是誰描繪了信息革命的千里江山圖？

我在博士生的課程上講了十幾年，但是在行業(yè)性的會很少講，這是信息革命的起點，緣由是一個德國數(shù)學(xué)家希爾伯特在1900年的世界數(shù)學(xué)家大會上提出的一個哲學(xué)問題（提出問題比解決問題其實更重要）：存不存在解決所有數(shù)學(xué)問題的一般算法？他感覺到是有，但不確定。

過了36年，圖靈為了回答這個問題構(gòu)造了一個圖靈機，這個圖靈機其實很簡單，一個無限長的帶子，還有一個磁頭，要么是寫0，要么寫1，使它發(fā)生變化，這個帶子左右移動，圖靈證實說，就這樣的機器，所有的數(shù)學(xué)問題都可以理論上解決出來。

為了回答這個問題的操作，一下子就開啟了信息革命的原點，所有后面的故事就此開始。

后來又有一個先驅(qū)，一個很有名的元胞自動機科學(xué)家企業(yè)家，說他能證明圖靈機模型可以表達宇宙的一切規(guī)律。這個問題雖然沒有像解決數(shù)學(xué)問題一樣得到證明，但我很相信這個道理的。

圖靈機有三個部分，一個是計算部分，讀寫頭機器控制，第二部分是存儲，無限長的帶子，上面都是數(shù)據(jù)，這就是存儲，帶子的移動就是傳輸。

現(xiàn)在回過頭來看，人家早就說明了，整個數(shù)字信息設(shè)施就是這三樣?xùn)|西，現(xiàn)在所有數(shù)據(jù)中心跑不出這三個東西，計算設(shè)施、存儲設(shè)施，傳輸設(shè)施（網(wǎng)絡(luò)）。

定義一下這三項內(nèi)容。計算就是在有限規(guī)則下對數(shù)據(jù)的序列變換；存儲是數(shù)據(jù)跨越時間的傳遞，老子寫一本書，跨越兩千多年傳到我們，這就是跨越時間的傳輸，打個電話就是空間的傳輸。這三件事情現(xiàn)在簡稱算力、存力、運力，它們表達了一個簡單的真理，只要對數(shù)據(jù)進行計算存儲傳輸，就能表達宇宙的一切規(guī)律。

這是非常偉大的發(fā)現(xiàn)。

圖靈機既是一個偉大的發(fā)現(xiàn)，又是一個偉大的發(fā)明，就這么幾個簡單的動作可以表達世界的一切客觀規(guī)律，構(gòu)造成了計算存儲傳輸基礎(chǔ)性的發(fā)明，用一種開天辟地的方式開啟了信息時代，用計算來開辟一個和人腦智力不一樣的模式，但是可以表達世界運行規(guī)律。

圖靈機可以表達世間的一切規(guī)律，這是它的理論能力；但是到底能表達多少，就看算力到?jīng)]到那個點。從計算機系統(tǒng)結(jié)構(gòu)的來看有兩大措施，在集成電路技術(shù)體系下，一個是并行，一個是更多的角度，最早有指令級的并行，流水線、多發(fā)射，數(shù)據(jù)并行，還有多核，同構(gòu)多核到現(xiàn)在的異構(gòu)多核，然后就是大規(guī)模的并行，云計算中心、超算中心、智算中心等等，計算力就是一個系統(tǒng)上跑，這個就是計算原理所決定的，如果算力無窮大，那就什么事都能干。

從最開始的大型機到小型機到PC，剛開始的PC只能處理文字，后來圖像、視頻，這是算力在進步。算力要靠數(shù)據(jù)來喂，要傳輸，要存儲，所以就發(fā)展了互聯(lián)網(wǎng)、智能手機和移動互聯(lián)網(wǎng)、云計算等。

在AI這個點上，人們覺得現(xiàn)在很先進，但其實后面的路還長著呢，后面是宇宙一切規(guī)律，離那個點還遠的很。所以圖靈是一眼望到了宇宙的一切規(guī)律，現(xiàn)在正在AI這個時間點上。

信息革命一波波的浪潮，目前都還在圖靈的手掌心當中。剛才說了這么多成就，其實就像是孫悟空翻的跟頭十萬八千里，停下來看還在圖靈的手掌心中，還是在圖靈的模式下工作。圖靈早就認識到計算機是可以思考，所以他1950年發(fā)文，計算機學(xué)習(xí)智能，提出了著名的圖靈測試，通過圖靈測試才算完成人工智能。

圖靈機是可以表達宇宙的一切規(guī)律，人類的智能是關(guān)于思維的規(guī)律，在宇宙一切規(guī)律之內(nèi)，所以圖靈機可以表達人類思維。

關(guān)于圖靈機和AI的邏輯

從邏輯可以推斷，AGI（通用人工智能）可以表達人類的思維，可以達到人類的水平。好幾個大佬都預(yù)測在2027年左右就可以做到跟人類一樣聰明，這是通用人工智能。

圖靈機可以表達宇宙的一切規(guī)律，那么存不存在于高于人類的智慧？其實比比皆是，很多東西人根本就想不出來，其實就存在于我們的視野當中。任何一個生物的細胞很多機制，從微觀來看那種設(shè)計簡直是太精巧了，可人的智慧設(shè)計不了那個東西，有人覺得這是上帝的安排。如果是靠進化出來的，這個其實是很難理解的，所以很多人說是有比人類更高智慧的存在。

圖靈機按照這個進度一定可以超越人類智能，這也是符合邏輯三段論的，這就是AI中的超級人工智能，叫做ASI。一個大集合是宇宙的一切規(guī)律，通用人工智能其實是一小部分，參與人工智能就是又一個更大的集，很多人都說人類智慧是不可能被機器超越的，有一個著名的企業(yè)家和馬斯克辯論，說人類有創(chuàng)造力，機器不可能超越，馬斯克說其實人類很多事情做得非常愚蠢，好端端的一個地球老是打來打去，沒有一個好辦法避免戰(zhàn)爭。

圖靈的成就抵得上10個諾貝爾獎

圖靈的成就開啟了一個信息時代。

我認為圖靈的成就比得上十個諾貝爾獎，圖靈啟動了信息革命。晶體管和激光二極管是做傳輸?shù)?，巨磁阻效?yīng)（硬盤）是做存儲的，很多科學(xué)家都是在圖靈的框架下得到諾貝爾獎，今年的諾貝爾獎兩個都是用人工智能得了物理學(xué)獎和化學(xué)獎，所以圖靈的成就絕對頂十個諾貝爾獎。

AI需要什么樣的算力？

圖靈獎的獲得者派樂森講了一個重要的原理，就是Make the common case fast就是加快經(jīng)常性事件，也就是耗時最多/頻度最高的事件。15年前，兩個大學(xué)教授辯論說以后發(fā)展計算機，像單個處理器發(fā)展的是強而少好，還是弱而多好，類似推斷發(fā)展幾頭牛好還是發(fā)展一大群雞好。這就要看經(jīng)常性的事件是什么，AI的經(jīng)常性事件就是它的Commo case是什么，是巨大數(shù)量的矩陣運算，加成運算占它的絕大部分。以前是單個CPU非常強的那條路好，如今每個計算單元都很弱，但數(shù)量巨大，這適應(yīng)了AI的計算的Commo case經(jīng)常性的事件，所以GPU適用于這個。

經(jīng)常性事件就是這樣的，像一頭牛拉一個很重要的東西，他很厲害，但假如說你一場地都是稻子，放一千只雞去吃，肯定比牛吃得快。所以現(xiàn)在GPU就像一大群雞，速度就特別快，這就是GPU或者是TPU、MPU一類的算力成為計算的主力的原因，CPU反而只成了一個調(diào)度而已。

AI的基礎(chǔ)設(shè)施帶來巨大的商機，存儲能分多少？

AI的三個要素是算法、算力和數(shù)據(jù)。

AI是算力的吞金猛獸，所以GPU為代表的算力設(shè)施急劇增長，成為商業(yè)的最大贏家，現(xiàn)在一搞就是萬卡，馬斯克搞一個超算中心就是10萬卡，要花幾十億美金才能建一個，國內(nèi)外都是如此，所以英偉達賺翻了；國內(nèi)不論是浪潮還是華為，他們賣服務(wù)器也賺了很多。

存儲的商機在哪里？好像并沒有得到與算力成正比的增長。

一是要加強AI真正的應(yīng)用。現(xiàn)在各地大力建設(shè)智算中心，但很多都是政績工程，建好后是不是用了，不得而知。假如真正落實，存儲的商機會大大增加。國外的存算比比國內(nèi)高很多，國內(nèi)因為還沒有用起來，沒有足夠多數(shù)據(jù)存。算力越高，它的存儲也要跟著高，現(xiàn)在叫做以存配算，以存強算，也有很多積極的技術(shù)，有些技術(shù)做得很好，特別是用存儲加強計算的能力，有很多的研究。

第二個因素是數(shù)據(jù)，大模型的參數(shù)量激增，AIGC幾行字就可以產(chǎn)生一個視頻，所以它的數(shù)量也會劇增；算法也會帶來機會，可以以存來代算，所以以存強算、以存代算都可以擴大存儲的需求。只要加強這些，存儲就有商業(yè)機會。

圖靈機對存儲的直觀啟示

圖靈機對存儲的直觀啟示是什么？

第一，它要有足夠大的容量，就那個無限長的帶子，預(yù)示將來對容量有無止境的需求，因為數(shù)據(jù)量在不斷的增加，現(xiàn)在AI訓(xùn)練就靠要數(shù)據(jù)，所以足夠大的容量是從圖靈機上就可以看出來的。

第二，提供數(shù)據(jù)機的速度必須與計算速度相匹配，就是磁頭在0變1、1變0的時候所需的數(shù)據(jù)可以到達該到的地方，所以存儲必須有兩點來保證，一是傳輸速度，光比電快這是介質(zhì)特性，越近就越快、越并行越快、越簡單越快，GPU、顯存離的非常近就是這個原因；二是讀寫速度要快，從寄存器到SRAN到高帶寬的DRAM和HBM或者SSD、HDD到光盤等，算力、存力、運力必須平衡。所以設(shè)計存儲系統(tǒng)一定要遵循最基本的道理。

有時候看問題，把圖靈機一看就知道，原來技術(shù)發(fā)展大思路是很簡單的，就是要做到算力運力存力要平衡。

AI高端存儲的設(shè)計原則

高端存儲就是與AI算力相平衡的存儲。

以前AI算力就是以GPU為核心的算力，平衡就是能供得上就是高端存儲，那么設(shè)計原則還是加快經(jīng)常性的事件。這里有兩個技巧，一是要辨識現(xiàn)在AI的算力對存力的需求特征，要仔細的分辨哪些算法對IO的行為，經(jīng)常性事件的辨識，二是設(shè)法加強存力，存力理論上就是性能和容量這兩個方面，

把握好了這個原則再設(shè)計存儲系統(tǒng)，大方向就不會錯。但是存力如何衡量？比如說帶寬IOPS這些簡單的指標能不能反映存儲系統(tǒng)用于真實使用時候性能就高，比如達到了什么百萬級的IOPS，是不是一個指標就可以反映用到AI訓(xùn)練和AI大模型真正就是最快的？不一定。

真正反應(yīng)存儲系統(tǒng)性能的是運行實際程序的存算平衡度，要去拿一個真實的AI的負載評價存儲系統(tǒng)，無論是戴爾的，是浪潮的，還是華為的，就跑一個正確的程序，看誰先做完，光談帶寬可能個別的高，真正來比這個。所以建立一個AI存儲的benchmark至關(guān)重要。

AI存儲的Benchmark如何建立？

來看看Benchmark如何建立。要挑選有代表性的、真實的程序，把它合在一起做成一個Benchmark。這個還面臨一個困難：AI的進步太快，前年還在說AIGC，去年講大模型，明年還不知道變成什么。應(yīng)對這些不一樣的模式，挑選的應(yīng)用變化太快。但總要有一個開頭，所以從去年開始成立了一個協(xié)會，得圖靈獎的戴維牽頭聯(lián)合谷歌、斯坦福大學(xué)和哈佛大學(xué)發(fā)起一個ML Commons協(xié)會，選了一些真實、典型的AI負載，把運行成果系統(tǒng)拿過來看誰領(lǐng)先。

AI大模型發(fā)展迅猛，助力各行各業(yè)

AI大模型應(yīng)用發(fā)展很迅猛，對算力的提升和對存儲都提出挑戰(zhàn)，一個是參數(shù)量越來越大，對存儲的容量提出了空前挑戰(zhàn)，二是算力的猛增使它吞吐率猛增，存儲墻更加嚴重，現(xiàn)在存儲墻有內(nèi)存瓶頸和IO瓶頸兩個，如何克服，三是大模型的分布式對傳輸?shù)膸捄脱舆t提出空前的要求，四是復(fù)雜的分布式算存?zhèn)鹘Y(jié)構(gòu)對協(xié)議棧、文件系統(tǒng)等提出了新的挑戰(zhàn)，需要在存儲軟件層面上進行變革。

AI高端存儲的技術(shù)特征

高端存儲技術(shù)特征，一是存力與算力的特征要匹配和平衡，圖靈機已經(jīng)說清楚了，二是分級存儲的調(diào)度策略與AI算法緊密相關(guān)，二是性能型的存儲容量急劇擴大，對大內(nèi)存和大顯存需求越來越大，要容量型存儲價格、能耗要急劇降低。

大模型強大能力的背后是龐大的參數(shù)量。大模型參數(shù)量以年均400%復(fù)合增長，大模型能力和模型參數(shù)量成正相關(guān)，例如，GPT-4模型的參數(shù)規(guī)模超過萬億，很快會到10萬億。

蓬勃發(fā)展的AI大模型迫切需求存儲技術(shù)的革新。如何應(yīng)對AI大模型對存儲提出的挑戰(zhàn)？

一個是硬核科技。國內(nèi)有一些突破，長江存儲是值得驕傲的一個企業(yè)，如果沒有長江存儲，國內(nèi)所有的介質(zhì)和數(shù)據(jù)都還在國外，別看系統(tǒng)做得挺好，介質(zhì)中硬盤沒有一塊國產(chǎn)、磁帶沒有一盤是國產(chǎn)。好在有了長江存儲，而且他們有自己的技術(shù)優(yōu)勢，水平應(yīng)該說和國際水平很接近，這是硬核科技，不是一個創(chuàng)業(yè)公司可以做的。今年9月，在長江存儲的支撐下，新存科技和華科大合作推出3D堆疊相變存儲器，將國外做到4層后做不下去的類似Xpoint技術(shù)做到了8層，容量也實現(xiàn)了64Gb，這個產(chǎn)品比NAND要快，而且容量還大、擦寫次數(shù)更多、壽命更還長。

二是容量突破。華中科技大學(xué)在一片光盤上存10個T的技術(shù)，現(xiàn)在在實驗室已經(jīng)實現(xiàn)了，有待于產(chǎn)業(yè)化，在體系結(jié)構(gòu)上和存儲軟件上也有很多技術(shù)要做，同時在研發(fā)超大容量、低成本的五維玻璃存儲，在一個玻璃盤片存10個PB，可以永久保存，這個也是在華中科技大學(xué)實驗室進行，微軟現(xiàn)在跟著在做。對中國而言，價值更大，全產(chǎn)業(yè)鏈都可在國內(nèi)解決。

其他方面，如華中科技大學(xué)團隊和華為合作的一個文件系統(tǒng)，能把華為的全閃存陣列數(shù)據(jù)能很快提到內(nèi)存中，因此兩次獲得國際IO500十節(jié)點榜單第一，這個文件系統(tǒng)關(guān)鍵的技術(shù)是學(xué)校首先提出。推出之前，華為用自己的文件系統(tǒng)獲得第七名，采用后提升為第一，而且比第二名快了十幾倍。

總體而言，數(shù)據(jù)存取的效率成為影響大模型訓(xùn)練性能的核心要素之一，計算硬件的快速發(fā)展需求更高的存儲性能，而計算和存儲模塊發(fā)展存在鴻溝。

總結(jié)

AI的發(fā)展仍在圖靈機的范疇之內(nèi)，并遵循其普遍規(guī)律。

神經(jīng)網(wǎng)絡(luò)并不是說真正結(jié)構(gòu)上跟大腦神經(jīng)一樣，而是完全不一樣但可以表達的東西，這就是它的厲害之處，技術(shù)發(fā)展仍在圖靈機的范圍之內(nèi)，但可以做到比人類智慧更高。不過它并不是一個最佳的途徑，人腦才消耗多大一點能量，而它要數(shù)十億投資建設(shè)數(shù)據(jù)中心，耗費巨大的電能才能完成。

蓬勃發(fā)展的AI大模型迫切需要存儲技術(shù)的革新，高端存儲就是與AI算力相平衡的存儲；現(xiàn)在以存強算，以存代算會帶來很多商機，設(shè)計邏輯就是加強經(jīng)常性事件，以及性能型存儲和容量型存儲。

xiesc

<ruby id="izs8x"></ruby>