如今,專家、學(xué)者都在呼吁要像重視智算中心或者算力中心一樣,重視存力中心的建設(shè),但什么是存力中心?存力中心應(yīng)該具備哪些衡量指標(biāo)?對(duì)此,并沒有一個(gè)業(yè)內(nèi)的共識(shí),很多時(shí)候,會(huì)與存儲(chǔ)數(shù)據(jù)中心混為一談。為此,中國電子工業(yè)標(biāo)準(zhǔn)化技術(shù)協(xié)會(huì)數(shù)據(jù)存儲(chǔ)專委會(huì)(簡稱:數(shù)據(jù)存儲(chǔ)專委會(huì))特邀業(yè)內(nèi)專家進(jìn)行研討和交流,并通過《數(shù)存連線》欄目對(duì)外傳播。

我非常榮幸受邀,與華為數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)發(fā)展總監(jiān)翟爽、中國移動(dòng)研究院項(xiàng)目經(jīng)理閆晗、數(shù)據(jù)存儲(chǔ)專委會(huì)秘書長孫鋼等專家參與第1期沙龍研討,也因此迸發(fā)了“有存,有力,才是存力中心”的觀點(diǎn)。

存力中心不能僅用存儲(chǔ)容量考評(píng)

在我看來“有存”非常好理解,數(shù)據(jù)要存下來,保護(hù)好,基本等同于存儲(chǔ)數(shù)據(jù)中心,數(shù)據(jù)在這里保存、使用,甚至交易。

相比“有力”應(yīng)該怎么理解呢?對(duì)此,不妨對(duì)比一下算力,所謂算力可通過1PFLOPS(千萬億次/秒)或者10PFLOPS等GPU算力的指標(biāo)進(jìn)行衡量;那么,存力中心如果也用100PB/1EB數(shù)據(jù)存儲(chǔ)的能力進(jìn)行界定是否可以呢?我認(rèn)為千萬不可以!

為什么存力中心不可以照方抓藥呢?

之所以可以用1PFLOPS或者10PFLOPS等算力指標(biāo)界定智算中心,是因?yàn)樗懔緵Q定了AI大模型訓(xùn)練、推理的能力和水平;相比,100PB/1EB存儲(chǔ)數(shù)據(jù)容量,只能夠代表數(shù)據(jù)的多與少,并不代表就此可以釋放數(shù)據(jù)的價(jià)值。借用數(shù)學(xué)的邏輯表述,存儲(chǔ)數(shù)據(jù)的能力是必要條件,卻并不是釋放數(shù)據(jù)價(jià)值的充要條件。

從數(shù)據(jù)到數(shù)據(jù)價(jià)值釋放,缺少了數(shù)據(jù)要素這個(gè)中間環(huán)節(jié)。

數(shù)據(jù)要素是存力中心非常重要的核心內(nèi)容。這從數(shù)據(jù)要素的表述就可以體現(xiàn)出來,數(shù)據(jù)要素是指從數(shù)據(jù)中提煉出的、可用于生產(chǎn)經(jīng)營并創(chuàng)造價(jià)值的資源,是數(shù)字經(jīng)濟(jì)時(shí)代的核心生產(chǎn)要素之一。

應(yīng)該說,數(shù)據(jù)要素才是存力中心建設(shè)的靈魂,也是“存力”的力量源泉。

存力如何進(jìn)行衡量?

從數(shù)據(jù)到數(shù)據(jù)要素,再到數(shù)據(jù)價(jià)值的釋放,離不開生產(chǎn)力工具的使用,其中包括大數(shù)據(jù)以及AI大模型。AI大模型的使用已得到了廣泛的認(rèn)可和重視,數(shù)據(jù)要素也不可避免地與AI大模型技術(shù)緊密結(jié)合,激發(fā)新的生產(chǎn)力。因此,數(shù)據(jù)要素對(duì)AI大模型的支持能力,完全可以作為存力的衡量指標(biāo)。

未經(jīng)處理的原始記錄(如日志、文本、圖像),也就是我們說的數(shù)據(jù),一般不直接參與交易,也不能被AI大模型直接使用,這也是為什么100PB或者1EB的存儲(chǔ)容量不能說明問題的原因。這些原始數(shù)據(jù)要能夠被AI大模型使用,必須先經(jīng)過清洗、加工、分析和處理,其中,向量化就是一個(gè)最為基礎(chǔ)的操作。既然如此,完全可以將向量化數(shù)據(jù)量作為數(shù)據(jù)要素的衡量指標(biāo),如果數(shù)據(jù)要素占比過低,則不宜稱為存力中心。

存力中心建設(shè)應(yīng)該集中體現(xiàn)出數(shù)據(jù)要素的加速能力,加快數(shù)據(jù)價(jià)值的使用和釋放,這理應(yīng)成為存力中心建設(shè)的重要使用目標(biāo),如果背離了這個(gè)初衷,存力中心建設(shè)極有可能成為數(shù)據(jù)中心建設(shè)的翻版。

存力中心建設(shè)是否應(yīng)該像智算中心一樣單獨(dú)立項(xiàng)呢?

存力中心應(yīng)該與智算中心一樣得到重視,但這并不意味著一定要單獨(dú)構(gòu)建一個(gè)存力中心,這是因?yàn)閿?shù)據(jù)要素不應(yīng)離開生產(chǎn)力單獨(dú)存在(這里生產(chǎn)力應(yīng)該是算力),智算中心和存力中心不應(yīng)該割裂。因?yàn)閿?shù)據(jù)量龐大,存力中心很難依靠網(wǎng)絡(luò)傳輸遠(yuǎn)程連接智算中心。存力中心應(yīng)該緊鄰智算中心,或者干脆就在同一個(gè)數(shù)據(jù)中心。二者的關(guān)系是:存力中心應(yīng)該是智算中心,但是智算中心未必是存力中心。這是由數(shù)據(jù)價(jià)值釋放的這個(gè)性質(zhì)決定的。

一切應(yīng)該以數(shù)據(jù)價(jià)值釋放作為前提,存力中心建設(shè)應(yīng)該體現(xiàn)出這個(gè)原則和宗旨。

存力中心存儲(chǔ)應(yīng)該具備的能力

以釋放數(shù)據(jù)價(jià)值作為前提,這也對(duì)存儲(chǔ)基礎(chǔ)設(shè)施運(yùn)作提出了新的要求。

無論是存儲(chǔ)容量、閃介質(zhì)占比、高速網(wǎng)絡(luò)、分層存儲(chǔ)管理等等,都應(yīng)該有明確的要求和衡量的指標(biāo)。

考慮閃存介質(zhì)占比,主要是AI大模型對(duì)數(shù)據(jù)存儲(chǔ)的需求,從模型訓(xùn)練中的CheckPoint加載,到模型推理中的數(shù)據(jù)處理,都對(duì)存儲(chǔ)系統(tǒng)的性能有很高的要求,而閃存介質(zhì)占比,可以作為主要衡量指標(biāo)。其中,高速網(wǎng)絡(luò)也是保障性能不可或缺的技術(shù),也可以作為衡量指標(biāo)之一。

性能之外,數(shù)據(jù)分層存儲(chǔ)的管理水平也是重要的衡量指標(biāo),其中牽涉到的技術(shù),如多協(xié)議融合互通、多元異構(gòu)集群納管,目的是同一份數(shù)據(jù),實(shí)現(xiàn)文件系統(tǒng)、對(duì)象存儲(chǔ)、大數(shù)據(jù)共享訪問,支持AI、數(shù)據(jù)交易、數(shù)據(jù)分析等上層應(yīng)用。避免了數(shù)據(jù)的拷貝來,拷貝去,最大程度上體現(xiàn)數(shù)據(jù)的管理水平。

在此需要認(rèn)真思考的問題是:數(shù)據(jù)流動(dòng)并不等同于數(shù)據(jù)的自由拷貝、復(fù)制,相反,更多的數(shù)據(jù)拷貝、復(fù)制,不僅帶來存儲(chǔ)成本的增加,同時(shí)也恰恰反映出數(shù)據(jù)共享水平的低下。因此,存力中心需要的是高水平的數(shù)據(jù)管理,以及高效的成本控制,這應(yīng)該成為存力建設(shè)的最基本的原則。

小結(jié)

以上是我對(duì)存力中心建設(shè)的一點(diǎn)思考,存力中心應(yīng)該以數(shù)據(jù)價(jià)值釋放為根本目標(biāo),綜合考慮數(shù)據(jù)要素占比,以及存儲(chǔ)基礎(chǔ)設(shè)施的專業(yè)化。希望通過數(shù)據(jù)存儲(chǔ)專委會(huì)等專業(yè)機(jī)構(gòu),從專業(yè)的角度給出完整的存力中心建設(shè)衡量標(biāo)準(zhǔn),促進(jìn)存力中心的健康發(fā)展。

分享到

songjy

相關(guān)推薦