有數(shù)據(jù)表明:數(shù)據(jù)存儲(chǔ)市場(chǎng)需求快速成長(zhǎng),到2024年,在終端、數(shù)據(jù)中心邊緣和數(shù)據(jù)中心全球?qū)a(chǎn)生143ZB數(shù)據(jù),其中,中國(guó)數(shù)據(jù)量為36ZB,但是其中,只有1.5%左右的數(shù)據(jù)會(huì)被存儲(chǔ)和保留,大量的數(shù)據(jù)沒(méi)有辦法得到存儲(chǔ)和處理。其中,非常重要的一個(gè)原因,就是數(shù)據(jù)存儲(chǔ)成本,也就是GB/$成本無(wú)法滿(mǎn)足數(shù)據(jù)存儲(chǔ)的需求。
云和IPFS廠商的選擇
GB/$成本仍然是數(shù)據(jù)存儲(chǔ)必須跨越的主要障礙,存儲(chǔ)工業(yè)界為此做出了不懈的努力,無(wú)論SSD、還是HDD都在為此而努力,其中,SSD從3D NAND多層堆疊,到SLC、MLC、TLC、QLC存儲(chǔ)單元存儲(chǔ)的bit數(shù)據(jù);與HDD有關(guān)SMR、TDMR、ePMR、TSA、氦氣填充等技術(shù),其目標(biāo)和方向都是一致的,為降低GB/$存儲(chǔ)成本而奮斗。
如何能夠把創(chuàng)新SSD、HDD的技術(shù)付諸實(shí)踐,將科技轉(zhuǎn)化為生產(chǎn)力?云服務(wù)商和IPFS存儲(chǔ)運(yùn)營(yíng)商做出了很好示范。
有統(tǒng)計(jì)數(shù)據(jù)表明:從2017年到2021年,云服務(wù)商用了4年的時(shí)間,將18TB大容量硬盤(pán)作為了數(shù)據(jù)存儲(chǔ)的主流;與之相比,IPFS存儲(chǔ)云供應(yīng)商的步伐更快,僅僅用了4個(gè)季度,18TB大容量硬盤(pán)就成為了主流。
不要小看單盤(pán)存儲(chǔ)容量,從14TB到18TB的容量變化。
有數(shù)據(jù)表明,從14TB到18TB,單盤(pán)容量增加了29%,單位功耗減少21%,實(shí)現(xiàn)相同的存儲(chǔ)系統(tǒng)容量,可減少服務(wù)器用量22%??傮w擁有成本降低17%。
恰是因?yàn)榭吹搅丝萍歼M(jìn)步的價(jià)值,云服務(wù)商、IPFS存儲(chǔ)運(yùn)營(yíng)商果斷做出了選擇。
以Dropbox為例,通過(guò)與西部數(shù)據(jù)合作,通過(guò)部署大容量的20TB SMR HDD磁盤(pán),降低了存儲(chǔ)成本,為用戶(hù)提供了價(jià)值。
與中心化的存儲(chǔ)方式相比,IPFS存儲(chǔ)(InterPlanetary File System,星際文件系統(tǒng))面向全球構(gòu)建了一個(gè)點(diǎn)對(duì)點(diǎn)的分布式版本文件系統(tǒng),利用基于驗(yàn)證內(nèi)容的哈希的地址,來(lái)替代基于域名的地址,用點(diǎn)對(duì)點(diǎn)的IPFS存儲(chǔ)協(xié)議,替代集中式超文本傳輸協(xié)議(也就是HTTP)。IPFS將存儲(chǔ)的技術(shù)與區(qū)塊鏈技術(shù)結(jié)合,為企業(yè)級(jí)用戶(hù)提供了新的存儲(chǔ)選擇。
IPFS存儲(chǔ)在去中心化、性能和數(shù)據(jù)容量方面進(jìn)行了積極的嘗試。對(duì)于IPFS存儲(chǔ)運(yùn)營(yíng)商而言,在創(chuàng)業(yè)的初期,成本效率會(huì)是重中之重,大容量硬盤(pán)成為不二的選擇。作為存儲(chǔ)行業(yè)的領(lǐng)導(dǎo)者,西部數(shù)據(jù)也是IPFS分布式存儲(chǔ)技術(shù)服務(wù)商的重要合作伙伴。雙方通過(guò)在存儲(chǔ)解決方案上的合作,充分利用彼此的優(yōu)勢(shì),共同探討、搭建更好的分布式存儲(chǔ)生態(tài)項(xiàng)目,為 Web3.0 夯實(shí)基礎(chǔ)。
此前,杉巖數(shù)據(jù)聯(lián)合西部數(shù)據(jù),共同推出搭載了杉巖 MOS 海量對(duì)象存儲(chǔ)系統(tǒng)以及西部數(shù)據(jù)SSD, HDD與JBOD存儲(chǔ)平臺(tái),并針對(duì) IPFS 進(jìn)行了優(yōu)化的解決方案。該系統(tǒng)能夠滿(mǎn)足算力集群數(shù)據(jù)寫(xiě)入需要的高吞吐量存儲(chǔ)集群性能,并對(duì)時(shí)空證明請(qǐng)求進(jìn)行了優(yōu)化,使其可以獲取多個(gè)文件的多段內(nèi)容。
西部數(shù)據(jù)也與浪潮、星辰天合多方攜手,聯(lián)合推出IPFS 解決方案。在軟件層面,該解決方案搭載了專(zhuān)為 IPFS 場(chǎng)景而生的 XSFS(XSKY Scalable File System)系統(tǒng),通過(guò)全新的存儲(chǔ)技術(shù)手段,基于通用的 X86 服務(wù)器構(gòu)建了一個(gè)無(wú)限擴(kuò)容、持續(xù)在線的高性?xún)r(jià)比存儲(chǔ)架構(gòu)體系,在保證數(shù)據(jù)高安全性的同時(shí),打破存儲(chǔ)規(guī)模壁壘,降低 IPFS 建設(shè)的投入,滿(mǎn)足 IPFS 業(yè)務(wù)存儲(chǔ)需求。
在硬件層面,該解決方案包括浪潮英信服務(wù)器 NF5466M5、西部數(shù)據(jù) Ultrastar DC SN840 SSD、Ultrastar DC HC550 硬盤(pán)以及 Ultrastar Data60 JBOD 存儲(chǔ)平臺(tái)。通過(guò)搭載 44 塊/36 塊大容量的 Ultrastar DC HC550 HDD,NF5466M5 為 IPFS 存儲(chǔ)提供了海量的存儲(chǔ)空間,并借助硬盤(pán)的高穩(wěn)定性,顯著降低復(fù)制證明和時(shí)空證明提交過(guò)程中出現(xiàn)錯(cuò)誤的幾率。
長(zhǎng)城超云也以西部數(shù)據(jù)高性能大容量企業(yè)級(jí)硬盤(pán)Ultrastar DC HC550 18TB HDD為基礎(chǔ),設(shè)計(jì)了異構(gòu)產(chǎn)品組合的集群測(cè)試方案,包括Miner、Worker和Storage,大幅提升了客戶(hù)的業(yè)務(wù)效率,從而增強(qiáng)了客戶(hù)在IPFS領(lǐng)域的核心競(jìng)爭(zhēng)力。
行業(yè)企業(yè)用戶(hù)的新課題
與之相比,傳統(tǒng)行業(yè)/企業(yè)的步伐稍顯緩慢,并沒(méi)有跟上SSD、HDD的發(fā)展步伐。傳統(tǒng)企業(yè)級(jí)用戶(hù)選擇存儲(chǔ)的容量偏小。
為什么會(huì)是這樣呢?
在日前深圳舉行的2021深圳國(guó)際大數(shù)據(jù)與存儲(chǔ)峰會(huì)暨展覽會(huì)上,西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼指出:企業(yè)級(jí)用戶(hù)對(duì)于存儲(chǔ)的需求,呈現(xiàn)出一種分層存儲(chǔ)的特征,既有對(duì)熱數(shù)據(jù)、溫?cái)?shù)據(jù)的存儲(chǔ)需求,也有對(duì)冷存儲(chǔ)和極冷存儲(chǔ)的需求。
西部數(shù)據(jù)公司副總裁兼中國(guó)區(qū)業(yè)務(wù)總經(jīng)理劉鋼
“目前還沒(méi)有一種單一存儲(chǔ)技術(shù)或介質(zhì)能夠同時(shí)滿(mǎn)足極致性能、極低成本的需求?!?劉鋼說(shuō)。
針對(duì)不同的應(yīng)用需求,需要注重發(fā)揮不同的技術(shù)組合,揚(yáng)長(zhǎng)避短。靈活組合。簡(jiǎn)單說(shuō),要發(fā)揮西部數(shù)據(jù)Ultrastar SN840 NVMe SSD和西部數(shù)據(jù)Ultrastar SN640 NVMe SSD的性能優(yōu)勢(shì),也要發(fā)揮SMR、CMR等大容量硬盤(pán)的成本優(yōu)勢(shì)。
以SMR為例,能夠提供更大的磁盤(pán)容量,但是也需要注意,采取數(shù)據(jù)順序?qū)懭?/strong>的方式,以QLC NAND介質(zhì)為例,在GB/$上優(yōu)勢(shì)明顯,但也存在寫(xiě)數(shù)據(jù)壽命的限制,適合一次寫(xiě)入,多次讀取的應(yīng)用場(chǎng)景。不僅如此,在單盤(pán)的固件、以及控制器的設(shè)計(jì)上,保持讀寫(xiě)性能的平穩(wěn),避免過(guò)大的性能抖動(dòng),這都需要很深的技術(shù)功底,并非市場(chǎng)上所有產(chǎn)品都能夠滿(mǎn)足。而西部數(shù)據(jù)不斷創(chuàng)新的解決方案則可以滿(mǎn)足用戶(hù)這些多樣化的要求。
小結(jié)
所謂兵無(wú)常勢(shì),水無(wú)常形,面對(duì)紛繁變化的市場(chǎng),以及日新月異的技術(shù)演進(jìn),傳統(tǒng)企業(yè)級(jí)用戶(hù)需要把握時(shí)代的節(jié)奏,趕上時(shí)代的發(fā)展步伐。其中,存儲(chǔ)將是一個(gè)非常好的試金石!