數(shù)據(jù)由結構化、半結構化和非結構化數(shù)據(jù)組成，其中非結構化數(shù)據(jù)是導致數(shù)據(jù)量激增的主要原因。
此前，應用關注的重點在結構化數(shù)據(jù)，因為其特點是價值密度高，數(shù)據(jù)量并不大，主要以數(shù)據(jù)庫、數(shù)據(jù)倉庫等應用為主。但是隨著數(shù)據(jù)處理成本的不斷降低，大量非結構化數(shù)據(jù)也得到了重視，以電商、在線教育為例，用戶的消費習慣和訪問行為都成為了業(yè)務關注的重點，盡管其價值密度低，且數(shù)據(jù)量巨大。
但是無論何種數(shù)據(jù)，都存在一個從極熱/熱、溫、冷、極冷數(shù)據(jù)的變化過程，所謂數(shù)據(jù)的生命周期，不同階段對處理需求也不相同，例如熱數(shù)據(jù)處理需要高IOPS、低延遲的能力。相比冷數(shù)據(jù)則對IOPS、延遲要求不高，主要訴求在容量上，主要強調$/GB的成本。
目前還沒有一種存儲技術能夠同時滿足數(shù)據(jù)生命周期的全部需求，要么滿足性能，要么滿足$/GB成本，在現(xiàn)實選擇中，NAND SSD主要用于滿足性能需要，大容量硬盤用于容量型的滿足。全閃存陣列和分布式存儲并存。
分布式存儲的新突破
值得注意的是，集中式存儲是中心化性質的存儲，通過http協(xié)議方式集中訪問，由于數(shù)據(jù)中心化，高峰時會面臨擁擠，卡頓的現(xiàn)象，同時容易受到攻擊，導致信息丟失，盜竊;其運維成本比較高。
而分布式存儲是一種去中心化存儲，例如面向全球的、點對點的分布式文件儲存系統(tǒng)，數(shù)據(jù)訪問采用點對點的超媒體傳輸協(xié)議。
在架構設計上，構建一個分布式存儲，需要構建計算集群和存儲集群，其中，計算集群用于生成和驗證復制證明(PoRep)、時空證明(Post)等鑒權數(shù)據(jù);存儲集群則用于海量分布式數(shù)據(jù)的存儲。
集群性質不同，所需要的存儲支撐技術也不相同。
計算集群需要對PoRep、Post等進行交互式驗證，會涉及原始數(shù)據(jù)的封裝處理、證明數(shù)據(jù)的計算、檢索和抽取等，要求是高IOPS，以及穩(wěn)定性、可靠性，一旦失敗，將直接影響經(jīng)濟效益。因此在技術的選擇上，計算集群適合采用企業(yè)級SSD產(chǎn)品，如西部數(shù)據(jù)的Ultrastar DC SN640/SN840 NVMe SSD。
相比，存儲集群對于單盤容量、成本比較敏感。SMR等大容量硬盤更能夠滿足存儲集群的需求。有數(shù)據(jù)顯示，單盤容量的提升能夠帶來更大容量、更低功耗，以及更高的效率。
在近日舉辦的Web3.0中國峰會上表示：“在Web3.0領域，主要容量節(jié)點從8TB遷移到今年的18TB只花了四個季度的時間。Web3.0廠商快速學習了互聯(lián)網(wǎng)服務商最新的存儲技術，然后部署到18TB的更大容量、更高密度的方案，來獲得存儲成本和密度的優(yōu)勢。目前，18TB已經(jīng)是云存儲和Web3.0存儲中最主要的容量節(jié)點。”
去中心化的存儲，對源數(shù)據(jù)的確權，以及重復數(shù)據(jù)、副本數(shù)據(jù)的甄別，都帶來了創(chuàng)新性的思路，從效果看在$/GB成本表現(xiàn)上更勝一籌。此外，外部環(huán)境的加持，更為數(shù)據(jù)生命周期管理帶來嶄新的思路。
劉鋼指出：“憑借行業(yè)領先的閃存和硬盤存儲技術，以及縱向集成與產(chǎn)能上的獨有優(yōu)勢，西部數(shù)據(jù)不斷為分布式存儲領域提供先進的數(shù)據(jù)存儲架構和解決方案。在未來，我們將持續(xù)助力客戶降低部署和運維成本，并滿足高效率、大容量及節(jié)能減排等多樣化需求，加速Web 3.0落地，助力‘東數(shù)西算’算力網(wǎng)絡建設?！?/p>
據(jù)劉鋼介紹，在分布式存儲領域，西部數(shù)據(jù)攜手多位行業(yè)合作伙伴，共同探索創(chuàng)新的存儲解決方案，賦能Web3.0的蓬勃發(fā)展。
其中，騰訊結合了西部數(shù)據(jù)企業(yè)級硬盤，以及面向騰訊應用場景進行優(yōu)化的高密存儲服務器，推出分布式存儲服務Tencent COS，實現(xiàn)了存儲桶空間無容量上限擴展，滿足多種場景需求，并實現(xiàn)了穩(wěn)定性、安全性、易用性、成本效益等方面的優(yōu)勢。
西部數(shù)據(jù)與杉巖數(shù)據(jù)聯(lián)合打造融合了杉巖MOS海量對象存儲系統(tǒng)、Ultrastar DC SN640/SN840、Ultrastar DC HC550 和 JBOD 存儲平臺的解決方案，降低了業(yè)務的總體擁有成本(TCO)、全面提升經(jīng)濟效益。
靈動則應用了西部數(shù)據(jù)Ultrastar DC SN640/SN840、Ultrastar DC HC550，讓客戶擁有更快的封裝、驗證、出塊速度，并根據(jù)網(wǎng)絡質量對三大網(wǎng)絡運營商進行實時調整，自由切換，提高了客戶的效益。
此外，星辰天合(XSKY)、浪潮聯(lián)手西部數(shù)據(jù)，推出了分布式存儲解決方案，包括西部數(shù)據(jù) Ultrastar DC HC550 18TB硬盤、浪潮英信服務器NF5466M5、XSKY文件存儲系統(tǒng)等關鍵組件，不僅實現(xiàn)了快速部署、便捷運維，還減少了業(yè)務的異常情況帶來的損失，大幅提升業(yè)務能力。
小結
作為企業(yè)最核心的資產(chǎn)，全生命周期的數(shù)據(jù)必須得到重視，既然沒有一個單一技術的選擇，這意味著現(xiàn)實階段還需要將存儲分層技術進行到底!
