各位專家大家好，很高興能夠參加2022數(shù)據(jù)與存儲峰會。
今天跟大家分享的題目是“算網(wǎng)（存）融合下的分布式存儲發(fā)展趨勢”，從算網(wǎng)融合相關背景、算網(wǎng)融合下的數(shù)據(jù)存儲與流動以及算網(wǎng)融合下的分布式存儲發(fā)展趨勢等幾個方面進行分享。
算網(wǎng)（存）融合相關政策背景
隨著新一代信息技術快速發(fā)展，應用對算力、網(wǎng)絡、存儲的需求不斷提升，算力、網(wǎng)絡、存儲的融合成為必然。
作為未來算力進一步發(fā)展的關鍵技術，算網(wǎng)融合具有多層次、多類型、一體化的共性特征。
2021年5月，國家發(fā)改委聯(lián)合有關部委發(fā)了《全國一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系算力樞紐實施方案》，工信部同年7月發(fā)布了《新型數(shù)據(jù)中心發(fā)展三年行動計劃(2021-2023年)》，今年1月，工信部、發(fā)改委又發(fā)布了《關于促進云網(wǎng)融合 加快中小城市信息基礎設施建設的通知》，1個月后，發(fā)改委等四部門印發(fā)文件，正式啟動東數(shù)西算工程建設。
這些政策文件中屢屢提及云網(wǎng)協(xié)同、、云網(wǎng)融合、云數(shù)一體、算力網(wǎng)絡等概念，標志著算網(wǎng)存融合，已經(jīng)達成政策共識。
算網(wǎng)（存）融合，是“東數(shù)西算”工程的重要支撐
一直以來，我國的算力供需都存在著很大的矛盾。
從中國信通院的調研中可以看到，中國的算力基礎設施規(guī)模已經(jīng)達到了135Eflops，位居全球第二。但是，算力的利用率仍然比較低，北上廣等核心城市的平均上架率達到了70%，遠高于50%的全國平均水平，而中西部的上架率僅為15%-20%。
在這樣的背景下，打通網(wǎng)絡通道，加快實施“東數(shù)西算”工程，提高跨區(qū)域算力調度水平，構建全國算力網(wǎng)絡體系，就顯得十分必要和緊迫。
實現(xiàn)算力全國調度，離不開算力網(wǎng)絡支持。而算力網(wǎng)絡是算網(wǎng)融合體系的技術實現(xiàn)，商業(yè)及政策相關內容也有助于算力網(wǎng)絡的實現(xiàn)。
如何讓算網(wǎng)融合在東數(shù)西算工程中發(fā)揮更大的作用？可以從以下三個方面發(fā)力：一是建設統(tǒng)一的算網(wǎng)運營平臺，對全國算網(wǎng)基礎設施的資源進行編排和調度；二是開放各個平臺接口，納管云廠商的算力平臺、數(shù)據(jù)中心服務商的算力平臺以及超算中心等的算力平臺等社會算力，讓所有算力相關平臺都能夠按照標準互聯(lián)互通；三是要建立一體化的安全基礎設施，強化安全支持、實現(xiàn)共享交易，保障整體算力的一體化調度。
算網(wǎng)存融合建設，離不開各方力量的協(xié)同推進。其中，運營商要加強網(wǎng)絡基礎設施通信建設，提高傳輸?shù)馁|量，云服務商以及算力服務商要提高算力調度的能力，數(shù)據(jù)中心和超算中心等算力基礎設施提供商要增強算力的整體供給能力，共同形成算力一體化的調度和協(xié)同。
算網(wǎng)（存）融合下分布式存儲發(fā)展趨勢
算力的一體化調度，并不是說像電力調度那樣，把算力從一個地方調配到另外一個地方，而是把數(shù)據(jù)調度編排到適合的算力資源池中，真正“運動”的其實是數(shù)據(jù)。
因此，算網(wǎng)存融合真正面臨的挑戰(zhàn)是數(shù)據(jù)的存儲與流動問題。
數(shù)據(jù)在存儲、計算和分析，并得出科學決策和預測等商業(yè)價值的過程中，與數(shù)據(jù)的傳輸質量及效率、數(shù)據(jù)的安全、數(shù)據(jù)的加速以及計算的能力都有著密切的關系；數(shù)據(jù)類型的不同，對存儲資源以及算力資源的需求不同，決定了它選擇相應算力資源池的路徑。此外，數(shù)據(jù)還要能在異構資源池中進行流動、處理、分析。
所有這一切，除了算力資源的配合，還需要數(shù)據(jù)基礎設施作為支撐。分布式存儲，就是承載算網(wǎng)（存）融合中數(shù)據(jù)存儲、流動、統(tǒng)一調度和管理的數(shù)據(jù)支撐底座。
1）分布式存儲在數(shù)據(jù)流動中的關鍵作用
為應對算網(wǎng)（存）融合各類場景中海量多樣性數(shù)據(jù)應用的挑戰(zhàn)，分布式存儲正在向面向混合業(yè)務負載、多協(xié)議互通以及存算分離的架構方向演進。
分布式存儲具備高擴展、多協(xié)議、高性能、高可靠的、開放數(shù)據(jù)存儲能力。作為與計算能力相匹配的存儲架構，分布式存儲已經(jīng)成為未來數(shù)據(jù)存儲核心業(yè)務場景的支撐。
2022年7月，中國信息通信研究院從架構、硬件、軟件功能及性能以及數(shù)據(jù)管理、綠色節(jié)能等方面向分布式存儲領域展開了一項調研分析，并總結形成了《分布式存儲發(fā)展白皮書（2022年）》。該白皮書指出了分布式存儲短中期與長期發(fā)展走勢。
2）分布式存儲短中期與長期發(fā)展走勢
短中期來看，分布式存儲有面向多協(xié)議互通的架構、面向混合負載的架構以及應用架構的存算分離三大發(fā)展趨勢：
多協(xié)議互通架構，支持同一套分布式系統(tǒng)訪問文件存儲、對象存儲、大數(shù)據(jù)存儲等并且可以對像文件對象、DFS等不同的協(xié)議實現(xiàn)兼容，從而減少多種協(xié)議帶來的存儲性能的損失；面向底層的異構算力和混合負載架構，支持云計算、通用計算、超算和智算等多樣化的算力，提供相匹配的數(shù)據(jù)存儲與網(wǎng)絡和基礎設施的性能；算分離的架構，使得計算和存儲資源可以按需地獨立進行擴展，實現(xiàn)資源的最大效率利用。
3）分布式存儲長期發(fā)展趨勢
長遠來看，分布式存儲的介質、性能、容量將高于CPU能力的提升，存儲服務和存儲介質將進一步解耦。未來的分布式存儲除了支持通用的服務器，也會逐漸演進到一個可以組合、廣泛卸載和大規(guī)模的支持異構計算能力的存算分離架構；存儲介質集群，解決日益增長的數(shù)據(jù)存儲問題，存儲服務集群，解決存儲自身計算問題（存儲特性、控制面），計算集群，則解決生態(tài)連接問題及本地高性能緩存問題。
基于全閃存的分布式存儲系統(tǒng)具有更高的性能、擴展性、企業(yè)級存儲特性以及更好的性價比，正在成為市場主流。要發(fā)揮好全閃存帶來的優(yōu)勢，存儲軟件堆棧還需要進行端到端的重構，如IO免鎖設計、優(yōu)化寫放大、垃圾回收、數(shù)據(jù)縮減等。
近年來，NVMe over Fabric協(xié)議借助NVMe通過網(wǎng)絡結構將主機連接到存儲，取代傳統(tǒng)的以磁盤為中心的SAN技術，讓企業(yè)能夠通過網(wǎng)絡無縫連接閃存，釋放閃存性能優(yōu)勢。對于活躍的熱數(shù)據(jù)，持久性內存和閃存盤將取代機械硬盤成為主流。
在分布式存儲硬件發(fā)展方面，以DPU、IPU等一系列硬件加速的專用數(shù)據(jù)處理芯片正在興起。如DPU就是把存儲系統(tǒng)中的IO處理、糾刪碼計算、數(shù)據(jù)重刪、數(shù)據(jù)壓縮、加密等功能卸載到了DPU上，讓CPU集中于系統(tǒng)控制面的功能，從而極大地提升了CPU工作的效率，因此得到快速發(fā)展。應運而生的NVMe協(xié)議，以高達數(shù)十GB的吞吐量、數(shù)百萬IOPS和微秒級時延極致地發(fā)揮出了SSD硬盤性能。使用Fabric網(wǎng)絡來承載NVMe協(xié)議的NVMe over Fabric，高性能、低延遲的遠程訪問SSD成為可能。與SCSI協(xié)議相比，在主機和陣列間使用NVMe-oF協(xié)議具備更好的性能、簡化配置、組網(wǎng)靈活。
分布式存儲軟件正呈現(xiàn)四大趨勢：超高性能、安全可信、非結構化數(shù)據(jù)縮減、容器存儲。一是大多數(shù)高性能計算其實都是對于海量數(shù)據(jù)進行人工智能或者科學計算，所以分布式存儲的集群的性能正在快速提升；二是安全可信已經(jīng)成為數(shù)據(jù)泄露風險的重要保障，分布式存儲需在主機、存儲到盤的全鏈路提供高性能的數(shù)據(jù)加密傳送能力，提勒索病毒檢測、容災備份等快速恢復數(shù)據(jù)韌性能力，并支持多云數(shù)據(jù)訪問控制策略與安全合規(guī)機制；三是隨著SSD成為主流介質，通用的數(shù)據(jù)壓縮的算法與針對不同場景的專用壓縮算法創(chuàng)新將成為趨勢；四是云原生技術的深度應用，可以實現(xiàn)對底層存儲的統(tǒng)一管理，提升對存儲系統(tǒng)的自動化運維能力。
數(shù)據(jù)跨平臺流動、多數(shù)據(jù)中心容災以及智能化運維，是分布式存儲在數(shù)據(jù)管理方面的三大趨勢。以實現(xiàn)數(shù)據(jù)在不同的云平臺間的自由流動為例，未來分布式存儲將考慮統(tǒng)一的數(shù)據(jù)編排目錄或者操作系統(tǒng)去形成統(tǒng)一的管理平面，對于跨云的數(shù)據(jù)和應用進行統(tǒng)一的編排，消除跨云平臺或異構算力資源池中分布式存儲的數(shù)據(jù)孤島。
存儲系統(tǒng)作為數(shù)據(jù)中心三大件之一，存儲的綠色節(jié)能成為關鍵剛需。在碳達峰、碳中和這樣戰(zhàn)略大背景下，分布式存儲基礎設施需要在保證性能的前提下，綜合考慮規(guī)模、介質、架構、創(chuàng)新等因素，最大限度降低能源消耗。目前包括分布式存儲在內的存儲領域的節(jié)能探索正在如下幾個方面取得進展：首先是采取存算均衡模式，通過優(yōu)化數(shù)據(jù)中心存算比提高資源的利用率，從而減少能耗；其次，通過存算分離的架構，利用數(shù)據(jù)高密存儲再加上糾刪技術，提高數(shù)據(jù)存儲效率；三是算法的節(jié)能，利用數(shù)據(jù)重刪壓縮和多協(xié)議訪問技術，提高數(shù)據(jù)的利用和訪問效率；四是介質的節(jié)能，固態(tài)盤提升了存儲密度，同等容量下的閃存系統(tǒng)會比磁盤介質存儲系統(tǒng)降低約50%的能耗。
至此分布式存儲在架構、軟件功能和性能還有硬件、數(shù)據(jù)管理以及節(jié)能等方面的趨勢跟大家分享完了。相信各位都會在這種算網(wǎng)（存）融合的大背景下，進一步看到分布式存儲所發(fā)揮的作用。
未來我們也希望跟在座的各位，共同去研究算網(wǎng)（存）融合過程中面臨的數(shù)據(jù)存儲與流動等一系列問題及對策。
謝謝大家！
【在當天召開的“東數(shù)西算高峰論壇“上，中國科學院計算機技術研究所研究員張云泉、中國氣象局首席氣象專家何文春等專家以及英特爾、聯(lián)想凌拓等企業(yè)的代表也先后發(fā)表致辭或主題演講；兩天峰會共吸引了線上線下20余萬人參與和互動交流。】
