新數據時代元年,海量、多元、實時、多云的新數據特征
通過對金融、交通、電信、能源、醫(yī)療等行業(yè)的研究,報告指出新數據時代下表現出的新數據特征:數據海量增長,到2025年全球新創(chuàng)建的數據將達到175ZB;企業(yè)對實時數據需求增加,到2023年實時數據占全球數據圈24.5%的份額;未來全球將有超過70%的企業(yè)選擇多云部署模式,到2023年42.4%的企業(yè)將采用邊緣+核心的組合架構,核心數據中心的數據存儲容量占比將超過50%。
首先,海量、多元和非結構化成新數據時代常態(tài)。報告顯示,2019年,全球存儲新裝機容量從EB級達到ZB級,2025年全球新創(chuàng)建的數據將達到175ZB。數據環(huán)境多樣、復雜,數據從單一內部小數據形態(tài)向多元動態(tài)大數據發(fā)展,大量文本、圖片、視頻等非結構化數據被產生和存儲。例如,在智慧城市場景中,中國的攝像頭保有量已經達到億級,加之交通系統(tǒng)往往會存儲相當長時期內的歷史數據用于查證和回溯,由此產生的海量新數據給存儲系統(tǒng)帶來壓力。
其次,數據的實時性需求變得更迫切。隨著互聯網、物聯網以及人工智能等技術在各行業(yè)的不斷滲透,企業(yè)對于數據實時性的需求日益增加。報告顯示,到2023年,實時數據將占全球數據圈24.5%的份額。金融的風險評估、交通的自動駕駛、運營商的智能網絡等許多場景,都需要依賴快速實時的數據采集、存儲和分析得以實現。
再次,基礎架構向云-邊-端演進,重要的數據存儲位置依然在核心。未來兩年,全球將有超過70%的企業(yè)選擇多云部署模式。2023年,將有42.4%的企業(yè)采用邊緣+核心的組合架構建立和運行數據庫,設備架構從云+端的兩級架構向云-邊-端三級架構演進迭代。雖然數據的產生更多來自端側和邊緣,但重要的數據存儲位置依然在核心,到2023年核心數據中心的數據存儲容量占比將超過50%。由于現代數據中心的復雜性,數百個應用程序在數百臺服務器上運行,同時還要運行數十種監(jiān)測和管理工具,管理一直是云部署和云管理的重中之重。
新存儲:分布式存儲是新趨勢,閃存陣列是企業(yè)存儲加速首選
新數據時代數據呈現出海量、多元、實時、多云的特征。對于數字化轉型中的企業(yè)來說,在數據存儲的極致容量、極速性能、極簡架構、極易管理等方面提出要求。報告建議投資閃存陣列以提升存儲性能,以滿足實時數據處理對百萬級IOPS、亞毫秒級時延的需求;利用分布式存儲架構在性能和容量擴展方面的優(yōu)勢,解決大規(guī)模、高并發(fā)場景下對存儲的挑戰(zhàn)。
閃存陣列憑借其性能和穩(wěn)定性,成為企業(yè)存儲加速的首選方案。目前,閃存陣列已經逐漸普及,新端口的固態(tài)硬盤、NVMe網絡架構,使存儲系統(tǒng)的性能有了大幅提升。未來,隨著新技術帶來的存儲效率大幅提升,將有越來越多的企業(yè)選擇閃存陣列來滿足數據實時性應用需求。以山東高速ETC繳費系統(tǒng)為例,在其數千公里的高速公路上分布著多個路段信息分中心、收費站、收費車道、ETC客服網點,基于浪潮全閃存儲系統(tǒng)實現0.1毫秒通行ETC,日均清分業(yè)務處理量達到百萬筆。
高效、易于擴展的分布式平臺引領存儲架構新趨勢。分布式存儲系統(tǒng)采用可擴展的架構,不僅能提高存儲的效率和數據的安全性,還可以進行性能和容量的橫向擴展,解決大規(guī)模、高并發(fā)場景下的存儲訪問問題。隨著5G、物聯網和人工智能的快速發(fā)展,企業(yè)對于分布式系統(tǒng)的需求將持續(xù)增加,分布式存儲成為多云環(huán)境的首選平臺。到2023年,40%的存儲系統(tǒng)將是分布式存儲架構。以成都三環(huán)路為例,浪潮分布式存儲支撐了其超過6000路道路端口的視頻流,每天1億文件寫入和10億次查詢,智能交通管理效率提升500%。
多云環(huán)境下,提升存儲的可用性和管理能力。面對數據爆炸,存儲必須隨需應變,軟件定義、智能化、多云間數據流動是存儲未來的主流發(fā)展方向。比如浪潮以創(chuàng)新架構構建分布式存儲,在一套系統(tǒng)內提供文件、塊、對象、大數據等多種存儲服務,支持Manila、Cinder、Nova、Swift接口對接,并通過智能運維軟件管理多種設備,簡化多云設備管理。在中國廣電國網云平臺中,浪潮存儲平臺打通底層分布式存儲、虛擬化、OpenStack、云管平臺,外部實現與網絡SDN、云安全等平臺對接,實現廣電國網的三地互聯互通和大規(guī)模業(yè)務支撐目標。
告別人工干預,存儲將進入智慧運維時代。人工智能技術無處不在,將快速融入存儲系統(tǒng)的發(fā)展,并在存儲容量、性能、硬盤故障預測方面起到關鍵作用。在清華大學“中國腦計劃”項目中,浪潮基于智能統(tǒng)一存儲管理平臺InView,對存儲系統(tǒng)進行集中管理、智能監(jiān)測和故障預測報警,保障每秒51億像素、72小時連續(xù)寫入不丟幀的腦科研項目順利進行。
報告還針對新數據時代的存儲未來發(fā)展提出了具體建議,基于云-邊-端多元部署的趨勢發(fā)展,企業(yè)需要制定從端到邊再到核心的完整數據管理解決方案。針對多云環(huán)境的必然趨勢,企業(yè)必須提升多云環(huán)境下的數據管理能力,同時持續(xù)關注NVMe、內存SCM等技術更新及AI技術應用。
報告原文,PC端下載可點擊地址1,移動端下載可點擊地址2,或掃描下方二維碼: