ZB級數據存儲,開啟“冷數據”的熱時代
海量數據存儲導致企業(yè)的存儲成本快速上升,而數據流失和數據管理混亂的問題也逐漸暴露。數據表明,當2025年全球新增數據量達到175ZB時,真正能存儲下來的數據僅有15ZB左右,流失率超過91%。
UCloud長期對多媒體和日志類存儲的研究表明,隨著時間推移,各類數據的訪問量都會產生由熱至溫,由溫至冷的轉變,大約6個月后,絕大部分數據都會變成冷數據,正是由于數據存在這樣由熱至冷的變化特征,存儲分層已然是大勢所趨。
高性能IO型存儲通常適用于流媒體網站、大數據分析、移動應用、游戲等實時互動場景的數據讀寫;低頻存儲可為各類物聯網數據采集,業(yè)務日志等場景提供長期有效的存儲空間,支持數據實時訪問;歸檔存儲適合長期合規(guī)性存儲、醫(yī)療科學資料、備份等場景,數據非實時讀取,但能夠大幅降低存儲成本。
在目前企業(yè)數據的冰山模型里,80%的數據量來源于冷數據。UCloud對象存儲產品能幫助企業(yè)將數據自動化分層存儲,歸檔存儲對應的就是冷數據存儲,UCloud新一代歸檔存儲產品可以降低大量“冷數據”的存儲成本。
全新自研存儲架構,突破成本極限
歸檔存儲相較于其他存儲,最大的優(yōu)勢就是成本更低。存儲成本主要由硬件成本及運營成本構成。
為了降低硬件成本,UCloud新一代歸檔存儲在國內首次采用了西部數據的高密JBOD機型和SMR盤,并首次利用自研存儲架構實現該技術落地。SMR盤全名為疊瓦式磁記錄硬盤,相較于傳統CMR磁盤,SMR磁盤最大的區(qū)別是,它的磁道是按Zone呈現的疊瓦式分布,這種分布帶來的好處是可以更高密度的存儲數據。與36盤傳統機型相比,采用高密機型SMR盤后,單位機架的存儲容量提升5.375倍,磁盤數量增加59%,單塊磁盤存儲空間提升150%。
UCloud在新一代歸檔存儲中,基于多年公有云分布式存儲經驗積累,采用新一代自研歸檔存儲架構,使產品可以兼容SMR、CMR盤、雙活高可用、支持上下電的IO調度、EC的靈活配置和磁盤故障自動化發(fā)現;充分利用高密機型SMR盤的硬件優(yōu)勢,并采用自研架構降低硬件成本。
在降低硬件成本的基礎上,UCloud新一代歸檔存儲,采用軟硬件協同的理念,降低運營成本。結合硬件的選型,UCloud新一代歸檔存儲在軟件層面上自主研發(fā)了一套磁盤上下電調度系統,可以保障磁盤的壽命的同時,極大降低電費成本,使磁盤能耗降低近90%, 在純寫入場景下,耗能磁盤塊數為原有的5%。
在可靠性方面,UCloud新一代歸檔存儲實現了存儲節(jié)點雙機頭可見,在發(fā)生故障時,可以快速自動切換;通過采用大比例可靈活配置的EC,提高存儲利用率150%;通過硬件加速,使EC計算相較于傳統的純軟件計算,提升了4~5倍吞吐。新一代歸檔存儲還實現了全鏈路的CRC校驗,來全面保障用戶數據的安全性。
面向三大類數據、九大應用場景
UCloud新一代歸檔存儲可廣泛的應用在多媒體歸檔場景、歷史數據合規(guī)性場景、以及大數據/AI分析數據歸檔等場景中,隨著5G到來,數據量的爆發(fā),還將在更多行業(yè)、更多場景中得到應用,可以說,這是一款面向未來的產品。
在線直播、視頻監(jiān)控目前已逐漸普及,在這些場景中,一個1080P的高清攝像頭存儲一天就需要45G的容量,一個視頻網站每天產生的數據量可達TB以上;UCloud某廣電客戶此前采用藍光存儲的方式,預計到2024年,其存儲數據量將達16.4PB,大概需要8個藍光盤柜,占用機房一整排機柜空間,對客戶來說,是一筆巨大的成本支出。
UCloud新一代歸檔存儲可提供不亞于標準存儲的寫入帶寬,實現分鐘級數據異步取回,在線回看;并采用糾刪碼冗余策略來保障數據安全可靠。結合UCloud對象存儲不同存儲類型間的生命周期轉換功能,用戶還可快速實現數據由熱至溫再到冷的存儲類型轉換,完成自動化的數據生命周期管理。
2.歷史數據合規(guī)存儲
面對日益上漲的企業(yè)數據庫備份場景,UCloud提供的數據庫備份方案能夠有效幫助用戶縮減備份流程。針對需要定時清理備份、縮減備份成本的用戶,UCloud對象存儲支持數據生命周期管理功能,可以實現自動化的數據定期清理、定期轉入歸檔存儲。針對需要更高安全級別的用戶,UCloud對象存儲可支持跨區(qū)域復制功能,幫助用戶完成數據的異地備份。
在電商平臺的日志歸檔場景中,UCloud對象存儲還提供了ElasticSearch接入和數據庫備份功能,當數據量增大后,對歷史數據進行統一歸檔至歸檔存儲的方式,以降低存儲成本。
3. 大數據、AI分析數據歸檔
根據研究機構提供的數據,2020年生物經濟規(guī)模已達15億美元。拿腫瘤疾病的基因測序為例,單個患者的DNA樣本數據能達到560GB,如果按照每年1800多萬的癌癥病例來計算,使用基因分析技術后每年就會產生10PB的腫瘤基因樣本數據。而中國一家三甲醫(yī)院每年的影像數據就有20TB左右,全國3萬多家醫(yī)院的數據量,也是非常龐大的數據。UCloud歸檔存儲能夠為大量的生物信息、IoT實時分析數據等場景提供長期歸檔存儲,為未來的醫(yī)療研究、工業(yè)智能儲備數據資料。
新基建背景下,隨著新技術與新場景不斷融合,在線教育、云游戲、自動駕駛、智慧社區(qū)、智能制造等行業(yè),都將產生越來越多的數據。UCloud新一代歸檔存儲,面向未來的數據分層存儲場景,采用全新的自研存儲架構,降低用戶的硬件成本和運營成本,讓用戶以更低的價格、更可靠的方式,存儲數據資產,為未來挖掘數據生產要素的價值積累財富。