曹心馳:大家好,我是中國電子云副總裁曹心馳。非常榮幸在2022全球閃存峰會與大家見面。今天我分享的題目是《數(shù)字時代高價值數(shù)據(jù)的計算與存儲挑戰(zhàn)》。
首先,請?jiān)试S我簡單介紹一下中國電子和中國電子云。
中國電子是唯一一家國務(wù)院認(rèn)定的以網(wǎng)絡(luò)安全和信息化為核心業(yè)務(wù)的中央企業(yè),也是中國最大的IT企業(yè),擔(dān)負(fù)著加快打造國家網(wǎng)信產(chǎn)業(yè)核心力量和組織平臺的戰(zhàn)略使命。
中國電子云作為中國電子技術(shù)能力系統(tǒng)化輸出平臺,聚焦云計算和存儲,為客戶提供安全、先進(jìn)、綠色的數(shù)字化底座。
當(dāng)前,中國電子云憑借后發(fā)優(yōu)勢,基于云延伸的技術(shù),在云計算方向已經(jīng)擁有了CECSTACK公有云服務(wù)和CECLOUD專屬云平臺,并且已經(jīng)承擔(dān)了國家很多關(guān)鍵行業(yè)的重要業(yè)務(wù)的運(yùn)行。
在存儲方向,我們已經(jīng)發(fā)布了倉山、超融合和倉海存儲兩個品牌共計有14款存儲產(chǎn)品。在真實(shí)的項(xiàng)目中,最大支撐過超過每秒100G以上的數(shù)據(jù)讀寫需求。
縱觀全球新一輪的科技革命和產(chǎn)業(yè)變革正在全方位的改變著社會的生產(chǎn)和人們的生活方式。數(shù)據(jù)作為數(shù)據(jù)經(jīng)濟(jì)核心的生產(chǎn)要素,已經(jīng)成為重要的全球資產(chǎn)。
IDC數(shù)據(jù)顯示,到2025年全球數(shù)據(jù)將激增175ZB。其中包括海量的結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù),并且數(shù)據(jù)的規(guī)模龐大、數(shù)據(jù)類型眾多,而且實(shí)時性要求更高。因此,從數(shù)據(jù)到價值數(shù)據(jù),再到數(shù)據(jù)價值,在這個過程中,離不開強(qiáng)大的算力和創(chuàng)新的存儲技術(shù)支撐。
這里有一個非常關(guān)鍵的點(diǎn):從數(shù)據(jù)到價值數(shù)據(jù),再到數(shù)據(jù)價值全生命周期過程中,我們可以看到,最接近數(shù)據(jù)價值的都是正在被使用的高附加值數(shù)據(jù)。
這些數(shù)據(jù)恰巧是數(shù)據(jù)冷熱涂層中最熱的數(shù)據(jù)。
根據(jù)二八法則,到2025年全球數(shù)據(jù)圈擁有35ZB的高價值數(shù)據(jù)會無時不刻的處在運(yùn)行狀態(tài),而存儲系統(tǒng)作為數(shù)據(jù)的載體,能否支撐起這些海量最熱化高價值數(shù)據(jù),將決定了全球數(shù)字經(jīng)濟(jì)發(fā)展的效率。
根據(jù)未來存儲技術(shù)的發(fā)展趨勢,我們判斷,高性能的全閃分布式存儲是承載未來數(shù)字經(jīng)濟(jì)發(fā)展的重要基石。
存儲產(chǎn)業(yè),在中國經(jīng)濟(jì)政策的推動下,AI、云計算、大數(shù)據(jù)等技術(shù)快速發(fā)展,數(shù)據(jù)的規(guī)模也呈指數(shù)級增加,傳統(tǒng)的數(shù)據(jù)存儲產(chǎn)品面臨著新的挑戰(zhàn),特別是在云原生技術(shù)被廣泛使用的今天,傳統(tǒng)的存儲產(chǎn)品已經(jīng)不能很好的滿足客戶在云計算體系下的需求;同時我們也注意到,國家在《“十四五”規(guī)劃綱要》中明確提出了加快云操作系統(tǒng)的迭代升級,推動超大規(guī)模分布式存儲、可信計算、數(shù)據(jù)虛擬隔離等技術(shù)的創(chuàng)新。因此,中國電子云以“錢學(xué)森系統(tǒng)論”為指導(dǎo),借助我們在云上的研發(fā)經(jīng)驗(yàn)和能力,將云中的存儲技術(shù)產(chǎn)品化并且成立了IT生產(chǎn)線,組建了超過400人的存儲研發(fā)隊(duì)伍。依托在中國電子強(qiáng)大的自主計算產(chǎn)業(yè)鏈聚焦組織主業(yè),打造中國電子的云原生存儲產(chǎn)品。
為了做出更好的存儲產(chǎn)品,中國電子云在業(yè)務(wù)開展的過程中做了大量的客戶需求調(diào)研和梳理工作。
總結(jié)來說,當(dāng)前的客戶對存儲產(chǎn)品新的需求和挑戰(zhàn)主要集中在四個方面:安全、高效、綠色、簡單。
在安全層面,我們研發(fā)了一系列的技術(shù)和創(chuàng)新并且發(fā)布了多款存儲產(chǎn)品。其中包括兩款分布式全閃存儲和三款分布式混閃存儲。其中全閃的機(jī)型有CeaStor 1812CE,這是一款面向極致性能場景的2U24節(jié)點(diǎn)、NVMe全閃機(jī)型,采用全NVMe SSD作為數(shù)據(jù)盤,提供極致的性能和極低的延遲。
另一款是CeaStor 18125,面向超高性能的場景。,采用2U25節(jié)點(diǎn)全閃機(jī)型,以SATA SSD作為數(shù)據(jù)盤,提供超高性能和較優(yōu)的性價比。
在混閃機(jī)型中, CeaStor 16112是面向通用場景的2U12節(jié)點(diǎn)、容量和性能平衡的機(jī)型;CeaStor 16125是面向性能型的2U25節(jié)點(diǎn),它提供了單節(jié)點(diǎn)較高的性能。CeaStor 16136是面向大容量的4U36節(jié)點(diǎn),提供了單臺超大容量的機(jī)型。
在能力方面,我們都知道,安全對于企業(yè)來說是非常重要的事情,尤其是數(shù)據(jù)的安全是頭等大事,除了傳統(tǒng)的通過多副本、糾刪碼、訪問控制等手段,保障數(shù)據(jù)本身的安全。
為了降低業(yè)務(wù)影響范圍以及二次的故障風(fēng)險,用戶也提出了很多要求。過去傳統(tǒng)架構(gòu)的分布式存儲發(fā)生故障以后,需要分鐘級別來做業(yè)務(wù)的切換,導(dǎo)致前端業(yè)務(wù)長時間中斷。
倉海存儲實(shí)現(xiàn)了秒級的業(yè)務(wù)切換,從而保障業(yè)務(wù)服務(wù)永遠(yuǎn)在線。
在數(shù)據(jù)盤發(fā)生故障以后,傳統(tǒng)的存儲遇到單塊盤故障時,可能導(dǎo)致長時間的影響前端業(yè)務(wù)的性能。同時,數(shù)據(jù)冗余度也降低,重構(gòu)期間還可能導(dǎo)致盤的故障使數(shù)據(jù)丟失。倉海存儲通過軟硬件一體化設(shè)計,大幅提升了數(shù)據(jù)的重構(gòu)速度,保障了數(shù)據(jù)快速恢復(fù),同時實(shí)現(xiàn)數(shù)據(jù)冗余不降級。倉海存儲還提供秒級的快照能力和系統(tǒng)無損能力,有效解決了傳統(tǒng)存儲做快照的時候大量占用系統(tǒng)資源、容易導(dǎo)致系統(tǒng)性能明顯下降的問題。
通過多重的系統(tǒng)保護(hù)和故障快速解決方案,為數(shù)據(jù)保障提供全方面的支持,有效地保護(hù)了數(shù)據(jù)在各行各業(yè)對存儲在不同的場景使用需求,如面對高性能、AI的場景應(yīng)用時動輒100G的貸款百萬級IOPS的需求。
在性能方面,由于傳統(tǒng)的存儲單節(jié)點(diǎn)連接能力較弱,需要大規(guī)模的集群來支撐業(yè)務(wù),導(dǎo)致管理的復(fù)雜性以及集群之間通訊大量消耗,增加延遲。倉海存儲充分發(fā)揮新硬件平臺的優(yōu)勢,采用RDMA智能加速和端到端的NVMe協(xié)議等技術(shù),提升了單節(jié)點(diǎn)性能達(dá)到50萬IOPS,帶寬達(dá)到了10GB,最小的規(guī)模集群就可以滿足用戶的高性能需求。
我們實(shí)現(xiàn)了高效的協(xié)程調(diào)度,無損化的設(shè)計,全并行的業(yè)務(wù)執(zhí)行,納秒級的任務(wù)切換,每秒可以完成1200萬次的任務(wù)切換,比普通的進(jìn)程要快近200倍,極限的情況下極限的降低了延遲。同時,我們還采用全用戶態(tài)協(xié)議棧,在進(jìn)程發(fā)生故障時,只需要對進(jìn)程的服務(wù)進(jìn)行處理即可解決故障,避免因內(nèi)核態(tài)進(jìn)程故障導(dǎo)致整個系統(tǒng)的重啟。倉海存儲天然的還是原云生架構(gòu),除了可以很好的通過CSR的接口去對接容器云的平臺,也能天然的擁有高度自動化運(yùn)維的特性。
同時,我們還利用存在內(nèi)置的容器平臺,方便用戶自定義服務(wù),實(shí)現(xiàn)敏捷開發(fā)、敏捷發(fā)布。
在節(jié)能減排方面,倉海存儲除了降低硬件的能耗之外,還通過提高資源的利用率來協(xié)助用戶降低數(shù)據(jù)中心的PUE值。首先針對多種數(shù)據(jù)類型的應(yīng)用場景,支持多協(xié)議互通,只需要存儲一份數(shù)據(jù)即可以對外提供文件、對象、大數(shù)據(jù)等多種服務(wù),減少數(shù)據(jù)空間的浪費(fèi),并且可以通過多元零拷貝,提升數(shù)據(jù)處理的效率。
在介質(zhì)上,倉海存儲支持高性價比的QLC介質(zhì)。眾所周知,QLC介質(zhì)的性價比很高,但是它的缺點(diǎn)就是壽命比較短。為了解決這個問題,我們在寫盤操作時采用隨機(jī)的小塊IO聚合大塊寫盤,保證每次寫入的操作都是大塊協(xié)作,大幅減少SSD的擦寫盤次數(shù)。同時,我們通過自研的冷熱數(shù)據(jù)識別算法,保障SSD的均衡擦寫,讓QLC SSD的壽命延長了一倍。另外,我們支持32+2的大比例糾刪碼技術(shù),相比于傳統(tǒng)的8+2糾刪碼80%的利用率,我們可以使利用率達(dá)到94%。
在管理運(yùn)維方面,倉海存儲支持統(tǒng)一的管理和智能的預(yù)測,提供極簡的管理方式/向?qū)Щ牟渴鸷徒y(tǒng)一的界面納管,對磁盤進(jìn)行自動化的故障恢復(fù)和壽命監(jiān)測,對性能和容量進(jìn)行自動化的分析和調(diào)優(yōu)。更主要的是,依托于電子云的云服務(wù)的優(yōu)勢,實(shí)現(xiàn)了對于云計算場景中,倉海存儲可以在本地數(shù)據(jù)存儲、私有云存儲、公有云存儲,多種存儲中實(shí)現(xiàn)組合方案,支持多樣的云化;對容器和虛擬化平臺都有著良好的兼容性,也支持?jǐn)?shù)據(jù)在本地和云平臺之間流轉(zhuǎn)。當(dāng)遇到臨時性的數(shù)據(jù)增量時,可以有效的將數(shù)據(jù)轉(zhuǎn)換到公有云的平臺,從而降低本地數(shù)據(jù)的壓力。
倉海存儲采用的是一套軟件棧,同時提供文件、塊、對象、大數(shù)據(jù)等多種存儲服務(wù),同時擁有全閃、混閃、2U、4U多種產(chǎn)品的形態(tài),能夠很好地滿足政務(wù)、金融、交通等關(guān)鍵行業(yè)云計算、大數(shù)據(jù)、AI、視頻、IGPC等場景的需求。
以上就是我分享的全部內(nèi)容,感謝各位的聆聽!