王琢:我是天翼云國際業(yè)務(wù)事業(yè)部解決方案工程師王琢。很高興通過這次機會與大家分享《天翼云HBlock存儲資源盤活系統(tǒng)的實踐》。后面在我的介紹中,我會將這款產(chǎn)品簡稱為HBlock或者HBlock產(chǎn)品。
存儲資源盤活是由天翼云在業(yè)內(nèi)首先提出的概念。通過部署HBlock,客戶可以納管散落在局域網(wǎng)內(nèi)的存儲資源,將之整合為統(tǒng)一的存儲資源池,并通過標準的iSCSI協(xié)議向外提供高性能的塊存儲服務(wù)。
下面我將從以下四個方面來對HBlock作展開介紹。
在第一部分中,我將結(jié)合過往的客戶需求、當前的存儲產(chǎn)品發(fā)展趨勢來說明當前HBlock是如何幫助客戶解決問題的。第二部分中,我將從產(chǎn)品特性、產(chǎn)品架構(gòu)、實操展示、競品比對等方面對HBlock做詳細的介紹。在第三部分中,我將介紹HBlock四個典型的應(yīng)用場景。在第四部分,我將通過一個車聯(lián)網(wǎng)的應(yīng)用案例介紹過往的HBlock最佳實踐。
現(xiàn)在開始進行第一部分的介紹。
典型需求與趨勢
結(jié)合現(xiàn)有商機運作情況,部分客戶出于成本的因素考慮,希望自己所購入的服務(wù)器資源能夠被充分的利用,但往往事與愿違。
在一些項目中,由于業(yè)務(wù)規(guī)劃不夠細致,出現(xiàn)了較多硬盤空跑、CPU內(nèi)存利用率長期低于30%的情況,也有一部分客戶,服務(wù)器使用多年后,即將退出服務(wù)的時間節(jié)點找到我們,希望能夠?qū)⑦@些服務(wù)器再利用,構(gòu)建一個新的塊存儲資源池。
還有一部分客戶,因為公司規(guī)定、成本等因素,希望能夠解除存儲產(chǎn)品的供應(yīng)商綁定,在項目的運作上更加靈活,并在成本與性能之間獲得一個最佳的平衡點。傳統(tǒng)存儲建設(shè)周期較長,基建趕不上業(yè)務(wù)發(fā)展,也是這部分客戶的痛點所在。
近年來,部分巨頭先后提出了ESG戰(zhàn)略,國內(nèi)也一直在強調(diào)碳中和、碳達峰以及節(jié)約集約、綠色低碳等發(fā)展理念。為了配合雙碳戰(zhàn)略,企業(yè)也需要對基礎(chǔ)設(shè)施做一定的修改以及優(yōu)化。
隨著開源社區(qū)、存儲軟件的發(fā)展,各個廠商用戶都傾向于從過往的集中式存儲轉(zhuǎn)向分布式存儲。從擴展性、性能、數(shù)據(jù)冗余、底層硬件、成本方面,分布式存儲是存儲當下以及未來的發(fā)展趨勢。當然,在一些典型的應(yīng)用場景,例如金融核心生產(chǎn)數(shù)據(jù)庫,集中式存儲依然靠其底層高速光纖交換以及定制硬件等特點,依然在發(fā)光發(fā)熱,且目前不能被替代。
在上述需求下,HBlock以軟硬件解耦,靈活的申領(lǐng)散落的硬盤空間和理論上無上限規(guī)模等三個特點,較為契合地解決了客戶所遇到的上述問題。
HBlock存儲資源盤活系統(tǒng)
在簡單介紹客戶需求和存儲發(fā)展趨勢后,下面我將展開介紹HBlock存儲資源盤活系統(tǒng)。
HBlock存儲資源盤活系統(tǒng),是天翼云為客戶提供的一款分布式存儲管理軟件,產(chǎn)品具有綠色安裝、部署便捷、性能穩(wěn)定可靠、數(shù)據(jù)安全、成本可控等幾大優(yōu)勢。
HBlock存儲資源盤活系統(tǒng),通過標準的iSCSI協(xié)議提供塊存儲服務(wù),將通用的服務(wù)器及其管理的存儲資源轉(zhuǎn)換成高性能的虛擬存儲陣列,承載企業(yè)的業(yè)務(wù)。由于HBlock是通過標準的iSCSI協(xié)議來提供塊存儲服務(wù)的,所以HBlock在虛擬化、備份數(shù)據(jù)、影像存儲、應(yīng)用程序等場景,均可發(fā)揮企業(yè)獨特的作用。
HBlock具有以下五大特征以及及其核心優(yōu)勢:高可用、高性能、低成本、廣泛兼容及數(shù)據(jù)安全。
在服務(wù)的高可用方面,天翼云實現(xiàn)了多路徑的“一主多備”,一個Target宕機之后,HBlock會智能選擇備用的Target,調(diào)度的時間是可以進行配制的,默認時間為6秒鐘。
在數(shù)據(jù)的高可用方面,單存儲卷可以靈活的選擇EC糾刪碼或者副本的方式實現(xiàn)數(shù)據(jù)的冗余以及數(shù)據(jù)的不丟失。
在絕對指標層面,在實驗室測的全SSD環(huán)境下,單卷IOPS可達15萬IOPS,延遲可以低于200微秒。
在規(guī)模層面,HBlock軟件設(shè)計理論值為無上限,但根據(jù)過往的實踐,一般建議集群的規(guī)模上限為1024個節(jié)點。
在成本方面,因為HBlock本身的售賣方式為純軟件售賣,可以部署在通用硬件上。所以整體上HBlock的TCO會更低。同時,因其安裝方便,運維直觀,相關(guān)的人力成本、時間成本都會更低。
HBlock為用戶態(tài)設(shè)計的軟件,不切入內(nèi)核,所以HBlock不挑底層的硬件與OS。
在數(shù)據(jù)安全方面,用戶在添加Target 連接時,可以選擇啟用CHAP認證。在數(shù)據(jù)的傳輸過程中,用戶也可以選擇性的開啟IPSec隧道,保證傳輸數(shù)據(jù)的加密。
從信創(chuàng)的角度和自主可控的角度,HBlock是天翼云全棧自研的分布式存儲產(chǎn)品。從整體架構(gòu)上,Target方面,HBlock是以“一主多備”的方式保證服務(wù)的連續(xù)性。HBlock通過算法,智能選取最佳的階梯Target。
另外,HBlock的設(shè)計思想為去中心化,我們建議不同的存儲卷掛載到不同的Target后面。這樣從整個集群的角度,是多節(jié)點對所有的存儲設(shè)備進行讀寫。一方面充分利用了集群內(nèi)的帶寬,另一方面也防止出現(xiàn)熱點,同時提高了集群的可用性。
HBlock為綠色、用戶態(tài)、非侵入系統(tǒng)內(nèi)核的應(yīng)用。其主要體現(xiàn)在用戶使用HBlock產(chǎn)品時不需要Root權(quán)限。在沒有寫競爭業(yè)務(wù)存在時,HBlock可以和其他應(yīng)用共存,無需獨占數(shù)據(jù)目錄。在軟件配制中,用戶可以自由的定義HBlock占用數(shù)據(jù)目錄的預(yù)制。
由于HBlock的存儲資源盤活的設(shè)計理念,HBlock在設(shè)計之初就考慮了弱算、弱網(wǎng)、弱盤環(huán)境下的數(shù)據(jù)完整性以及服務(wù)連續(xù)性。HBlock集群本身不依賴NTP時鐘。同時,通過算法的智能調(diào)度,靈活的實現(xiàn)PKI故障節(jié)點,避免業(yè)務(wù)熱點、存儲降級等現(xiàn)象的發(fā)生。
HBlock還具有管理多樣、運維簡易的特點,用戶可以通過API、web控制臺以及命令行操作三種方式來實現(xiàn)HBlock的集群管理。這非常便于用戶快速理解和使用HBlock。
HBlock也支持故障預(yù)警,當系統(tǒng)中的組件或者資源出現(xiàn)異常時,系統(tǒng)將自動發(fā)送告警郵件通知用戶。
下面我將通過大概5分鐘的實操來展示HBlock的敏捷性。
首先查看一下HBlock安裝包的大小,可以看到HBlock安裝包的大小約為170兆。
通過按unzip命令將HBlock的安裝包進行解壓。完成解壓縮后,將進入剛才已經(jīng)解壓出來的目錄,確認三臺節(jié)點解壓工作都已經(jīng)完成。
下一步,通過install命令,在三臺服務(wù)器上完成HBlock節(jié)點的安裝。可以看到,整體安裝耗時大約為10秒鐘。
安裝完成之后,用一條setup命令將三臺服務(wù)器進行納管。整體納管以及初始化的時間將花費大約1分半。在輸入完密碼之后,整體的初始化進程開始(我將跳過這一段等待時間)。
可以看到,當前的初始化進程已經(jīng)結(jié)束。
這一部使用target add命令將HBlock-1和HBlock-2兩個節(jié)點生成主備target。
在target-01搭建完成之后,我們在target-01后面創(chuàng)建一個EC 2+1卷,此卷的大小為20個GB。
現(xiàn)在,存儲卷已經(jīng)創(chuàng)建完畢。
下一步,我們通過iscsiadm命令,發(fā)現(xiàn)并連接剛才所創(chuàng)建的Target-01。
連接完成后,可以看到,mpatha已經(jīng)被掛接到了此主機上。通過mkfs.xfs來格式化mpatha。通過blkid命令可以看到,mpatha已經(jīng)被格式化成xfs格式。
下一步我們通過mount命令,將mpatha掛載到/mnt目錄下。通過lsblk命令可以看到,掛載已經(jīng)成功。
下面我們將HBlock的安裝包復(fù)制到/mnt目錄下,觀察是否成功。
到現(xiàn)在為止,操作已經(jīng)完成。大家已經(jīng)有一定的體感,在過去的大概3分鐘時間內(nèi),我們已經(jīng)完成了集群的安裝、初始化、Target的創(chuàng)建、卷的創(chuàng)建以及卷的掛接和卷的格式化以及掛載。
在通過操作展示HBlock產(chǎn)品的敏捷性之后,大家可以在此頁面概覽HBlock產(chǎn)品參數(shù),不再贅述。
對比市面上流行的傳統(tǒng)分布式存儲軟件,HBlock依然具有其獨特的優(yōu)勢。HBlock安裝簡單,其安裝包僅有170兆左右;整體集群,從建立到使用僅需要3-5分鐘,同時,HBlock不依賴NTP服務(wù)器,而傳統(tǒng)分布式存儲軟件的安裝則需要大量的準備工作。
HBlock的軟硬件需求比較低,與支持Linux的任何x86和ARM硬件兼容,沒有設(shè)備驅(qū)動兼容性的問題。HBlock為用戶態(tài)進程,不依賴內(nèi)核版本,純自研。
HBlock的硬件資源利用率比較高,可以與其他應(yīng)用程序同時在同一Linux操作系統(tǒng)實例中運行,允許集群中的每個實例都具有不同的硬件配制,僅需要3GB內(nèi)存即可啟動。同時,HBlock的可用性比較高,支持秒級故障切換。
在詳細介紹完HBlock產(chǎn)品之后,我將展開介紹HBlock的四個實踐場景。
四個實踐場景
場景一:綠色、靈活調(diào)配空閑存儲資源
我將用一個POC實例來介紹場景。在此POC實例中,大家可以看到,客戶的磁盤利用率都非常低,客戶也不希望投入額外的成本購入新的服務(wù)器來搭建存儲集群。同時,疊加了低碳政策的要求,利用了HBlock的特點,不僅充分利用了空閑的存儲資源,也充分的利用了空閑的計算資源和內(nèi)存資源,將空閑的服務(wù)器整合成了高性能的虛擬存儲陣列,滿足了客戶的需求。
場景二:構(gòu)建私有云存儲底座,靈活納管各類服務(wù)器。
在底層服務(wù)器性能優(yōu)異、網(wǎng)絡(luò)帶寬足夠的情況下,HBlock是可以替代傳統(tǒng)SAN存儲的。HBlock支持VMware、OpenStack、Kubernetes、KVM等主流虛擬化平臺。在訪問接口層,上層平臺將通過API的方式來管理HBlock集群,實現(xiàn)存儲卷的創(chuàng)建、刪除以及HBlock集群的監(jiān)控等目的,各個虛擬機通過iSCSI協(xié)議靈活的掛接存儲卷,最終實現(xiàn)一套系統(tǒng)、統(tǒng)一存儲的建設(shè)目標。
場景三:助力平安城市建設(shè),高效支撐視頻監(jiān)控存儲
HBlock天然與視頻兼容有很強的兼容性,或通過前端的NVR掛在Hblock iSCSI卷,或通過視頻管理平臺統(tǒng)一接入,HBlock都能無縫的支持視頻存儲場景。
HBlock支持副本、糾刪碼、分級冗余保護,提供PB級存儲容量,數(shù)百GB聚合帶寬,滿足省、市城市的視頻監(jiān)控存儲需求。
場景四:構(gòu)建第二存儲,保證用戶數(shù)據(jù)安全。
客戶可以通過HBlock搭建第二存儲,實現(xiàn)備份容災(zāi)、歸檔數(shù)據(jù)等目的。
最后一部分,我將會通過講解車聯(lián)網(wǎng)項目Pilot來展示HBlock過往的最佳實踐。
案例分享
此項目Pilot,某車聯(lián)網(wǎng)項目因車路云一體化,數(shù)據(jù)存儲空間不足,需要建立新的分布式車聯(lián)網(wǎng)存儲底座。同時,基于雙碳政策,此存儲底座被要求需要能夠復(fù)用當前的空閑服務(wù)器并跨MEC部署。HBlock的特性完全適配客戶需求,能夠滿足項目中結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)的存儲、分析的目的。
在此項目Pilot中,客戶得到了以下收益:
通過快速部署,運維方便的特性,客戶節(jié)約了很多的時間、人力成本;復(fù)用了數(shù)臺空跑的服務(wù)器,達成了客戶的減碳理念。同時,客戶通過HBlock建立了強健的統(tǒng)一塊存儲底座,高效支撐各類應(yīng)用。
我今天的演講就到這里,很歡迎大家與我交流,謝謝!