在“存儲(chǔ)系統(tǒng)未來發(fā)展論壇”上，昆騰資深存儲(chǔ)架構(gòu)專家曾祥禮深入地講解了全新的全閃存文件與對(duì)象存儲(chǔ)管理系統(tǒng)——Myriad。以下為演講實(shí)錄。

大家好！我是昆騰的曾祥禮，接下來為大家介紹一下昆騰Myriad系統(tǒng)。

昆騰Myriad文件與對(duì)象存儲(chǔ)管理系統(tǒng)是基于閃存技術(shù)的。我們知道非結(jié)構(gòu)化數(shù)據(jù)近年來增長(zhǎng)非常迅猛，未來5年都是倍增態(tài)勢(shì)。之前，企業(yè)數(shù)據(jù)存儲(chǔ)容量是TB級(jí)別的，但現(xiàn)在PB級(jí)別已經(jīng)很常見，特別是互聯(lián)網(wǎng)企業(yè)數(shù)據(jù)存儲(chǔ)量已經(jīng)達(dá)到EB級(jí)別。近年來，昆騰為國內(nèi)一些互聯(lián)網(wǎng)企業(yè)提供冷數(shù)據(jù)的存儲(chǔ)解決方案，從在線存儲(chǔ)遷移到磁帶庫的數(shù)據(jù)都是EB級(jí)別的了。數(shù)據(jù)是核心資產(chǎn)，隨著新業(yè)務(wù)、新應(yīng)用的涌現(xiàn)，企業(yè)需要更高的存儲(chǔ)性能，更高彈性，規(guī)模更大的存儲(chǔ)系統(tǒng)。

昆騰是一家在存儲(chǔ)領(lǐng)域擁有40年歷史的公司。針對(duì)用戶痛點(diǎn)，我們推出了Myriad這款針對(duì)非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的管理系統(tǒng)。Myriad是一個(gè)云原生的，是為下一個(gè)數(shù)據(jù)時(shí)代服務(wù)的，基于閃存存儲(chǔ)架構(gòu)的，極具彈性的，可以同時(shí)支持文件、對(duì)象存儲(chǔ)的管理系統(tǒng)。我們說Myriad是為下一個(gè)數(shù)據(jù)時(shí)代設(shè)計(jì)的，體現(xiàn)在以下幾點(diǎn)。

首先非?？臁yriad基于閃存、RDMA技術(shù)，采用了全新的Share-Nothing可擴(kuò)展架構(gòu)。在任何配置情況下，都可以是很低的延時(shí)，因此可以同時(shí)達(dá)成高帶寬、高IOPS。

第二，Myriad是現(xiàn)代的，它基于微服務(wù)，由K8S編排的云原生架構(gòu)。現(xiàn)在很多用戶已經(jīng)在他們的數(shù)據(jù)中心用容器化的應(yīng)用。

還有，Myriad使整個(gè)系統(tǒng)變得非常簡(jiǎn)單。Myriad在自動(dòng)化存儲(chǔ)實(shí)現(xiàn)和存儲(chǔ)管理這方面做了很多工作，使得Myriad基于NVMe構(gòu)建的存儲(chǔ)網(wǎng)絡(luò)配置非常簡(jiǎn)單，系統(tǒng)無論是擴(kuò)展、變更還是縮減都無需中斷業(yè)務(wù)，甚至無需專業(yè)的網(wǎng)絡(luò)專家去介入。

Myriad是一個(gè)軟件，它不需要專門的硬件去運(yùn)行，可以運(yùn)行在標(biāo)準(zhǔn)NVMe閃存服務(wù)器上，也可以運(yùn)行在100GB網(wǎng)絡(luò)交換機(jī)上。這是非常重要的，因?yàn)橛脩舨粫?huì)固定在某一個(gè)特殊的硬件技術(shù)之上，所以可以獲取硬件成本下降的收益。

Myriad是云原生的。無論是在本地還是在云上進(jìn)行部署的時(shí)候，都可以獲得一致的體驗(yàn)。用戶可以將Myriad系統(tǒng)輕松地在不同的云設(shè)備廠商提供的云端設(shè)備上實(shí)現(xiàn)移植，所以用戶也可以在不斷下降的云成本中獲得收益。當(dāng)然，用戶也可以在Myriad集群之間移動(dòng)數(shù)據(jù)集，比如實(shí)現(xiàn)數(shù)據(jù)的復(fù)制和遷移，將一些訪問頻度下降的數(shù)據(jù)移植復(fù)制到對(duì)象存儲(chǔ)或者文件系統(tǒng)上。

昆騰Myriad架構(gòu)采用全閃的體系結(jié)構(gòu)集群，主要目的就是為了替換傳統(tǒng)的磁盤陣列。借助Myriad可以讓用戶用全閃集群系統(tǒng)提供傳統(tǒng)的機(jī)架式磁盤陣列，通過Myriad軟件實(shí)現(xiàn)存儲(chǔ)的整合，支持更多負(fù)載。從這個(gè)角度來說，Myriad可以為用戶應(yīng)用提供綠色存儲(chǔ)資源給到用戶。大家知道在滿足同等帶寬或者IOPS需求情況下，與傳統(tǒng)磁盤相比，全閃存集群可以大大降低電源、冷卻、排放，特別是數(shù)據(jù)中心的占地面積。

Myriad是昆騰非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)系統(tǒng)一個(gè)非常關(guān)鍵的部分。對(duì)于文件和對(duì)象存儲(chǔ)，昆騰可以提供兩個(gè)關(guān)鍵的存儲(chǔ)平臺(tái)：一個(gè)是針對(duì)于熱數(shù)據(jù)的，就是Myriad的存儲(chǔ)平臺(tái)?；谠圃?，提供高IOPS、高帶寬，可以伸縮到TB級(jí)別基于閃存的存儲(chǔ)。隨著時(shí)間推移，用戶非結(jié)構(gòu)化數(shù)據(jù)訪問頻度可能會(huì)越來越低，昆騰提供一個(gè)自動(dòng)化的數(shù)據(jù)遷移，將一些訪問頻度比較低，越來越低的數(shù)據(jù)搬遷到對(duì)象存儲(chǔ)，或者是磁帶存儲(chǔ)。昆騰是目前唯一一家能提供整體跨非結(jié)構(gòu)化數(shù)據(jù)生命周期管理的解決方案廠商。

目前Myriad數(shù)據(jù)存儲(chǔ)管理軟件主要針對(duì)三個(gè)業(yè)務(wù)場(chǎng)景：一是聯(lián)機(jī)交易類、關(guān)鍵任務(wù)數(shù)據(jù)的存儲(chǔ)、快速恢復(fù)；二是媒體行業(yè)，虛擬現(xiàn)實(shí)和動(dòng)畫的渲染場(chǎng)景，這里我們提供針對(duì)虛擬現(xiàn)實(shí)、動(dòng)畫的渲染場(chǎng)景；三是針對(duì)數(shù)據(jù)分析，類似AI、機(jī)器學(xué)習(xí)這種場(chǎng)景。這些場(chǎng)景中，我們瞄準(zhǔn)的都是非結(jié)構(gòu)化的，小Block IO文件處理場(chǎng)景，這些場(chǎng)景中文件個(gè)數(shù)比較小，而且數(shù)量非常龐大，因此提供較高IOPS的存儲(chǔ)環(huán)境才能支撐。

Myriad部署在閃存存儲(chǔ)服務(wù)器之上，因此可以說是面向交易、面向事務(wù)性的存儲(chǔ)系統(tǒng)。在這個(gè)文件系統(tǒng)里，可以根據(jù)業(yè)務(wù)層面需求按需去定制文件系統(tǒng)，比如可以針對(duì)用戶、針對(duì)應(yīng)用，去創(chuàng)建自用的文件系統(tǒng)。在文件系統(tǒng)底層資源是共享的，針對(duì)某一個(gè)用戶、某一個(gè)應(yīng)用來講，它是一個(gè)單獨(dú)的Namespace。與傳統(tǒng)存儲(chǔ)相比它有很多關(guān)鍵的管理功能，來支持高性能。首先就是“寫重定向”存儲(chǔ)，我們知道傳統(tǒng)存儲(chǔ)在去修改一個(gè)數(shù)據(jù)塊的時(shí)候需要先把數(shù)據(jù)塊拷貝到一個(gè)新的存儲(chǔ)位置上，再去修改數(shù)據(jù)塊。Myriad改了“重定向”寫，先把文件寫到新的存儲(chǔ)位置上再修改指針，這是提升性能的方法，因?yàn)闇p少了一次寫的操作。再一個(gè)，它是無鎖的，借助了NVMe閃存存儲(chǔ)介質(zhì)的高性能，所以說它是無鎖寫。如果出現(xiàn)寫沖突的時(shí)候，通過回滾的方式確保數(shù)據(jù)的一致性。還有其它的管理功能，比如支持N+M的動(dòng)態(tài)糾刪編碼。

在此之上，Myriad還提供一些增強(qiáng)的數(shù)據(jù)服務(wù)，比如快照、克隆、復(fù)制，當(dāng)然還有一些縮減存儲(chǔ)，數(shù)據(jù)壓縮的一些數(shù)據(jù)服務(wù)管理功能，當(dāng)然還包括數(shù)據(jù)分析。在客戶端接口方面，支持NFS v4、NFS v3、SMB，之后還將提供S3對(duì)象接口等。

Myriad集群由三個(gè)部分組成：第一部分是“負(fù)載均衡器節(jié)點(diǎn)”，是連接到客戶環(huán)境中的100GbE網(wǎng)絡(luò)，并實(shí)現(xiàn)負(fù)載均衡的網(wǎng)絡(luò)服務(wù)層，提供數(shù)據(jù)和管理服務(wù)。第二部分是NVMe“存儲(chǔ)節(jié)點(diǎn)”層，這個(gè)節(jié)點(diǎn)層是基于NVMe存儲(chǔ)服務(wù)器，基于RDMA 100GB的Fabric構(gòu)成高性能存儲(chǔ)池，就是閃存的集群存儲(chǔ)環(huán)境。第三部分是一個(gè)名為“部署節(jié)點(diǎn)”的組件，基礎(chǔ)節(jié)點(diǎn)，這個(gè)節(jié)點(diǎn)作用只是完成整個(gè)系統(tǒng)的配置、軟件的更新，本身不會(huì)參與到整個(gè)數(shù)據(jù)鏈路中。

Myriad只提供一個(gè)IP，然后面向用戶的數(shù)據(jù)傳輸和整個(gè)系統(tǒng)的管理，這和傳統(tǒng)的NAS擴(kuò)展時(shí)需要預(yù)先在內(nèi)部保留很多IP地址有很大差異。Myriad部署內(nèi)部所需要的地址都是自動(dòng)分配的，因此整個(gè)網(wǎng)絡(luò)部署都非常簡(jiǎn)單。

我們?cè)倏匆豢碝yriad集群是怎么擴(kuò)展的。Myriad在擴(kuò)展節(jié)點(diǎn)的時(shí)候非常簡(jiǎn)單，它新增節(jié)點(diǎn)只需要把節(jié)點(diǎn)拆箱上架、連接網(wǎng)線、連接電源就可以了，整個(gè)過程無需中斷整個(gè)業(yè)務(wù)的運(yùn)行。新節(jié)點(diǎn)加載到系統(tǒng)之后，一加電會(huì)自動(dòng)檢測(cè)到，Myriad這個(gè)文件系統(tǒng)集群會(huì)自動(dòng)檢測(cè)到新增的節(jié)點(diǎn)，然后自動(dòng)進(jìn)行配置。同樣Myriad集群里刪除節(jié)點(diǎn)或者更換節(jié)點(diǎn)也非常簡(jiǎn)單，它新增節(jié)點(diǎn)，刪除節(jié)點(diǎn)，或者拿更高密度的存儲(chǔ)節(jié)點(diǎn)、更高容量的磁盤加入到這個(gè)集群里，就像新增一個(gè)節(jié)點(diǎn)到這個(gè)系統(tǒng)內(nèi)道理是一樣的。這一點(diǎn)非常重要，因?yàn)椴捎眠@種架構(gòu)，我們可以把Myriad想象成一個(gè)經(jīng)得起未來考驗(yàn)的系統(tǒng)，為什么呢？因?yàn)殡S著市場(chǎng)的發(fā)展，新的硬件肯定有新的CPU、新的高密存儲(chǔ)設(shè)備、新的更大容量SSD磁盤涌現(xiàn)，它的成本肯定越來越低，用戶就可以利用Myriad的架構(gòu)去替換更新的產(chǎn)品。

一套Myriad系統(tǒng)支持上百個(gè)存儲(chǔ)節(jié)點(diǎn)，負(fù)載均衡的節(jié)點(diǎn)也可以按需擴(kuò)展。同樣縮減存儲(chǔ)節(jié)點(diǎn)非常簡(jiǎn)單，Myriad的底層糾刪會(huì)自動(dòng)去平衡。

做一下簡(jiǎn)單的總結(jié)，Myriad是基于全閃存儲(chǔ)，然后提供文件對(duì)象存儲(chǔ)管理的，它用戶端接口支持NFS、SMB、S3，或者通過唯一的IP實(shí)現(xiàn)數(shù)據(jù)的傳輸和管理。它是基于云原生架構(gòu)，基于微服務(wù)，基于K8S編排，無論部署在何處都可以提供良好的彈性規(guī)模，和類似云服務(wù)的簡(jiǎn)單性。同時(shí)因?yàn)樗腔贜VMe進(jìn)行設(shè)計(jì)全新的Share-Nothing架構(gòu)，與RDMA高速網(wǎng)絡(luò)結(jié)合，可以減輕網(wǎng)絡(luò)在傳輸時(shí)的服務(wù)器負(fù)載。每一個(gè)節(jié)點(diǎn)通過RDMA協(xié)議都可以直接訪問到其他節(jié)點(diǎn)管理的SSD閃存磁盤。另外，Myriad不需要專門的硬件支持，基于軟件定義方式，用戶可以在未來獲得硬件成本下降的收益。Myriad使得一切都變得非常簡(jiǎn)單，包括存儲(chǔ)的管理、網(wǎng)絡(luò)管理，以及整個(gè)集群的管理。

以上就是我的分享，感謝大家！

xiesc