杭州宏杉科技股份有限公司技術(shù)總監(jiān)曹鎮(zhèn)

宏杉科技致力做專業(yè)存儲(chǔ)已有十年,數(shù)據(jù)量的增長(zhǎng)和十年前甚至二十年前相比整個(gè)變化已經(jīng)不在一個(gè)級(jí)別。到2024年,全球基本上可以看到近200GB數(shù)據(jù)量的增長(zhǎng)。

在十年前,大家都談核心交易系統(tǒng),我們談的是一些結(jié)構(gòu)化的數(shù)據(jù),現(xiàn)在所處的時(shí)代,按照IDC新的說法,幾個(gè)大方向都在轉(zhuǎn)變,我們現(xiàn)在所處的類似于非結(jié)構(gòu)化數(shù)據(jù)年代。

大家可以看一下,首先是全閃加速,在2010年的時(shí)候,890片10K轉(zhuǎn)速的2.5寸盤,能夠跑到十萬的IOPS。那個(gè)時(shí)候我們來講,都已經(jīng)歡欣雀躍了,我們覺得是當(dāng)時(shí)業(yè)界最高的值了。但是現(xiàn)在可以看到,拿閃存來講,幾乎整個(gè)延遲和性能都是巨大飛速的提高。也就是說今天看到所有存儲(chǔ)的瓶頸,基本上原來都是后端介質(zhì),但是閃存來了之后,確實(shí)給這個(gè)時(shí)代整個(gè)發(fā)生了一個(gè)變化是相當(dāng)大的。

第二個(gè),我們看到更多的解決方案包括一些廠商在原來自己產(chǎn)品方案都提過數(shù)據(jù)湖這個(gè)概念,可是當(dāng)時(shí)沒有感應(yīng)到結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)產(chǎn)生,還有在AI現(xiàn)在這個(gè)年代里面,這些數(shù)據(jù)真正形成數(shù)據(jù)湖之后,我們才發(fā)現(xiàn)有諸多的盲點(diǎn)。比如說實(shí)際應(yīng)用解決方案當(dāng)中怎么把對(duì)象存儲(chǔ)和NAS替換還是結(jié)合,包括在一些結(jié)構(gòu)化影像來講,幾億數(shù)據(jù)怎么解決等等都有很大的變化。后面再看主要是兩個(gè)更大的方向,一個(gè)是對(duì)象存儲(chǔ),再一個(gè)是軟件定義。

對(duì)象存儲(chǔ)和軟件定義是長(zhǎng)期趨勢(shì)

對(duì)象存儲(chǔ)在最開始應(yīng)用起步時(shí),是一些做內(nèi)容管理的公司推出來的。2006年的時(shí)候,我們看到一些傳統(tǒng)的存儲(chǔ)企業(yè)在談對(duì)象存儲(chǔ)這個(gè)概念,但是似乎剛需應(yīng)用沒有來,因?yàn)闆]有看到更多的非結(jié)構(gòu)化數(shù)據(jù),比如微信一天的非結(jié)構(gòu)化數(shù)據(jù)圖片15億張,這是一個(gè)相當(dāng)大的非結(jié)構(gòu)化數(shù)據(jù)時(shí)代,所以需要在對(duì)象存儲(chǔ)和軟件定義這部分。

我們?yōu)槭裁匆v軟件定義,因?yàn)閷?duì)象存儲(chǔ)真正的應(yīng)用興起還是因?yàn)樵?,幾個(gè)云的廠商,包括BAT。在軟件定義的時(shí)候基本上把對(duì)象存儲(chǔ)上升到軟件定義,扁平的概念,就類似于像看谷歌一樣,沒有搞清楚谷歌為什么用一個(gè)新型的GFS替換SAN,但是在今天才意識(shí)到互聯(lián)網(wǎng)時(shí)代,數(shù)據(jù)整個(gè)存儲(chǔ)結(jié)構(gòu)整個(gè)變化性是非常大的。跟大家說一下,現(xiàn)在切身有一個(gè)體會(huì),目前行業(yè)幾個(gè)相關(guān)應(yīng)用,比如說高性能預(yù)算數(shù)據(jù)元數(shù)據(jù)IOPS上,我們看到更多有一些SPC方案,現(xiàn)在基本上NVMe SSD來做元數(shù)據(jù)節(jié)點(diǎn),要求值從早期看到幾十萬的大IOPS到現(xiàn)在的幾千萬IOPS,這是發(fā)生的一個(gè)變化。

比如說數(shù)據(jù)湖,現(xiàn)在4K、8K炒了很多年,大家知道一個(gè)8K的片子, 原片基本上是2TB,帶寬會(huì)對(duì)整個(gè)數(shù)據(jù)性能上產(chǎn)生極致的變化。我們剛剛講SPC-1,帶寬這方面也是很大的變化。再一個(gè)海量的數(shù)據(jù)對(duì)應(yīng)對(duì)象存儲(chǔ),因?yàn)楝F(xiàn)在非結(jié)構(gòu)化數(shù)據(jù),只要實(shí)體有的應(yīng)用基本上都是億級(jí)的文件來做技術(shù)。

宏杉最早起步主要聚焦于SAN,在后面幾年的變化中,宏杉在文件和對(duì)象包括軟件定義還有備份的解決方案,也做了大量更新。在2020年的也是把產(chǎn)品線分成四大類,一個(gè)是傳統(tǒng)SAN存儲(chǔ),另外一個(gè)基于整體結(jié)構(gòu)上構(gòu)建了一個(gè)比較完整的文件系統(tǒng),再一個(gè)開發(fā)了對(duì)象存儲(chǔ),后面也是有一些合作方面整個(gè)備份的解決方案。

2020年目標(biāo)還是在一個(gè)平臺(tái)之上能夠把自己真正原有企業(yè)落地解決方案整合在一起。2016年3月30日,宏杉首次發(fā)布CloudSAN平臺(tái),在2019年升級(jí)為CloudSUN解決,把所有的存儲(chǔ)方案整體打通。

這是NVMe的時(shí)代

從我入圈開始,大家一直遵循兩件事情,一件事情當(dāng)年做硬盤的時(shí)候,存儲(chǔ)最大的時(shí)候都是因?yàn)橛脖P,而且是主流,所以硬盤在SSD出來之前,始終解決不了的一個(gè)問題,主要還是這個(gè)盤本身的延遲和后端協(xié)議上的問題。當(dāng)年的時(shí)候,SCSI3這個(gè)協(xié)議,當(dāng)年已經(jīng)足夠了,包括后來看到所謂SAS一些協(xié)議,不管是2.0和3.0,主要還是基于SCSI3。NVMe出現(xiàn)的時(shí)候,大家在當(dāng)年都是略微有一些措手不及,第一個(gè)發(fā)現(xiàn)了具有這樣一個(gè)低延遲發(fā)生,NVMe本身的SSD做的盤的延遲已經(jīng)到了幾個(gè)ms這樣一個(gè)狀況,整體上的延遲在100ms以內(nèi),各存儲(chǔ)廠商看到NVMe第一眼的時(shí)候,大家就想把盤陣延遲做到這么大。

在當(dāng)年注定NVMe入局的時(shí)候,更重要的是下一步,今天大家看到所有的盤陣還有幾個(gè)廠商測(cè)試的時(shí)候,一會(huì)兒可以給大家看一下,大家比拼的是SCSI3。下一步的時(shí)候是在那個(gè)協(xié)議上,在NVMe-oF。

所以現(xiàn)在各廠商下一步競(jìng)爭(zhēng),是把自己前端接口協(xié)議放在NVMe-oF上面,這是一個(gè)大家目前正在忙的事情。在這個(gè)基礎(chǔ)數(shù)字上我們也做一些基本的拆解,我們發(fā)布了第一款NVMe全閃產(chǎn)品,MS7000G2-Mach在SPC-1測(cè)試中打破多項(xiàng)世界記錄:1.16控IOPS 1100萬,全球排名第一;2.單控IOPS 68.75萬,全球排名第一;3. 最高壓力時(shí)延,0.337ms,全球排名第一。

MOFS SAN共享與分布式構(gòu)建極致性能。BigHash快速Hash,采用Hash的方式對(duì)目錄和文件進(jìn)行查收。針對(duì)文件類型、文件路徑等不同的屬性參數(shù)自適應(yīng)不同的Hash算法,索引速度提升100%。Unimem單一拷貝,減少同一份數(shù)據(jù)在傳輸和存取過程中多次在內(nèi)存中copy的現(xiàn)象,延遲減少50%。

節(jié)點(diǎn)間平滑數(shù)據(jù)流動(dòng),XAN網(wǎng)絡(luò)10/25/40/100Gb低延遲以太網(wǎng)、32GbPCIE網(wǎng)絡(luò)?,F(xiàn)在各個(gè)廠商都在做文件和對(duì)象無縫轉(zhuǎn)換,已有文件系統(tǒng)性能下降,文件個(gè)數(shù)急劇增多不堪重負(fù),文件系統(tǒng)多種格式,有不同廠家的文件系統(tǒng),數(shù)據(jù)遷移業(yè)務(wù)不能中斷,宏杉MOSS創(chuàng)新技術(shù):文件與對(duì)象間自動(dòng)轉(zhuǎn)換。UDP特點(diǎn),文件和對(duì)象間可自由轉(zhuǎn)換,可相互備份、拷貝和移動(dòng),支持多份拷貝,文件及對(duì)象可并行工作并實(shí)現(xiàn)數(shù)據(jù)同步。

存儲(chǔ)格局巨變,宏杉以創(chuàng)新引領(lǐng)變革

未來面臨的存儲(chǔ)是軟件定義和分布式和傳統(tǒng)一些存儲(chǔ)相融合的方案,所以在整個(gè)方案上,宏杉提出了MOGS的概念,類似于云網(wǎng)通,把結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)在公有云上面做無縫遷移。

總結(jié)一下,從宏杉的愿景,首先是立足于基于SAN的存儲(chǔ),在存儲(chǔ)原有比較原始的存儲(chǔ)虛擬化包括SAN的整合,構(gòu)建CloudSUN。我們更多也看見整個(gè)存儲(chǔ)平臺(tái)的數(shù)據(jù)發(fā)生了結(jié)構(gòu)化的數(shù)據(jù),不僅僅是結(jié)構(gòu)化的數(shù)據(jù)還有非結(jié)構(gòu)化的數(shù)據(jù)。在這個(gè)平臺(tái)之外,在自己的存儲(chǔ)控制器里能夠啟動(dòng)自己的虛擬化的概念,宏杉將來的存儲(chǔ)是做的類似于超融合的架構(gòu),包括傳統(tǒng)的備份會(huì)兼容。事實(shí)上來講,十年前最熱的話題,兩地三中心,可能現(xiàn)在提得比較少了,實(shí)際上今天看到整個(gè)存儲(chǔ)結(jié)構(gòu)來講基本上在原來數(shù)據(jù)庫(kù)層面演變,將來云化在這個(gè)方案上來講,各個(gè)廠商實(shí)施新的方式,我們也會(huì)面向未來的數(shù)據(jù)管理,提供CloudSUN整體解決方案。

另外幾個(gè)方向性,國(guó)家提出新基建包括整個(gè)醫(yī)療、交通還有自主可控的方方面面,宏杉也在做相關(guān)的積極投入,新型基礎(chǔ)設(shè)施是以新發(fā)展理念為引領(lǐng),以技術(shù)創(chuàng)新為驅(qū)動(dòng),以信息網(wǎng)絡(luò)為基礎(chǔ),面向高質(zhì)量發(fā)展需要,提供數(shù)字轉(zhuǎn)型、智能升級(jí)、融合創(chuàng)新等服務(wù)的基礎(chǔ)設(shè)施體系。其中,在銀行領(lǐng)域,宏杉對(duì)金融行業(yè)文件歸檔和檢索提供服務(wù)支持。特別是疫情之后,宏杉把對(duì)象存儲(chǔ)數(shù)據(jù)湖方案廣泛應(yīng)用在醫(yī)共體的方案上,將來社區(qū)醫(yī)療扁平化,整個(gè)醫(yī)院信息的拉通方面來講,在對(duì)象存儲(chǔ)和數(shù)據(jù)湖方案方法上是比較多的。而在交通強(qiáng)國(guó)這塊,宏杉也推出了大量的解決方案,包括傳統(tǒng)一些基于視頻監(jiān)控元數(shù)據(jù)管理對(duì)象存儲(chǔ)方案,還有集成的NAS方案,也是將來的重點(diǎn)。

分享到

zhangnn

相關(guān)推薦