以下為王栩東演講實(shí)錄整理:
超融合是什么?
超融合應(yīng)該如何定義。每家廠商不一樣,什么是超融合?反正這么多廠商,我是賣一體機(jī),我是超融合,我是做其他的軟件定義存儲(chǔ)我也叫超融合。實(shí)際上由業(yè)務(wù)敏捷性驅(qū)動(dòng)的客戶需求已經(jīng)從單一的計(jì)算能力、網(wǎng)絡(luò)和存儲(chǔ)架構(gòu)往云計(jì)算上遷移,往應(yīng)用現(xiàn)代化遷移,往工作負(fù)載管理上面遷移。正是有了這樣的需求之后,很多廠商關(guān)注這個(gè)焦點(diǎn),關(guān)注這個(gè)問題,有了這個(gè)產(chǎn)品的創(chuàng)新。
其中有一個(gè)創(chuàng)新,我們把計(jì)算能力和存儲(chǔ)服務(wù)跑在一個(gè)設(shè)備,運(yùn)行在一個(gè)設(shè)備上,慢慢把它和以前的硬件解耦。以前服務(wù)器存儲(chǔ)也好、網(wǎng)絡(luò)也好,是一個(gè)緊耦合,慢慢做解耦合的方式。上面跑的是互聯(lián)網(wǎng)數(shù)據(jù)中心對(duì)我們現(xiàn)有數(shù)據(jù)中心沖擊比較大。你看互聯(lián)網(wǎng)數(shù)據(jù)中心,全是標(biāo)準(zhǔn)X86服務(wù)器,很少有大型存儲(chǔ)包括備份的方式,全部用軟件方式來做。各種軟件定義方式運(yùn)行在標(biāo)準(zhǔn)X86服務(wù)器上。
廣義來講,超融合把計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)集成在一起,運(yùn)行一整套的軟件方案或者設(shè)備。一個(gè)節(jié)點(diǎn)或者多個(gè)節(jié)點(diǎn)最核心是一個(gè)分布式的協(xié)議站,每個(gè)節(jié)點(diǎn)可能都要掛一些分布式軟件系統(tǒng)或者是對(duì)象存儲(chǔ),作為它的存儲(chǔ)。
同時(shí)上面會(huì)有很重要的一個(gè)虛擬架構(gòu)虛擬站引導(dǎo)硬件設(shè)備并將其抽象成更多的CPU、內(nèi)存和硬盤資源。我想這是一個(gè)廣義定義,幾乎把全部的使用軟件集成在一起,把計(jì)算能力,存儲(chǔ)放在一起,說是一個(gè)超融合,其實(shí)也對(duì)。
超融合最大的區(qū)別是在“超”,跟傳統(tǒng)存儲(chǔ),跟軟件定義,跟融合性區(qū)別的時(shí)候,從狹義定義,大家要關(guān)注它是不是符合客戶應(yīng)用,符合客戶的運(yùn)維習(xí)慣,符合客戶真正的所要求的性能、安全、運(yùn)維。
超融合的優(yōu)勢(shì)是什么?
我為什么要用超融合?以前客戶用傳統(tǒng)存儲(chǔ)很好用,上虛擬化沒問題,跑物理機(jī)沒問題,不同的操作系統(tǒng),但是帶來很大的麻煩——成本和運(yùn)維??赡軙?huì)在傳統(tǒng)架構(gòu)投資非常大的一個(gè)設(shè)備采購(gòu)方面,跟各個(gè)廠商策略不一樣。第二運(yùn)維比較麻煩,因?yàn)榛粳F(xiàn)在各個(gè)系統(tǒng)都是各廠商的產(chǎn)品都有。軟硬件放在一起是很復(fù)雜的一套管理系統(tǒng)、運(yùn)維系統(tǒng),其中還涉及到監(jiān)控。對(duì)超融合來講的優(yōu)勢(shì),比如客戶以前做運(yùn)維,做主機(jī)運(yùn)維宕機(jī)就好了,對(duì)不起全部宕掉。在以前物理機(jī)的系統(tǒng),超融合很重要就是跑虛擬化,這個(gè)虛擬化你用VMware也好,正常的運(yùn)維,只要把虛擬機(jī)做一個(gè)自動(dòng)遷移,我機(jī)器存儲(chǔ)的節(jié)點(diǎn),正常維護(hù)更換硬盤,更換硬件,更換CPU都沒有問題。從運(yùn)維角度來講,這是超融合非常大的一個(gè)格局??梢宰龅綗o宕機(jī)的運(yùn)維,數(shù)據(jù)不丟。
超融合和融合系統(tǒng)及傳統(tǒng)存儲(chǔ)的區(qū)別
第三個(gè)問題就是超融合和融合系統(tǒng)及傳統(tǒng)存儲(chǔ)的區(qū)別。幾乎每個(gè)廠商都說自己是超融合,就是賣一體機(jī),把計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)都放一起了。狹義定義不是這樣的,首先傳統(tǒng)存儲(chǔ)大家都很熟,兩個(gè)控制器或者多個(gè)控制器,不管做分布式也好,硬件是特有硬件,這么多廠商包括EMC,HPE,華為等硬件廠商,硬件是自己特有的架構(gòu)。自己跑自己的軟件,管理系統(tǒng),每一個(gè)廠商都不一樣,這個(gè)是傳統(tǒng)存儲(chǔ)。
再說一個(gè)融合系統(tǒng),在8-10年前,有一個(gè)流行術(shù)語——軟件定義網(wǎng)絡(luò),然后再是軟件定義存儲(chǔ)。硬件大型磁盤陣列都跑CPU,后來都跑X86了。既然出來軟件定義存儲(chǔ),那把軟件直接扒下來放到X86,以前跑的X86,現(xiàn)在X86英特爾CPU越來越快,處理IO絕對(duì)沒問題。還有一些廠商用開源做一個(gè)系統(tǒng),做成軟件定義存儲(chǔ)。但它還是一個(gè)存儲(chǔ),軟件定義存儲(chǔ)實(shí)際上還是一個(gè)存儲(chǔ)。
后來因?yàn)槌霈F(xiàn)了超融合的概念,超融合從廣義來講就是把計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)整合在一起,既然是整合,現(xiàn)在只要處理IO,處理存儲(chǔ)需求,跟計(jì)算節(jié)點(diǎn)放一塊,再做一次合并,那就形成一個(gè)系統(tǒng),這就叫超融合。準(zhǔn)確來說是融合系統(tǒng),不叫超融合。
現(xiàn)在來說一下,這個(gè)“超”是什么?所有超融合系統(tǒng)一定要運(yùn)行在虛擬架構(gòu)上,也就是云的架構(gòu)上。因?yàn)槲磥砜蛻舻膽?yīng)用一定往這上面遷移,不是既能支持虛擬架構(gòu),還能支持物理機(jī),那叫融合系統(tǒng),不叫超融合系統(tǒng)。
第二點(diǎn)所有的超融合系統(tǒng)對(duì)應(yīng)的所有功能全部都是針對(duì)虛擬機(jī),不是說今天我做了一個(gè)跟傳統(tǒng)存儲(chǔ)沒有任何區(qū)別,你說有多大,100G,5T,我劃給你。我要一個(gè)企業(yè)功能,就是跑了500個(gè)虛擬機(jī),它還是傳統(tǒng)存儲(chǔ)架構(gòu),超融合針對(duì)虛擬機(jī)可以做。任何快照、克隆、副本技術(shù)也好,都是針對(duì)虛擬機(jī),這個(gè)才叫真正的超融合架構(gòu)。剩下我覺得更準(zhǔn)確的定義應(yīng)該叫融合架構(gòu)。
當(dāng)前超融合能適合什么樣的應(yīng)用?
再一個(gè)說當(dāng)前超融合能適合什么樣的應(yīng)用?如果說的大一點(diǎn),超融合適合所有應(yīng)用,這其實(shí)是不可能的。現(xiàn)在沒有一個(gè)什么系統(tǒng)可以跑所有應(yīng)用,大型傳統(tǒng)存儲(chǔ)也不可能。我只能說只要你可以遷移到虛擬化上的應(yīng)用,超融合系統(tǒng)基本可以跑。
為什么這樣說?現(xiàn)在我們可以看到,超融合起步就這兩年,遠(yuǎn)比傳統(tǒng)存儲(chǔ)時(shí)間短很多。其實(shí)傳統(tǒng)存儲(chǔ)也是經(jīng)過很多年技術(shù)積累以后才能滿足現(xiàn)在客戶的大部分應(yīng)用。超融合一樣也會(huì)走這個(gè)過場(chǎng)。剛剛開始只是這一兩年,超融合的概念被炒起來了。很多廠商說數(shù)據(jù)庫(kù)可以跑很高的IO性能,那要看在什么條件下跑了。
現(xiàn)在我說自己是超融合,因?yàn)檐浖x存儲(chǔ),我直接跑一個(gè)X86,放多少個(gè)CPU,至少兩路物理CPU給你做IO。今天我們放在超融合計(jì)算放在里面,開一個(gè)虛擬化環(huán)境,剩下全部用的控制虛機(jī)的方式。
我不能說所有應(yīng)用都可以適合超融合,目前在我們實(shí)施所有給客戶中只要能遷移到虛擬化環(huán)境的應(yīng)用都可以。包括有一些像數(shù)據(jù)庫(kù),想遷到哪個(gè)系統(tǒng)上。P7的IBM服務(wù)器,我先看負(fù)載多大,負(fù)載只有10%,我可以給你看。如果高峰跑的負(fù)載到80%,你的虛擬化環(huán)境都撐不過來。還有其他的文件系統(tǒng)、ERP等等。
還有關(guān)于小文件的系統(tǒng),一個(gè)500G的容量空間,假設(shè)全是EXCEL表,最大50K,最小25K,總共有多少?1000萬。你要做一次數(shù)據(jù)的索引,這時(shí)間非常長(zhǎng)。要運(yùn)用比如說像SSD技術(shù)。
Maxta公司背景
Maxta是一家位于美國(guó)硅谷的公司,跟大家熟知的公司都是友商。我們跟它們有一個(gè)很大的區(qū)別——也就是我們依托硬件,又脫離硬件。現(xiàn)在幾乎所有超融合廠商都是一體機(jī),我們只做軟件的部分,做協(xié)議站這塊。你做所有硬件兼容性的測(cè)試,這很難。
對(duì)客戶有什么好處?我們是一個(gè)軟件的超融合解決方案。對(duì)于客戶來講,都希望試一下超融合,買一些新的服務(wù)器。因?yàn)槊考铱蛻舻倪x擇不一樣,有的人喜歡惠普,有的人喜歡戴爾,聯(lián)想,浪潮,曙光,每一家都不一樣。對(duì)Maxta來說都可以,用到所有產(chǎn)品上都做過測(cè)試。買了這個(gè)之后直接安裝變成超融合系統(tǒng)。
如果客戶想要利舊,一體機(jī)廠商的舊的機(jī)器是沒辦法的。舊的廠商買戴爾服務(wù)器,如果想融到這個(gè)系統(tǒng)來,把低功耗低IO應(yīng)用挪到上面來。但是就機(jī)器而言,沒有SSD插頭,沒辦法做。所有超融合廠商都得用SSD加速,我們也一樣,都要用。
我們相對(duì)來說比較融合,希望客戶有一個(gè)簡(jiǎn)單的操作就可以把這個(gè)超融合無論是縱向還是橫向擴(kuò)展,有很多種選擇,不同的服務(wù)器平臺(tái),可以把你的舊有系統(tǒng)納入進(jìn)來,作為一個(gè)計(jì)算節(jié)點(diǎn),作為一個(gè)融合節(jié)點(diǎn)。
另外易擴(kuò)充,超融合大家都一樣,無論是縱向還是橫向易擴(kuò)展。另外低成本,對(duì)于傳統(tǒng)存儲(chǔ)來講,你不用買一個(gè)大柜子,我現(xiàn)在負(fù)載可以用到80%,可以的話,我可以繼續(xù)跑。我什么時(shí)候需要,橫向擴(kuò)展或者縱向擴(kuò)展,這是整個(gè)產(chǎn)品的設(shè)計(jì)理念。
未來在數(shù)據(jù)中心架構(gòu)幾乎全部都是軟件定義,互聯(lián)網(wǎng)數(shù)據(jù)中心這種架構(gòu)對(duì)傳統(tǒng)數(shù)據(jù)中心沖擊非常大。以前我買了一個(gè)大的磁盤陣列HDS,我自己建數(shù)據(jù)中心,可以根據(jù)它的尺寸或者承重改機(jī)房。如果你搬到IDC,你改不了,我的機(jī)房承重就這么多,你要多了就加錢。要不然你拆客戶機(jī)柜,包括硬件、軟件,再整合測(cè)試周期比較長(zhǎng)。
傳統(tǒng)非虛擬架構(gòu)情況下常常遇到的問題:
軟件定義來講,我們以前有一個(gè)客戶是做應(yīng)用開發(fā)的,底下專門有運(yùn)維。向他們要容量,他們搞開發(fā)有新的容量需求,開發(fā)新的軟件。問運(yùn)維提供5T,10T。
對(duì)不起,等著,我們還沒買存儲(chǔ)。
那邊有幾個(gè)機(jī)器空出來的空間回收一下給我用。
對(duì)不起,我們都劃分好了不能用。
做容災(zāi),兩地三中心,切過去IP地址要切換。對(duì)虛擬化架構(gòu),這也是軟件定義網(wǎng)絡(luò)的。所有書記中心未來軟件定義網(wǎng)絡(luò),軟件定義存儲(chǔ)。這是未來數(shù)據(jù)中心的架構(gòu)。
這是傳統(tǒng)的利用超融合構(gòu)建新一代的高效數(shù)據(jù)中心,以前是手動(dòng)、靜態(tài)、硬件。新的可以自動(dòng)、動(dòng)態(tài)、軟件定義。好處是用虛擬化架構(gòu)和軟件定義IT架構(gòu)降低初始資本支出和運(yùn)營(yíng)成本,提高IT運(yùn)營(yíng)效率。虛擬架構(gòu)確確實(shí)實(shí)改變我們以前傳統(tǒng)物理機(jī)的架構(gòu),對(duì)我們業(yè)務(wù)的穩(wěn)定運(yùn)行,甚至全年可以做到99%甚至更高的運(yùn)行效率,不宕機(jī)的效率。
數(shù)據(jù)中心從傳統(tǒng)的架構(gòu)演變到超融合的架構(gòu),變成傳統(tǒng)擬用光纖存儲(chǔ)沒有了。而代之用X86體系結(jié)構(gòu)的服務(wù)器。后端用數(shù)據(jù)管理網(wǎng)關(guān),超融合是分布式協(xié)議站,后端可以用50萬兆、40萬兆,提高效率低延遲網(wǎng)絡(luò)。
Maxta的存儲(chǔ)管理平臺(tái),所有都要虛擬化。它把所有下面的硬盤統(tǒng)一管理起來,變成一個(gè)存儲(chǔ)池。對(duì)于上面的虛擬機(jī)來說,我只看到是存儲(chǔ)池,即便后面給了10T、100T,所有虛擬機(jī)都可以用。超融合有一個(gè)概念就是所有功能設(shè)定和性能調(diào)優(yōu)都是針對(duì)虛擬機(jī),超融合天生就是這樣。硬盤加進(jìn)來的時(shí)候,硬盤自動(dòng)放大。
前面虛擬機(jī)看到存儲(chǔ)池自動(dòng)放大,可以給虛擬機(jī)添加容量可以建新的虛擬機(jī)。添加節(jié)點(diǎn)的時(shí)候,有SSD。但如果是利舊的話,SSD插不上,根本不支持。
除此之外大家還需要很多企業(yè)級(jí)的服務(wù),數(shù)據(jù)存進(jìn)去跑500萬IOPS沒用,真正跑起來,運(yùn)維人員第一要素,慢沒問題,穩(wěn)定最重要。我們知道一個(gè)虛擬機(jī)真正跑起來,1000萬IOPS。還需要企業(yè)級(jí)的數(shù)據(jù)服務(wù),這些包括——第一可靠性和數(shù)據(jù)的彈性,你要是隨時(shí)可以擴(kuò)展、縮減。另外全局?jǐn)?shù)據(jù)命名空間還有快照克隆,以前軟件音譯存儲(chǔ)、傳統(tǒng)存儲(chǔ)都是針對(duì)卷,它跟你以前使用存儲(chǔ)沒有任何區(qū)別??煺湛寺《际轻槍?duì)虛擬機(jī),可以針對(duì)一臺(tái),可以針對(duì)十臺(tái),我使用可以針對(duì)策略,有些機(jī)器每天晚上做一次,有的三天做一次。所以這是企業(yè)級(jí)的數(shù)據(jù)組網(wǎng)。
另外支持多種虛擬化平臺(tái),我們現(xiàn)在是兩個(gè)最主流,一個(gè)是VMware,一個(gè)是KVM。
這個(gè)是數(shù)據(jù)副本,一個(gè)虛擬機(jī)數(shù)據(jù)寫到一臺(tái)服務(wù)器的時(shí)候,它同時(shí)是這三個(gè)副本的節(jié)點(diǎn)。先寫SSD,然后按固定順序?qū)懙接脖P里。超融合數(shù)據(jù)中心運(yùn)營(yíng)效率,對(duì)于房間占比,對(duì)于電源、網(wǎng)絡(luò)還有磁盤空間利用率還有維護(hù),超融合數(shù)據(jù)中心和傳統(tǒng)數(shù)據(jù)中心有極大的降低。
Maxta三大優(yōu)勢(shì),第一已經(jīng)強(qiáng)調(diào)過了,我們不否定硬件,任何硬件我們都可以。包括像戴爾、HPE、思科、聯(lián)想,適用所有標(biāo)準(zhǔn)X86服務(wù)器,做兼容性測(cè)試也很麻煩,尤其是軟件。第二我們有授權(quán),你升級(jí)硬件,遷移軟件可以直接遷移到新硬件上,不用再買,延續(xù)到新的硬件平臺(tái)。
第三與大多數(shù)其它做超融合不同,我們可以針對(duì)虛擬機(jī)粒度性能優(yōu)化。超融合很多時(shí)候做的優(yōu)化配置,所有功能都是針對(duì)虛擬機(jī)的。我們知道以前做傳統(tǒng)存儲(chǔ),老說四方不對(duì)齊造成性能下降幾十倍,這問題確實(shí)存在。我們可以針對(duì)虛擬機(jī)里面每一個(gè)不同的硬盤,虛擬機(jī)可以掛很多硬盤,不同的硬盤,不同的應(yīng)用。假設(shè)你有一個(gè)跑Server,跑虛擬桌面,跑數(shù)據(jù)庫(kù),虛擬機(jī)塊大小,針對(duì)虛擬機(jī)做不同的塊大小,優(yōu)化整個(gè)IO。幾乎所有廠商都用SSD加速??梢葬槍?duì)虛擬機(jī)優(yōu)化,不用跑SSD上,直接寫到硬盤上。
這是產(chǎn)品組建架構(gòu),分布式系統(tǒng),還有對(duì)象管理,包括集群管理,還有包括一些我們管理數(shù)據(jù)庫(kù),前面UI這塊。
這是針對(duì)每一個(gè)虛擬機(jī)的每一個(gè)磁盤會(huì)有一個(gè)Maxta,專門控制虛擬機(jī)做的多副本。假設(shè)虛擬機(jī)在節(jié)點(diǎn)一,Maxta跟著他。虛擬機(jī)遷移到節(jié)點(diǎn)二,Maxta跟著它做遷移。大家可能會(huì)問,剛遷移過去又馬上遷移回來,這么頻繁,我上面有IO,頻繁遷移會(huì)影響整個(gè)系統(tǒng)的穩(wěn)定性。我們?cè)谠O(shè)計(jì)的時(shí)候,如果超過1000IO,我們做Maxta遷移,不超過累計(jì)1000IO,Maxta不做遷移。Maxta做遷移中間要做30個(gè)相互之間通訊,連接,要對(duì)一些數(shù)據(jù)進(jìn)行拷貝復(fù)制,每做一次后邊對(duì)CPU消耗都是有的。
另外大家可能關(guān)心的一個(gè)問題,大家可能說Striping問題,一個(gè)虛擬文件怎么分布。所有大家可能都說寫本地好,如果寫本地好的話,那就買一個(gè)磁盤陣列,裝一個(gè)磁盤寫入很好。不是這樣的,傳統(tǒng)存儲(chǔ)磁盤越多寫的越快,假設(shè)一個(gè)系統(tǒng)假設(shè)就三個(gè)節(jié)點(diǎn)。六塊硬盤上寫,前面有SSD加速,但往六塊硬盤上寫,還是往兩塊硬盤上寫快?肯定是往六塊硬盤上寫快。你還有網(wǎng)絡(luò)連接有延遲,現(xiàn)在后端的萬兆以太網(wǎng),絕對(duì)不是瓶頸。瓶頸在你的架構(gòu)和CPU利用上。所以實(shí)際上除了用SSD加速,另外還要把數(shù)據(jù)打散在所有硬盤上。
如果客戶要求往一個(gè)節(jié)點(diǎn)上寫,不往多個(gè)節(jié)點(diǎn)上寫。甚至我們還可以做到這一個(gè)虛擬機(jī),有八個(gè)節(jié)點(diǎn)甚至十個(gè)節(jié)點(diǎn),你把1個(gè)TP分到十個(gè)節(jié)點(diǎn)上,我有三個(gè)機(jī)器性能特別慢怎么辦?只固定其中某幾臺(tái)機(jī)器上做分布。
這個(gè)是另外一個(gè)設(shè)計(jì),產(chǎn)品的設(shè)計(jì)考慮到我們知道壞盤問題,我測(cè)的性能很好,假設(shè)壞盤怎么辦?壞一個(gè)節(jié)點(diǎn)怎么辦。根據(jù)數(shù)據(jù)分布,壞盤會(huì)只是把數(shù)據(jù)這塊做遷移,遷移到別的硬盤上。做容量添加,加節(jié)點(diǎn)或者加磁盤的時(shí)候,我們要做一個(gè)數(shù)據(jù)的重建,跟剛才的移動(dòng)不一樣。什么叫重建?當(dāng)你流量增加的時(shí)候,我讓所有在上面跑虛擬機(jī)磁盤更大量的平均分布在所有節(jié)點(diǎn)上,這是要花時(shí)間。我們可以支持假設(shè)客戶今天是兩副本,換成三副本可以,根據(jù)客戶需求。讀寫IO寫到SSD上再去刷盤,SSD現(xiàn)在看到基本上是在64K。
從Maxta體現(xiàn)價(jià)值就是讓選擇最大化,客戶有多的選擇,硬件選擇,軟件選擇,針對(duì)不同應(yīng)用進(jìn)行優(yōu)化。對(duì)超融合來講所有優(yōu)化全是針對(duì)虛擬機(jī),而不是針對(duì)下面存儲(chǔ)或者軟件定義存儲(chǔ)。跟你使傳統(tǒng)存儲(chǔ)沒區(qū)別,超融合不是這樣。只是管虛擬機(jī),VMware直接管虛擬機(jī),別管后面存儲(chǔ)怎么分配。一旦創(chuàng)建好,就已經(jīng)做好了。做配置進(jìn)行優(yōu)化,客戶有很大的領(lǐng)或性,授權(quán)平臺(tái)轉(zhuǎn)移,客戶價(jià)值最大化,本地客戶進(jìn)行優(yōu)化,中文界面,Maxta有日文、韓文,還有英文,你可以這樣選。讓客戶管理起來從運(yùn)維角度最簡(jiǎn)單,你只需管理虛擬機(jī)就可以。最后一個(gè)是節(jié)省,成本上節(jié)省,標(biāo)準(zhǔn)硬件,容量性能達(dá)到最優(yōu),提供最佳數(shù)據(jù)彈性和系統(tǒng)可靠性及數(shù)據(jù)保護(hù)。