紫光西部數(shù)據(jù)有限公司高級(jí)產(chǎn)品經(jīng)理田成
以下為嘉賓演講實(shí)錄:
這是一個(gè)數(shù)據(jù)大爆發(fā)的時(shí)代,人工智能,AI,包括現(xiàn)在增強(qiáng)虛擬現(xiàn)實(shí)都是比較新的技術(shù),Docker最近炒的非?;?,因?yàn)樗苡锌赡苋〈F(xiàn)在非?;鸬奶摂M主機(jī)技術(shù),當(dāng)然這只是大家的一個(gè)想法,但目前來看虛擬主機(jī)在主流行業(yè)當(dāng)中還是占據(jù)非常主導(dǎo)的地位,那Docker憑什么能夠取代虛擬主機(jī),這個(gè)是值得大家思考的問題。
我的體會(huì)是它作為一個(gè)新興技術(shù)是怎么樣充分滿足用戶新需求,我們就先說一下虛擬主機(jī),大家都很熟悉,你買一臺(tái)物理主機(jī),安裝相應(yīng)的一些軟件,就可以把這臺(tái)主機(jī)虛擬成多臺(tái)虛擬主機(jī),你會(huì)在不同的虛擬主機(jī)上不同的OS在上面,這就是虛擬主機(jī)的概念。但是Docker完全顛覆了這個(gè)概念,大家在同一個(gè)物理主機(jī)里面共享OS(操作系統(tǒng))層,這樣可以給客戶帶來幾大好處,第一OS層省掉了,我啟動(dòng)一個(gè)Docker,它的速度就變得非???,以前啟動(dòng)一個(gè)OS速度是分鐘級(jí),對(duì)于Docker來說它是秒級(jí)啟動(dòng),我在給一個(gè)用戶部署一個(gè)應(yīng)用的時(shí)候,幾乎是不需要花時(shí)間,就能夠把這個(gè)應(yīng)用完全啟動(dòng)起來。這個(gè)技術(shù)帶來的,我們現(xiàn)在有個(gè)中文名稱叫容器技術(shù),容器技術(shù)給大家?guī)淼母淖兪欠浅>薮蟮摹?/p>
一些比較大型的銀行業(yè),他們現(xiàn)在已經(jīng)非常深入的在研究容器技術(shù),其中最主要的就是Docker技術(shù),研究這個(gè)容器技術(shù)的時(shí)候把握了幾個(gè)點(diǎn),如果大家做過傳統(tǒng)銀行業(yè)務(wù),你會(huì)發(fā)現(xiàn)它的運(yùn)營(yíng)部門和開發(fā)部門是兩個(gè)完全獨(dú)立的部門,兩個(gè)部門之間會(huì)有一個(gè)溝通的橋梁,如果這個(gè)溝通橋梁做的不好的情況下,這時(shí)候開發(fā)速度也好,上線速度也好都會(huì)變得非常非常緩慢。
我們知道一家傳統(tǒng)的銀行系統(tǒng)至少都是一個(gè)上百級(jí)的應(yīng)用,如果我們?cè)谏习賯€(gè)應(yīng)用里面,每一個(gè)應(yīng)用開發(fā)速度都是以月為周期作為單位的話,那這個(gè)開發(fā)進(jìn)度是不可想象的,所以銀行業(yè)決定變革,怎么變革,他們充分運(yùn)用新的技術(shù),新的容器技術(shù)或者新的開發(fā)理念能夠加快從開發(fā)測(cè)試到上線的時(shí)間和速度,我之前的一些經(jīng)歷表示,一個(gè)新的系統(tǒng)上線現(xiàn)在已經(jīng)縮短到以周或者以天為計(jì)算單位,這種變革實(shí)際上是發(fā)生在我們每一個(gè)人的周圍,大家都是做IT的,也都是做存儲(chǔ)的,這種變化我們生活當(dāng)中已經(jīng)非常深刻的領(lǐng)會(huì)到了。
我之前還做過一些項(xiàng)目,比如跟智能工廠,智能物聯(lián)網(wǎng)相關(guān)的比較大型的項(xiàng)目,這些項(xiàng)目的共同特點(diǎn)跟我們過去的想法完全不一樣,過去是什么想法呢,我按一個(gè)訂單,比如我生產(chǎn)汽車,這個(gè)汽車我生產(chǎn)出來什么顏色,用戶就只能購(gòu)買這個(gè)顏色,現(xiàn)在汽車生產(chǎn)方式已經(jīng)變成了訂單化的生產(chǎn)模式,我要什么顏色會(huì)生產(chǎn)出什么顏色,我們能夠不停的發(fā)現(xiàn)數(shù)據(jù)的變革,也是用戶需求的變革,這就是我的主題,這是一個(gè)數(shù)據(jù)爆發(fā)的時(shí)代。
既然有這么大量的數(shù)據(jù)存在,必然就會(huì)有一些數(shù)據(jù)是快數(shù)據(jù),什么叫快數(shù)據(jù),交易類型的數(shù)據(jù),建模數(shù)據(jù),智能工廠的數(shù)據(jù),這些快數(shù)據(jù)對(duì)數(shù)據(jù)的要求就是IO的速度一定要快,它的性能一定要高,它的延遲一定要低。有快數(shù)據(jù)的同時(shí)還會(huì)有一些溫?cái)?shù)據(jù)或者慢數(shù)據(jù),什么樣的數(shù)據(jù)是溫?cái)?shù)據(jù)或者是慢數(shù)據(jù)呢,比如說我們要做一些分析,要做一些預(yù)測(cè),要做一些合規(guī)的數(shù)據(jù),這個(gè)數(shù)據(jù)我們叫慢數(shù)據(jù)或者溫?cái)?shù)據(jù),這個(gè)數(shù)據(jù)的特別就是容量非常高,高容量的數(shù)據(jù)。所以我們現(xiàn)在的數(shù)據(jù)業(yè)務(wù)特點(diǎn)從我現(xiàn)在的歸納來看主要分為兩大塊,一個(gè)是對(duì)性能要求很高的數(shù)據(jù),一個(gè)對(duì)容量要求很高的數(shù)據(jù),看似是兩個(gè)矛盾的東西,我們能不能整合在一起,這是我們今天要討論的重點(diǎn)話題。
剛才提了數(shù)據(jù)的多樣性,我們來看一下不同的數(shù)據(jù)介質(zhì)能夠帶來什么樣的結(jié)果,我們的CPU,有緩存一二三級(jí),這個(gè)CPU是作為數(shù)據(jù)處理終極介質(zhì),處理速度非常快,是以納秒級(jí)的速度處理。這個(gè)是我們常用的內(nèi)存還有NAND的存儲(chǔ)介質(zhì),容量比CPU高一些,但是速度降低,以毫秒級(jí)為計(jì)算單位。再往上就是FLASH,我們已經(jīng)能做到7.68TB,這個(gè)容量已經(jīng)非常大了,以至于我們現(xiàn)在普通的HDD可能都比不上,最后就是我們普通的硬盤,它的容量是逐漸上升的,速度是逐漸下降的,成本也是逐漸下降的,我們對(duì)數(shù)據(jù)不同的介質(zhì)給我們帶來的好處是不一樣的,怎么通過不同的介質(zhì)最終使整個(gè)系統(tǒng)有效的運(yùn)行下來。
我們就需要考慮幾個(gè)話題,一個(gè)就是存儲(chǔ)介質(zhì)的性能是不是足夠好,有幾個(gè)指標(biāo),IOPS、延遲和帶寬,作為存儲(chǔ)最基本的指標(biāo)我們應(yīng)該了解,這個(gè)數(shù)據(jù)存儲(chǔ)設(shè)備是不是能夠滿足性能的要求。
第二點(diǎn)就是可靠性,因?yàn)槲覀冎雷鰯?shù)據(jù)存儲(chǔ)最關(guān)鍵的就是可靠性,我們有沒有相應(yīng)的內(nèi)存的保護(hù)機(jī)制,緩存如果失效了,我們是不是能夠把緩存的信息及時(shí)的保存下來,有沒有雙活的架構(gòu),你的架構(gòu)設(shè)計(jì)是不是雙活的,一個(gè)控制器失效,另外一個(gè)控制器是不是能接著工作。第三有沒有一個(gè)完整的數(shù)據(jù)完整性的保護(hù)措施。然后是效率,我們都會(huì)關(guān)心數(shù)據(jù)精簡(jiǎn),元數(shù)據(jù)加速,應(yīng)用程序集成,統(tǒng)一管理,第四就是特性,你這個(gè)存儲(chǔ)設(shè)備是不是能夠?qū)崿F(xiàn)多協(xié)議訪問。最后一點(diǎn)就是你這個(gè)存儲(chǔ)設(shè)備是不是具有足夠的經(jīng)濟(jì)性,是不是夠便宜,是不是能夠買得起,你的介質(zhì)是不是具有自適應(yīng)的特性,這些都是我們對(duì)一個(gè)存儲(chǔ)系統(tǒng)所需要關(guān)注的幾個(gè)點(diǎn)。
一款存儲(chǔ)設(shè)備,是內(nèi)存優(yōu)先的一個(gè)存儲(chǔ)架構(gòu),我們數(shù)據(jù)在讀取的時(shí)候,是優(yōu)先把數(shù)據(jù)存在內(nèi)存里面,那怎么在內(nèi)存里面對(duì)數(shù)據(jù)進(jìn)行處理,這是我們非常關(guān)注的一個(gè)話題,我們后面會(huì)有詳細(xì)的解釋。再往下存,就是我們剛才提的flash硬盤還有普通的硬盤,這幾者之間是什么關(guān)系,我們數(shù)據(jù)進(jìn)來以后首先經(jīng)過內(nèi)存,然后經(jīng)過非適應(yīng)性內(nèi)存,DRAM在這里面起到什么作用,一旦緩存的數(shù)據(jù)失效了,它能夠有效的保護(hù)或者保存數(shù)據(jù),這個(gè)也是我們西部數(shù)據(jù)的一個(gè)創(chuàng)新點(diǎn)。
怎么做到極速性能提升,我們來看一下,左邊這個(gè)是傳統(tǒng)的存儲(chǔ)設(shè)備,兩個(gè)完全混雜在磁盤里面,這樣有個(gè)問題,使整個(gè)IO訪問速度非常受限,右面是現(xiàn)在我們做的。剛才提到了企業(yè)特性,就是我們作為存儲(chǔ)系統(tǒng)常用的在線壓縮和重刪,在我們紫光西部數(shù)據(jù)里面,壓縮和重刪有一點(diǎn)不一樣,數(shù)據(jù)進(jìn)來之后首先進(jìn)行在線的壓縮,直接在內(nèi)存或者緩存里面做壓縮,壓縮以后再做重刪,重刪的數(shù)據(jù)還是保留在內(nèi)存里面,通過數(shù)據(jù)精簡(jiǎn)提高整個(gè)緩存或者閃存利用率,我們數(shù)據(jù)進(jìn)來以后首先就能看到有哪些數(shù)據(jù)被保留下來了,能夠?qū)崿F(xiàn)整體的數(shù)據(jù)性能的提升。
這個(gè)是應(yīng)用在不同的應(yīng)用場(chǎng)景,有非結(jié)構(gòu)化數(shù)據(jù),還有一些消息、社交、虛擬化、桌面、分析、交易之類的,所有的這些應(yīng)用都可以通過這一個(gè)設(shè)備實(shí)現(xiàn)。為什么能夠?qū)崿F(xiàn),是因?yàn)樗蟹浅XS富的企業(yè)級(jí)特性,有全面的數(shù)據(jù)完整性,有元數(shù)據(jù)加速,有智能的緩存,有通過簡(jiǎn)單的滑塊實(shí)現(xiàn)硬盤的對(duì)比,還有多協(xié)議的數(shù)據(jù)訪問,因?yàn)樗梢灾С址墙Y(jié)構(gòu)化數(shù)據(jù),一些最基本的閃存系統(tǒng)的功能我們都有。
謝教授是專門研究閃存持久性的,大家知道閃存是有壽命的,什么樣的情況下我們能夠使閃存的持久性保存的更好,肯定要用一個(gè)非常先進(jìn)的算法來實(shí)現(xiàn),這個(gè)算法就是我們現(xiàn)在OS的核心,可以采用大數(shù)據(jù)塊寫入的方式,或者順序的寫入方式,實(shí)現(xiàn)整個(gè)閃存長(zhǎng)久的使用。上午有的廠商提到我們的閃存可以使用100年,我也可以承諾我們閃存的持久性可以達(dá)到100年。
我們承諾數(shù)據(jù)縮減達(dá)到4:1的比例,這個(gè)是史無前例的,全閃和混閃都有,這個(gè)不是所有廠商都能做到的。第二個(gè)我們能夠承諾全閃性能達(dá)到或者接近100萬IOPS,時(shí)延能夠達(dá)到0.1毫秒。這個(gè)是我們實(shí)驗(yàn)室的實(shí)測(cè)數(shù)據(jù),所以我們也敢在這個(gè)地方給大家做一個(gè)承諾。全承諾,真賠償,我們不是做廣告,我們是在這邊會(huì)有一個(gè)正式的承諾給到大家,如果有合作伙伴或者是廠商對(duì)這個(gè)承諾感興趣,可以直接找我們銷售,銷售會(huì)告訴大家怎么做這個(gè)承諾,怎么做這個(gè)賠償。
上午胡總也發(fā)布了一個(gè)新產(chǎn)品,其實(shí)就是基于NVMe新的全閃存儲(chǔ)產(chǎn)品,我在這邊強(qiáng)調(diào)一點(diǎn),我們?cè)贜VMe全閃存儲(chǔ)里面我們是第一家可以支持統(tǒng)一存儲(chǔ)的,我們支持任意的結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。第二點(diǎn)我們是統(tǒng)一的軟件平臺(tái),我們的NVMe這個(gè)平臺(tái)跟普通的平臺(tái)用的是同一個(gè)軟件,也就意味著用戶使用起來的時(shí)候不會(huì)感覺到任何不方便,因?yàn)樗氖褂昧?xí)慣完全都是一樣的。最后一個(gè)很重要,支持企業(yè)級(jí)全特性,剛才提到的克隆、快照、復(fù)制之類的所有的企業(yè)級(jí)特性在我們現(xiàn)在這塊全部都能提供。紫光西部數(shù)據(jù)在一年之前成立這家公司,最早的目的就是能夠把世界上最先進(jìn)的存儲(chǔ)和磁盤產(chǎn)品帶給大家,所以我相信一年以后我們也會(huì)秉承這個(gè)理念,能夠把最新產(chǎn)品和最新的技術(shù)帶給大家或者帶給合作伙伴,或者客戶。最后,紫光西部數(shù)據(jù)我們雖然是一家新成立的公司,但是我們是一家具有開拓性和創(chuàng)新性的公司,我們希望通過這款創(chuàng)新的閃存系統(tǒng)能夠幫助客戶全面實(shí)現(xiàn)業(yè)務(wù)轉(zhuǎn)型,謝謝大家。