方敏表示,AI、物聯(lián)網(wǎng)等技術(shù)對于存儲來說是一個(gè)變革的窗口。也正是由于存儲技術(shù)的發(fā)展,SSD、SCM、NVMeoF等這些技術(shù),會加快傳統(tǒng)存儲轉(zhuǎn)向軟件定義存儲,人工智能的發(fā)展促進(jìn)了存儲智能化。
以下是方敏先生演講內(nèi)容摘錄:
方敏:
同有在NVMeSSD這方面,構(gòu)建了自己的全閃存快存儲系統(tǒng)。我們?yōu)槭裁匆鲞@件事,實(shí)際上是有兩個(gè)原因,一個(gè)原因是應(yīng)用的驅(qū)動(dòng),第二個(gè)原因是技術(shù)的驅(qū)動(dòng)。
我們首先看應(yīng)用的驅(qū)動(dòng)是一個(gè)什么概念。十年前,預(yù)測到2016年,年數(shù)據(jù)可以達(dá)到16EB程度。十年過去了,數(shù)據(jù)量在不斷增長,對于傳統(tǒng)存儲企業(yè)來說機(jī)會越來越多,靠存儲吃飯的飯碗應(yīng)該是沒有問題,可以保住的。
十年后我回頭看這個(gè)事情,很多公司做傳統(tǒng)存儲的人慢慢被裁掉了,中間也有自己跳槽轉(zhuǎn)行做分布式存儲的,原因也是因?yàn)樽罱K數(shù)據(jù)的增長,實(shí)際上它是由應(yīng)用的驅(qū)動(dòng)導(dǎo)致的。新的存儲架構(gòu)它是需要滿足應(yīng)用的定義的。那我們先看一下今天IT世界是什么樣子的。
這個(gè)是傳統(tǒng)類型的應(yīng)用,十年的發(fā)展我們可以看到,整個(gè)世界開始往云轉(zhuǎn)變了,云的趨勢已經(jīng)很明顯了,很多變化正在發(fā)生,或者已經(jīng)發(fā)生,或者將來繼續(xù)會發(fā)生,特別是AI?,F(xiàn)在物聯(lián)網(wǎng)的數(shù)據(jù),傳感器的這種數(shù)據(jù)量會越來越大。它會需要實(shí)時(shí)的分析,我們怎么樣去提供一個(gè)平臺級的解決方案,能夠讓它滿足數(shù)據(jù)不斷擴(kuò)展的同時(shí),還可以滿足實(shí)時(shí)分析的需要,這是我們將來可能要解決的問題。
另外是云,我們下面會建存儲系統(tǒng),建在哪兒能達(dá)到最高的性價(jià)比,怎么樣能夠滿足多種需求。所以各種各樣的應(yīng)用,這種驅(qū)動(dòng)導(dǎo)致了我們會產(chǎn)生一些什么樣的問題,第一個(gè)問題就是擴(kuò)展性問題,我們的數(shù)據(jù)量會越來越大,底層的架構(gòu)怎么樣滿足不斷擴(kuò)展數(shù)據(jù)量的需求,我需要?jiǎng)討B(tài)擴(kuò)展,以前的傳統(tǒng)存儲,比如說我今天買了EMC的設(shè)備覺得挺好,一兩年后數(shù)據(jù)量增加了,我該怎么辦,碰到的問題是統(tǒng)一管理。但是應(yīng)用方面的需求,它產(chǎn)品的數(shù)據(jù)量會越來越快,剛才講2016年采用EB的數(shù)據(jù)量,怎么樣解決擴(kuò)展性的問題,這個(gè)是我們第一個(gè)需要解決的問題。
第二個(gè)就是成本問題,因?yàn)镮T結(jié)構(gòu)大家知道,IT是不賺錢的,因?yàn)樗皇侵苯用嫦驊?yīng)用的,實(shí)際上這個(gè)東西你說購了這么多東西,那我的效益在哪呢,我是不是能夠以最小的投入能夠產(chǎn)生最大的效益而滿足我的需求呢,如果是這樣我需要最好的性價(jià)比。
另外一個(gè)是我滿足了性價(jià)比之后,我上面的應(yīng)用又是各種各樣的,我的需求也是各種各樣的,那我怎么樣滿足性能需求呢,我們怎么樣構(gòu)建性價(jià)比好的存儲滿足存儲問題呢。
第三是可管理問題,它是不斷的擴(kuò)展帶來的。我們數(shù)據(jù)量會越來越大,怎么樣去滿足管理上的問題,然后讓這種應(yīng)用的場景更加簡單。實(shí)際上我跟一些運(yùn)營人員交流時(shí),他們說太累了太痛苦了,為什么,一出現(xiàn)問題半夜三點(diǎn)叫起來解決問題,所以就是可管理問題。
所有的這些東西,實(shí)際上現(xiàn)在可以看到,它都是通過分布式的架構(gòu)解決問題,這就是從應(yīng)用的角度來看,我們的分布式架構(gòu),實(shí)際上是一個(gè)比較好的,能夠解決現(xiàn)代應(yīng)用發(fā)展的底層架構(gòu)的技術(shù)問題。
第二個(gè)就是從技術(shù)的角度來看,其實(shí)我們今天在論壇上,講來講去講了很多NVMe SSD。今天早上談了很多AI的技術(shù),所有這一切對于存儲來說,都一個(gè)變革的窗口。就是因?yàn)榇鎯夹g(shù)的發(fā)展,SSD、SCM,還有像NVMeoF這些技術(shù)。NVMeoF將會加快傳統(tǒng)存儲轉(zhuǎn)向軟件定義存儲的趨勢,人工智能的發(fā)展催進(jìn)存儲智能化。
從應(yīng)用的角度和技術(shù)的角度,有一個(gè)畫面展現(xiàn)在我們面前,就是分布式加全全閃,這個(gè)會構(gòu)成一個(gè)系統(tǒng),這個(gè)系統(tǒng)會滿足很多應(yīng)用的需求,提供一種高性價(jià)比,所以我們就在這一塊,同有做了一些努力,也做了一些工作。大家可以看到圖中的柜子,同有在這一塊做了一些工作,你可以看到,這個(gè)是由同友的服務(wù)器組成的,1U 10盤位;All NVMe SSD;單盤容量800G-11T;單節(jié)點(diǎn)IOPS高達(dá)120w。
中國原創(chuàng),完全自主知識產(chǎn)權(quán),性能達(dá)到國際領(lǐng)先水平;多重?cái)?shù)據(jù)保護(hù),安全可靠,易于使用;
無中心的可擴(kuò)展架構(gòu),在性能這一塊我們是做了一些優(yōu)化的。因?yàn)榇蠹抑?,我們在做NVMe SSD的時(shí)候,NVMe SSD它可以提供64K,我們怎么樣能夠充分利用并發(fā)性,提升整個(gè)系統(tǒng)性能,我們重點(diǎn)解決了兩塊的問題。第一塊問題就是我們在線程調(diào)度這一塊,減少了線程相互切換的開銷。第二塊我們在鎖這一塊通過了對內(nèi)技術(shù)的優(yōu)化,減少整個(gè)鎖的開銷。
我們用了NVMe SSD測出來的性能值,大家可以看一下,這個(gè)也是從另外一個(gè)角度給大家說明,NVMe SSD確實(shí)是很不錯(cuò)的,我們測出來IOPS實(shí)際上是SATA SSD的13/28倍,15K HDD的4760/1320。順序帶寬(讀/寫)SATA SSD11/7倍,15K HDD的22/14倍。
這個(gè)是NVMe SSD實(shí)測出來的分布式存儲的系統(tǒng)性能,我們用了四臺存儲結(jié)點(diǎn),每臺存儲節(jié)點(diǎn)1U,配置10塊NVMe硬盤。測出來的4K隨機(jī)結(jié)果IOPS,寫是400萬,讀是500萬。
功能方面,做了靈活的冗余策略,可根據(jù)系統(tǒng)I/O負(fù)載,自動(dòng)調(diào)整修復(fù)速率。系統(tǒng)工作時(shí)減少對正常業(yè)務(wù)的沖擊,系統(tǒng)空閑時(shí)以最大速率修復(fù),降低數(shù)據(jù)丟失風(fēng)險(xiǎn)。
另外一個(gè)就是日志過濾技術(shù)。因?yàn)槲覄偛胖v到我們在做分布式架構(gòu),有個(gè)優(yōu)勢,將來需要解決的問題,就是我們在管理這一塊的話,我們需要能夠減少運(yùn)維人員的痛苦。我們這里有遠(yuǎn)端的日志過濾技術(shù),我們可以設(shè)置不同的日志級別,還有日志的速率,讓它決定哪些日志是關(guān)鍵的,這樣對于他來說關(guān)鍵信息立馬可以把握住,不是關(guān)鍵的信息還要半夜三天叫起來去現(xiàn)場維護(hù)。
下面我講一下服務(wù)器虛擬化/VDI應(yīng)用。第一個(gè)我們會支持云管理平臺Vmware的vCenter。我們發(fā)現(xiàn)通過兩個(gè)節(jié)點(diǎn)的集群就可以很輕松的支持一千個(gè)VAAI的使用。優(yōu)點(diǎn)是分布式存儲(Server SAN),性能優(yōu)異。
最后和前面呼應(yīng)一下,如果大家對我們分布式全閃存、快存儲有興趣可以去展臺看一下。最后謝謝大家。