在當天下午舉行的“云生態(tài)下的閃存加速創(chuàng)新”分論壇上,存儲領域知名研究者西瓜哥發(fā)表了主題演講,他從第三方市場機構、用戶、廠商以及自身的研究角度,對全閃陣列的歷史、現(xiàn)狀與發(fā)展進行了闡述。西瓜哥表示,未來閃存的價格繼續(xù)下降,企業(yè)生產數(shù)據(jù)都會放在傳感器上。但是真正的歸檔和備份,能不能以后也要利用,主要就是看它的發(fā)展。預計到2020年前后,所有生產業(yè)務會邁進全閃存時代。
以下為演講實錄。
我叫西瓜哥,他們叫我CHO。今天下午技術的東西不多,主要就是忽悠的。今天這堂就是聽我研究的結果,我給大家提供數(shù)據(jù)。我今天的內容分幾方面,AFA定義、演進、市場、技術、未來。
全閃存的定義,業(yè)界沒有標準的定義,有一個定義是演進。2014年Gartner出了固態(tài)陣列的固態(tài)象限,為什么不用全閃存的陣列定義呢?它認為現(xiàn)在閃存目前是主流的形態(tài),但是以后可能會有相變存儲,可能會有新的固態(tài)介質,覺得陣列名字有點窄,為了以后發(fā)展用了SSA的定義,就是固態(tài)陣列的定義。它和IDC認為這樣的陣列不能接磁盤,必須得全部配合閃存,作為獨立的產品進行銷售。原來很多的廠商有混合陣列,可以配閃存,但是都不算在里面的。
IDC的定義,IDC叫AFA。現(xiàn)在的固態(tài)陣列說白了基本都是閃存,幾年前個別用RAID,以后能怎么講不好說,但是IDC定義有變化。IDC要求陣列產品只能配閃存的,但是它還有一個要求,從血緣上講有三種類型。第一種類型就是這個陣列天生是為閃存設計的,第二種類型這些陣列是核陣列改造的,但是會有一定的優(yōu)化。惠普對全閃存的陣列,它的控制器和內存和CPU更強大一些。第三個類型是全閃存配置,這是IDC新加的類型。我們可以看到IDC分類里面,去年閃存的存儲有服務器,把這樣的全閃存的配置沒有放在AFA理念,它跟全閃存的陣列相比差距沒有那么大。剛開始重刪,壓縮等等性能差了很大,后來發(fā)現(xiàn)這個差距在縮小,甚至有的沒有太大的差距。在新的定義里面,今年5月份重新修改,把全閃存的配置放在AFA里面去。因為把flash算在里面,所以說份額增長的很快。
我把全閃存陣列做了研究,國內華為做的比較早,所以我把它放在里面。08年以后在企業(yè)級的市場閃存用的很少,企業(yè)市場用的都是內存加電磁保護來做的。真正閃存到企業(yè)的高端市場,比較典型的標志就是2008年高端存儲引入。
但是閃存發(fā)展,純閃存陣列的元年我認為是2012年。當時他們推出了純閃存的產品,他們只是打一些性能市場,很多的產品是可靠性是一般的,主要問題性能。國內2012年華為賽門鐵克推出了Dorado,這算國內做的比較早。但是華為后來落后,因為后來閃存的市場中國沒有起來。華為目前國內市場還是大的,但是后來的研發(fā)重心還是切到了國內。
2012年可以看到新的閃存時代,原來講究性能閃存很貴的,但是講究經濟的話我們看到很多的廠商有特點,它們都是支持很強的數(shù)據(jù)疏解功能,一般的時候會重刪,一下子閃存的有效成本降低到5美金以下,所以一下子會把閃存熱潮推向市場,因為有成本的效益。
我們看到2013年Maminaric打破世界紀錄,打破了高端存儲壟斷的要求,標志了純閃存陣列得到了認可。2013年行業(yè)紛紛覺醒,傳統(tǒng)巨頭紛紛推出自己的陣列產品。IBM收購tms。2014年有一個新的標志事件,Gartner發(fā)布報告固態(tài)陣列的象限報告。2015年,我們看到很多的混合陣列廠商把握不住,2014年的時候我也講過了,我也是混合陣列的鼓吹者,我認為混合陣列就夠了。但是現(xiàn)在我發(fā)現(xiàn)由于分析師的定義,分析師不認為混合陣列就可以。這些國際廠商紛紛推出純閃陣列的形態(tài),改變了他們原來的想法。他們想進入市場。未來怎么樣不好說,HDS推出HFS,國內的廠商落后很多。
黃色的三個階段,這是我認為比較重要的三個階段。1.0時代、2.0時代、3.0時代,原來是性能,后來是通用的目的,大家的看法基本上都是差不多的。全閃存的定義,在Gartner像一個爬坡體,需要2-5年的時間會轉到大規(guī)模的應用。它把固態(tài)陣列作為革命性的技術,一共有三個技術,重刪和固態(tài)陣列等。IDC有四個關鍵的技術,閃存是一個。
Gartner最新的報告里面,魔力象限我們可以看到左邊的這是Gartner的研究,會根據(jù)市場的產品影響力和元件有四個象限,EMC、IBM、惠普,國內的話只有華為。右邊的IDC的研究,分法也是類似,分領導者和主要玩家。我們這里面看到的廠商更少一些,主要是國外的廠商,國內的廠商不是很多,每一個圓球代表了市場的份額,而且每一個廠商打著這么一款代表性的產品出來,反映了市場的廠商革命。Gartner還有一個報告固態(tài)陣列對產品的報告,國內的廠商是最低的。報告里可以看到,全閃存陣列的主要業(yè)務場景,在線的處理和數(shù)據(jù)庫的場景,服務一體化,高性能計算,還有分析,VDI等等,這是全閃陣列最主要的場景。把全閃存陣列分了性能、存儲效率、可靠性等等分成了不同的特性,每一個特性有不同的權重需要總分加起來和前方產品排名。閃存陣列性能很重要占90%,可靠性和管理性,這也是超過了兩位數(shù)的,這是報告的內容。我們把紅色標出來,這是廠商認為得分最高的地方,大家可以看一下單項冠軍。
Brand調查公司,這跟市場份額沒有關系。比如說你認為這個市場的領導者是誰?你認為價格的領導者是誰?惠普是性能的領導者,IBM是可靠性的領導者,服務的領導者也是EMC。這是用戶的想法而已,從用戶的角度看問題。
DCIG報告是業(yè)界的爭議比較大,就是根據(jù)閃存陣列的參數(shù),你寫幾個端口,根據(jù)參數(shù)評分,它認為是完全客觀的,沒有任何的問題。每一個權重不一樣,打的分也是不一樣的。我們看到得分跟大家想象的可能不太一樣,比如說惠普得分還是很高的,但是沒有問題。EMC是市場上賣的最貴的,這是根據(jù)規(guī)格功能直接打分打出來的。
我們可以看到全閃存陣列的占比,在全球從2013年有一點,2014年和2015年占比越來越大,增長率特別高,但是目前沒有超過20%,大概是16%左右。我們看到中國的全閃存陣列占比比國外少很多,我們中國的全閃存陣列市場沒有起來,占比上我們就可以看出來。存儲市場中國大中華區(qū)占9%,我們的體量落后整個存儲。但是從EMC全球數(shù)據(jù)來看,它跟高端存儲的比例已經差不多是4:6的比重,體量上講已經完全可以跟高端抗衡。
這是我統(tǒng)計的Q1全球TOP3的情況,EMC、NetApp、HPE是前三。大家看增速,增速比較快的還是前面的三家,我們看到IBM增速慢一些,雖然在增長但是就是慢了一些。我們可以看到協(xié)議的對比,目前用的最多就是手機上和linux。平均的容量售價,十萬美金一套。IDC有報告,全閃存陣列成為主流應用,一個廠商一個產品就可以進入全球TOP10,這是標志性的事件。這是IDC的數(shù)據(jù),這是修訂前和修訂后的對比,預計會保持比較快的增長。
中國2015年火起來,中國全閃存陣列火起來靠中國的股票市場影響,股民交易量上漲,迫于壓力,很多的公司買了全閃存陣列很多,主要就是這個。但是在中國我們看到了均價是十萬美金,賣的比較貴。
全閃存陣列和普通的陣列區(qū)別就是介質不同,我們看到了新的全閃存陣列廠商基于RAID? 2.0技術,閃存先切塊而不是說用RAID傳統(tǒng)的方式。很多的廠商推出了多維的方式,比較明顯的就是閃存的盤里用了一層,閃存硬盤之間又做了一層,這是相對于兩維的東西。EMC做的更好,可以解決很多問題。硬盤越來越大,現(xiàn)在有15PB的,為了怕出事很多的進行校驗?,F(xiàn)在很多的廠商在研究閃存陣列通過全局的GFTL解決性能的問題。作為陣列來講,如果說每一個SSD都自己搞效率很低,如果說全世界搞的話可能會效率提高很多,所以現(xiàn)在很多的廠商在這方面有研究。
閃存跟硬盤是一樣的,都喜歡寫的快,大一些,順序寫,這樣的效率是最好的。并不是說閃存隨機性能很好,但是數(shù)據(jù)寫的更快一些。這個條帶修改的時候,只修改某一個塊怎么辦,我永遠不要修改原來的數(shù)據(jù),主要修改的東西都會重新的寫,我只是把要改的數(shù)據(jù)塊標為不用就可以。這樣的話每一次寫就會很方便,節(jié)省時間。垃圾回收問題,每一個硬盤自己做垃圾回收的話,其實有的時候性能會有抖動,如果說控制的話利用智能算法會避免這些抖動。如果同時垃圾回收就會滿了,如果每次做三個,我自己調動好的話只做三個盤子的垃圾回收,這樣的話系統(tǒng)性能就會錯開,就不會大家一塊做,把垃圾回收的控制觸發(fā)功能放在系統(tǒng)這兒。
冷熱數(shù)據(jù)分離,大家知道我們的源數(shù)據(jù)是很熱的,我們現(xiàn)在的閃存最主要的就是源數(shù)據(jù)。有的時候跟真實的數(shù)據(jù)和冷數(shù)據(jù)分開,不要寫在一個塊里,但是這樣的話垃圾回收的時候會減少工作量。傳統(tǒng)的陣列就是在垃圾回收會做特殊的優(yōu)化,其它的功能我認為和陣列差別不是很大,有一些差別,但是沒有根本的差別。
原來2014年的夢想是混合陣列一統(tǒng)天下,沒有必要做閃存陣列。我覺得閃存陣列優(yōu)化的好,但是不配硬盤就是一個閃存的陣列,這是當時的夢想。但是現(xiàn)在我的觀點有一些變化,男女搭配干活不累?,F(xiàn)在閃存的成本,裸容量的成本很高,所以說沒有必要搞的那么復雜。IDC報告里面我們可以看到,它現(xiàn)在也認可混合陣列性能跟閃存陣列是一樣的。
未來閃存的價格繼續(xù)下降,企業(yè)生產數(shù)據(jù)都會放在傳感器上。但是真正的歸檔和備份,能不能以后也要利用,主要就是看它的發(fā)展。因為壓縮的備份,它對重刪的壓縮不需要實時的,所以說你這個閃存陣列重復壓縮我也是可以支持的。容量上有優(yōu)勢會更加接近,再加上功耗的空間,以后數(shù)據(jù)中心就很方便。2020年左右,所有生產業(yè)務會邁進全閃存時代,備份和歸檔的差距一時半會閃存顆粒還是降不下來。