謝長(zhǎng)生：全方位滲透的閃存技術(shù)
[導(dǎo)讀]在上午的主題演講中，已經(jīng)受邀參加美國閃存峰會(huì)的武漢光電國家實(shí)驗(yàn)室的謝長(zhǎng)生主任為了支持我們中國的閃存事業(yè)，特別為我們中國閃存峰會(huì)加了一場(chǎng)演講。
2015年8月5日，由DOIT傳媒和存儲(chǔ)在線聯(lián)合主辦的2015中國閃存峰會(huì)在北京盛大開幕。本次峰會(huì)以“閃存加速數(shù)據(jù)經(jīng)濟(jì)變革——顛覆方式和速度”為主題，超過 500位各行業(yè)用戶代表，數(shù)十位頂級(jí)學(xué)者、產(chǎn)業(yè)精英和技術(shù)專家出席，以圓桌討論和主題演講等形式，從不同角度深入探討“閃存加速數(shù)據(jù)經(jīng)濟(jì)變革”這一話題。
在上午的主題演講中，已經(jīng)受邀參加美國閃存峰會(huì)的武漢光電國家實(shí)驗(yàn)室的謝長(zhǎng)生主任為了支持我們中國的閃存事業(yè)，特別為我們中國閃存峰會(huì)加了一場(chǎng)演講。
以下為演講實(shí)錄
謝長(zhǎng)生：大家上午好!感謝主辦方的邀請(qǐng)。我今天講的題目是全方位滲透的閃存技術(shù)。本來我們要參加下周美國的閃存峰會(huì)是比較技術(shù)的，但是主辦方說應(yīng)該講全面一點(diǎn)，不要太技術(shù)，所以我們把PPT通俗化了一點(diǎn)。借用華為公司的概念云管端，閃存在端這一邊已經(jīng)占據(jù)了統(tǒng)治地位，在云這端全面滲透。今天我們今天全方位滲透的閃存技術(shù)主要注重云和企業(yè)級(jí)這一端。
我想和硬盤做一個(gè)對(duì)比，這樣就對(duì)我們閃存歷史有一個(gè)深刻的認(rèn)識(shí)。1956年IBM發(fā)明了一個(gè)硬盤，暫時(shí)還是海量數(shù)字信息存儲(chǔ)的主角。我們信息有多大比例存到硬盤呢?70%-80%都在硬盤中。所以硬盤在人類信息革命中的功勞是大大的。核心技術(shù)之一獲得了諾貝爾獎(jiǎng)，這就是對(duì)硬盤地位充分的肯定。
1984年東芝公司發(fā)明的閃存，正在存儲(chǔ)領(lǐng)域全方位滲透，即將成為數(shù)字信息存儲(chǔ)的第一主角。現(xiàn)在的主角還是硬盤，但是閃存即將成為第一主角，目前正是發(fā)展的方興未艾的時(shí)期，閃存對(duì)信息革命的重要性也將和硬盤一樣載入史冊(cè)。
硬盤主要的優(yōu)點(diǎn)就是容量大，我們現(xiàn)在推出來的最大的硬盤是10個(gè)TB，2016年，明年產(chǎn)生的數(shù)據(jù)，如果只是其中的25%要存下來的話，要用到2億個(gè)硬盤，硬盤的優(yōu)點(diǎn)就是容量大，它也有缺點(diǎn)，一個(gè)是能耗大，它是機(jī)械的老轉(zhuǎn)。僅僅在Idling狀態(tài)也有1watt，如果是5年的話就會(huì)產(chǎn)生39p焦耳的能量，效果800萬噸的二氧化碳，數(shù)據(jù)中心很大一部分能耗被硬盤消耗掉了。
硬盤的應(yīng)用層面從筆記本、桌面機(jī)、服務(wù)器及集群、企業(yè)陣列、虛擬帶庫包括歸檔也用到了硬盤?，F(xiàn)在有一種Made(音譯)技術(shù)，大量硬盤存儲(chǔ)數(shù)據(jù)，不用的時(shí)候硬盤都是停著的。
硬盤受到了閃存巨大的挑戰(zhàn)。數(shù)據(jù)存儲(chǔ)到內(nèi)存到事務(wù)處理，到備份，到歸檔，這么多層次，我們可以在三個(gè)層次發(fā)現(xiàn)應(yīng)硬盤，事務(wù)處理、備份、歸檔。但是4個(gè)層次都可以發(fā)現(xiàn)閃存，第一層有閃存，第二層有閃存，第三、第四層都有閃存，所以叫全面滲透。
我們看看各類存儲(chǔ)器訪問延遲特性是這樣的。硬盤最慢容量最大，我們閃存在這塊，在非易失存儲(chǔ)器還有PCM在它快一些，速度從1ns到35ns之間，這是很快的存儲(chǔ)器。我們以這個(gè)為分界線，這邊叫Memory，這邊叫Storage。我們閃存也可以往這邊走作為Memory用，也可以往這邊走作為Storage。我們看一下閃存全方位滲透是什么樣的情況?
最上層Memory這塊，現(xiàn)在有存儲(chǔ)級(jí)內(nèi)存的概念SCM。目前處于學(xué)術(shù)研究向產(chǎn)業(yè)轉(zhuǎn)移的過程，已經(jīng)剛剛有產(chǎn)品出來了。下面這層是大家比較熟悉的，從速度高到速度低，一個(gè)是PCIe的存儲(chǔ)卡和盤，很多企業(yè)都推出來了這些產(chǎn)品。SSD固態(tài)盤有SAS、SATA，剛才幾個(gè)公司都推出了這種產(chǎn)品。在系統(tǒng)上有全閃存的陣列，有SSD陣列，現(xiàn)在陣列用SSD代替過去的硬盤，在軟件上針對(duì)SSD做優(yōu)化提高性能。還有非總線架構(gòu)陣列，不是用一塊一塊的固態(tài)盤，而是用閃存顆粒專門對(duì)性能做優(yōu)化，通過互聯(lián)交換式的結(jié)構(gòu)，可以達(dá)到更高的性能。還有混合陣列，用部分的閃存，用部分的硬盤混合起來，得到一個(gè)性能接近全閃存陣列，但是成本又很低的陣列，這個(gè)也是一個(gè)發(fā)展很好的領(lǐng)域。
還有一個(gè)領(lǐng)域就是閃存歸檔，這是一個(gè)還沒有產(chǎn)業(yè)化，但是在學(xué)術(shù)研究和個(gè)別的廠商已經(jīng)開始做這些事情了。消費(fèi)領(lǐng)域已經(jīng)是閃存的天下了。
中間這些層次現(xiàn)在有很多公司推出了很多成熟產(chǎn)品，我就不講了。今天我講一個(gè)存儲(chǔ)級(jí)的內(nèi)存和閃存歸檔，這兩個(gè)剛剛開始產(chǎn)業(yè)化，甚至還沒有產(chǎn)業(yè)化。因?yàn)槲覀冏鰧W(xué)術(shù)研究，要在產(chǎn)業(yè)界之先做一些研究，所以這方面的情況跟大家做一點(diǎn)介紹。
首先是存儲(chǔ)級(jí)內(nèi)存SCM。什么是存儲(chǔ)級(jí)內(nèi)存呢?我們說一個(gè)理想的狀況，我們說理想，人類要實(shí)現(xiàn)共產(chǎn)主義，最理想的情況是什么樣的?存儲(chǔ)最理想的狀況是什么呢?容量和硬盤一樣大，價(jià)錢和磁盤一樣便宜，又快又大又便宜，還有非易失的，如果有這種存儲(chǔ)芯片出現(xiàn)的話，我們外存就不要了，就全是內(nèi)存了，所有的信息都在內(nèi)存里了，而且可以直接訪問到，這就是一個(gè)存儲(chǔ)級(jí)內(nèi)存最理想的情況，如果有這種情況下，我們整個(gè)計(jì)算機(jī)存儲(chǔ)系統(tǒng)結(jié)構(gòu)就完全改變了，這一天還很遙遠(yuǎn)，就像共產(chǎn)主義對(duì)我們?nèi)祟惿鐣?huì)還比較遙遠(yuǎn)一樣。但是我們要用現(xiàn)有的器械近似實(shí)現(xiàn)這種性能，這種理想?，F(xiàn)在存儲(chǔ)級(jí)的內(nèi)存，實(shí)際上就是這么一個(gè)接近于實(shí)現(xiàn)這個(gè)理想的技術(shù)。
我們看一下，我們現(xiàn)在是這樣的，CPU訪問內(nèi)存，現(xiàn)在有閃存，有STT這些。我們要實(shí)現(xiàn)我們的理想，如果我們所有的數(shù)據(jù)都是在內(nèi)存里，會(huì)比外存調(diào)到內(nèi)存再訪問快得多，而且也節(jié)能得多。我們DRAM不停刷新，我們把所有東西放在內(nèi)存，能耗也是非常大的?，F(xiàn)在我們要用比較現(xiàn)實(shí)的閃存，加上我們現(xiàn)在新出現(xiàn)的，但是比較貴的，但是很小，又比較快的存儲(chǔ)器。我們進(jìn)行組合，通過訪問的局部性和軟件的調(diào)度和硬件的調(diào)度，使它近似，最后看起來很美，看起來是一個(gè)又快又大又便宜的存儲(chǔ)器，在內(nèi)存實(shí)現(xiàn)，這就是存儲(chǔ)器內(nèi)存的做法。
現(xiàn)在有幾個(gè)工作，可以提一下，IBM在瑞士蘇黎世研究所做的存儲(chǔ)器的內(nèi)存，就是flash+PCM。訪問的時(shí)候，內(nèi)存還按內(nèi)存訪問，這樣比現(xiàn)在的固態(tài)盤提高了200多倍的速度。第二個(gè)工作PMC公司可以提供8TB容量的存儲(chǔ)級(jí)內(nèi)存，隨機(jī)4KB讀的IOPS可以達(dá)到875000次。還有一個(gè)工作已經(jīng)商業(yè)化了，Diablo公司TERADIMM，采用的是flash+DRAM，組合成了插在內(nèi)存總線上的模塊的話，隨機(jī)IOPS可以達(dá)到1.2M，這是讀，寫IOPS可以達(dá)到520K，這是一塊卡的性能。通過我們的閃存和一些高速但是比較貴的截至組合起來形成了一個(gè)接近共產(chǎn)主義理想的性能，這是閃存在存儲(chǔ)級(jí)內(nèi)存上的應(yīng)用。
第二個(gè)現(xiàn)在還沒有產(chǎn)業(yè)化，包括我們實(shí)驗(yàn)室也在研究，就是歸檔這層，歸檔都是很便宜的，保存更長(zhǎng)時(shí)間。歸檔的數(shù)據(jù)特征主要存冷數(shù)據(jù)，我們經(jīng)常用的數(shù)據(jù)叫熱數(shù)據(jù)，很少被更新的數(shù)據(jù)叫冷數(shù)據(jù)，這個(gè)冷數(shù)據(jù)占數(shù)據(jù)的80%以上，現(xiàn)在大數(shù)據(jù)時(shí)代，數(shù)據(jù)越來越多，越來越積累，積累的數(shù)據(jù)，很大一部分，剛開始很熱，后來就冷了，但是也不能丟掉，說不定大數(shù)據(jù)挖掘還有用?，F(xiàn)在歸檔數(shù)據(jù)，很多文件，要求這些保存3年，5年，甚至有一些要保存50年以上，凡是跟人的壽命有關(guān)系的，要一輩子保存的，健康數(shù)據(jù)、醫(yī)療檔案、社保、銀行數(shù)據(jù)要保存50年以上。我們現(xiàn)在的技術(shù)對(duì)保存歸檔數(shù)據(jù)還是有問題的。歸檔數(shù)據(jù)有一個(gè)特點(diǎn)，只寫一次，寫了一次以后不要改了，被讀多次，長(zhǎng)期保存，規(guī)模巨大。主流有三種，一種是磁帶庫，一種是硬盤柜，還有日本、Facebook用光存儲(chǔ)介質(zhì)做，光存儲(chǔ)介質(zhì)壽命更長(zhǎng)，可以達(dá)到100年。但是我們的硬盤基本上平均壽命就是5年，你要保持50年要導(dǎo)10次。
現(xiàn)在對(duì)歸檔有了一個(gè)新的要求，我們把很多東西放進(jìn)來，雖然讀的次數(shù)很少，但是可以很快讀出來。比如說個(gè)人信息查詢，醫(yī)療數(shù)據(jù)的查詢，大數(shù)據(jù)分析，大數(shù)據(jù)分析的時(shí)候，要很快把數(shù)據(jù)讀出來，這樣現(xiàn)在的這幾種，機(jī)械式的硬盤、光盤、磁帶都滿足不了這個(gè)特性。能不能用固態(tài)存儲(chǔ)，就是主流閃存做歸檔呢?我們看一下國際、國內(nèi)都有一些人做嘗試。國外Facebook用閃存做歸檔的研究，我們國內(nèi)有一些大學(xué)實(shí)驗(yàn)室做，國內(nèi)公司內(nèi)部也開始做研發(fā)。做歸檔容量一定要上來，閃存的容量有了很快速的進(jìn)步，今年已經(jīng)到了12納米，一方面是線寬的降低，一方面是3D，2015年做到32層，明年可以做到48層，三星在這方面是領(lǐng)先的。
線寬越來越降低，3D技術(shù)普遍采用，在十三五規(guī)劃中也規(guī)劃了3D閃存的布局?？赡軙?huì)在武漢批量生產(chǎn)3D flash，將來會(huì)是1個(gè)PB。容量越來越大，但是價(jià)格越來越降低。紅的是硬盤，到某一個(gè)時(shí)候閃存也會(huì)到達(dá)這個(gè)價(jià)格，下面這個(gè)是磁帶，磁帶非常低，這個(gè)點(diǎn)不久就會(huì)到來，這上面寫的是2023年，但是實(shí)際上我認(rèn)為不會(huì)那么久，閃存的價(jià)格降低，這個(gè)趨勢(shì)就使我們可以把它作為歸檔的一種選擇，因?yàn)樗懈玫男阅堋?/p>
從性能上來說，它的進(jìn)步是最快的，最上面是它的性能的增長(zhǎng)，第二條是磁帶的性能增長(zhǎng)，而硬盤的性能增長(zhǎng)是非常慢的，所以閃存性能增長(zhǎng)是最快的。我們現(xiàn)在把閃存做歸檔，遇到的一個(gè)問題是什么?是它的壽命。因?yàn)楝F(xiàn)在閃存是靠保持電荷維持信息，慢慢漏，漏沒了信息保存不長(zhǎng)，時(shí)間保存的持久性是閃存的弱點(diǎn)。STC持續(xù)時(shí)間1年，TLC只有半年，歸檔有一個(gè)好處，只要寫一次，所以我們可以看到，寫的次數(shù)要求不是很高，歸檔和在線應(yīng)用不一樣，在線應(yīng)用一秒寫很多次，歸檔就是寫一次就要變了。密度越高，寫次數(shù)越少，但是容量越高。比如說TLC只能保持1年，但是過了7、8個(gè)月再重寫一次，又可以保持一年，這樣可以寫5千次的話，按照這個(gè)理論，可以保存五千年了，不斷給它更新、刷新一下就可以了。缺點(diǎn)，由于我們保存的是歸檔數(shù)據(jù)，只要寫一次就夠了，我們刷新它，隔十個(gè)月刷新一次，這樣就可以滿足我們的歸檔的需求，所以這是我們基本的觀察。
我們?cè)O(shè)計(jì)一個(gè)數(shù)據(jù)刷新策略就可以了，我們看看是不是快到了數(shù)據(jù)不太可靠的時(shí)間，我們就把它刷新一次，這樣控制器設(shè)計(jì)很簡(jiǎn)單，只是像磁帶一樣往里面?zhèn)浞荩覀儾恍枰紤]那么復(fù)雜的算法，現(xiàn)在我們就做了一些這樣的設(shè)計(jì)，給大家做一個(gè)簡(jiǎn)單的介紹。
這個(gè)和我們普通的陣列大體是相似的，我們把單位以塊的形式，因?yàn)檫@個(gè)比較簡(jiǎn)單，我們只是往里歸檔的話，垃圾回收環(huán)節(jié)就不要了，因?yàn)榉磸?fù)改寫才會(huì)產(chǎn)生垃圾，寫一次就可以了，所以把垃圾回收去掉，但是我們加一個(gè)數(shù)據(jù)更新的環(huán)節(jié)，刷新的環(huán)節(jié)，磨損這些還要，有了這樣的結(jié)構(gòu)以后，我們?cè)O(shè)計(jì)一些算法，我們基于塊的FTL設(shè)計(jì)，基于時(shí)間戳的刷新策略，有了這些就有了新的歸檔系統(tǒng)。這個(gè)新的歸檔系統(tǒng)和現(xiàn)有的系統(tǒng)有什么不一樣，隨著閃存價(jià)格的降低，最終可以達(dá)到和硬盤差不多的成本，但是好處，在未來大數(shù)據(jù)分析的時(shí)候，會(huì)很快把歸檔的數(shù)據(jù)讀出來，這是非常有用的特性。有了這樣的特性形成了新的歸檔設(shè)備。我想這個(gè)會(huì)在未來幾年內(nèi)會(huì)有產(chǎn)品出現(xiàn)，現(xiàn)在還在實(shí)驗(yàn)室，個(gè)別的企業(yè)也在實(shí)驗(yàn)室做。有一些工程性的樣機(jī)，但是我想未來一定會(huì)出現(xiàn)這樣的產(chǎn)品。
閃存經(jīng)過30年的發(fā)展，即將成為數(shù)據(jù)存儲(chǔ)的第一主角?，F(xiàn)在A角還是硬盤，馬上我們的閃存就要成為A角了。閃存已經(jīng)全方位滲透到數(shù)據(jù)存儲(chǔ)的各個(gè)層次，在主存、事務(wù)處理、備份、歸檔層次都找到了優(yōu)于現(xiàn)在介質(zhì)的特性，形成了新的產(chǎn)品形態(tài)。新一代非易失存儲(chǔ)器已經(jīng)出現(xiàn)了，但是這些新出現(xiàn)的存儲(chǔ)器目前還是一個(gè)很新鮮的事物，就像30多年閃存剛出現(xiàn)一樣，它有更好的特性，但是要取代閃存還需要花時(shí)間，我想至少是10年以上，才能慢慢走向主角，現(xiàn)在剛剛露頭，好謝謝大家!
欲知更多關(guān)于2015中國閃存峰會(huì)的精彩內(nèi)容請(qǐng)點(diǎn)擊查看閃存峰會(huì)全程直播報(bào)道專題。
熱點(diǎn)文章
微信公眾平臺(tái)：搜索"doitmedia"
或掃描下面的二維碼：
