以下為速記內容,未經演講人確認:
昨天我的同事講了一些閃存SAN存儲的發(fā)展和趨勢方向,我的話題會進行一些延展。這是過去幾年計算和數據的發(fā)展,計算的發(fā)展近幾年非常的緩慢;在閃存出現之前,最近五年存儲的發(fā)展也是非常緩慢的。所以昨天雖然講到,對計算來說,發(fā)生巨大的變革,這個變革就是以CPU為中心轉變到以內存為中心。過去,在每臺服務器上有很多的CPU,CPU與內存的通信是,不同的業(yè)務過來,處理同一個數據的時候,CPU跟內存要做很多的交互讀寫,CPU之間內存的數據是不能共享的。這樣的狀況之下,內存的開銷和CPU的負載非常高,為了改變這種現狀,我們開始以內存為導向。
具體到存儲來說,我們來看一下SCM能做什么。
1.數據緩存
2.元數據掃描
3.數據存儲
未來,用戶會使用SCM存儲數據,這是我們愿景。到那一天,SCM會大范圍的取代現有的NAND。NAND則會降級為今天的機械硬盤。
下面我們來看存儲為什么會用NVMe,原因很簡單:SCSI太老了,基本上從2005年以后就沒有更新。所以這就是為什么我們要將一個新的協議用在存儲上面,為了避免SCSI拖慢我們的存儲,我們要進一步在存儲上把NVMe推廣出來。
現在NVMe有兩種路線,不論NVMe over Fabric,還是FC-NVMe。現在存儲的用戶都是光纖存儲,光纖交換機。
另外一個就是大家討論的存儲內部,包括存儲之間的協議到底是用那種?現在,很多存儲廠商都在推廣SCM+NVMe的方式。很多廠商都在將自己的閃存有多快,延遲為0.1毫米,但這個其實是相對的。除非用戶的應用都是極小的I/O,那么延時會始終保持很低。但是,一旦用戶是混合的業(yè)務類型,我們在做NVMe或SCM時,第一次做加速時,我們可以保證用戶基本上所有的硬盤延時都在0.5毫秒以下,因為NVMe的帶寬很高,比我們現有的要好很多。
另外我想講一下,閃存上面的創(chuàng)新技術,比如說大家都知道,SSD其實是有壽命的,NVMe比傳統(tǒng)的NAND要好很多。但是目前在未來五到十年之內,NAND還是一個主力的產品,無論是未來過渡到TLC還是QLC,壽命都是非常重要的。越廉價,越后端的產品,壽命相對來說就會越差一些。這時候我們會有一些專利的技術,在SSD上,大家用的筆記本都會用SSD,一個64G的閃盤,后面藏起來的有十幾G的空間。因為用戶的業(yè)務不一樣,壓力不一樣,用戶的內存也不一樣,所以對不同的用戶就要做定制化。有的用戶閃存壓力很大,連續(xù)性IO會多,他的OP隱藏區(qū)域就要多一些,這時候我們可以放大,在SSD上放大,通過存儲將SSD放大,這樣可以得到很好的壽命和很好的性能。
第二個是重刪和壓縮,對于閃存來說,重刪幾乎現在已經成了標配。
批量大數據的寫入后,數據放在內存里,再一次性批量的落盤,降低前端生產壓力,會對閃存的性能帶來整體的提升。
之后是重刪指紋,用來標記重復和非重復的數據。目前80%的廠商都用了SHA256的技術。如果你用整個的SHA256對比的話,基本上百分之百的確定你的數據是否重復,發(fā)生沖突的可能性非常小。最好的重刪方法,是你要了解存進來的數據是什么。首先,將數據進行分類,之后再進行重刪,可以提高效率,減小開銷。
另外一個是數據的壓縮技術,其原理就是把一些0和1做重新的整合,把一些低密度的文件,或者低密度的塊壓縮成高密度的塊。這種技術其實早在操作系統(tǒng)里就有了,近年來在存儲中應用了起來。Oracle和虛擬桌面中,可以帶來很好的壓縮效果。一般可以做到1:2-1:3。
壓縮技術有兩個陣營,就是我進來是多少就是多少,比如進來一個16K,我存在后端的也是4-6K,而我們現在可以做到的是再打包,把多個文件壓縮成文件塊,之后再壓縮再放到后端,這樣可以節(jié)省空間和帶寬。但弊端是,你要讀一個數據的時候,要拿出整個包來讀。每一種方式都有利弊。
昨天我們還重點談到關于后標準化,以后所有的產品都會是SCM或NVMe,我們怎么樣區(qū)分這些產品好壞?哪些對產品的優(yōu)化更好?有一非常重要的話題,就是人工智能AI,最近一到兩年才正式被各個廠商拿出來去研發(fā)。
InfoSight AI的好處是什么?
現在已經有很多用戶在使用這個人工智能平臺了。
我們發(fā)布這個AI平臺以后,發(fā)現大量的用戶開始在VMware上進行部署,首先這個部署是免費的行為,第二個它不需要真正的部署,你只要告訴我們VMware系統(tǒng)的權限就可以了,所以是一個非常簡單的事情。有25%的問題都是用戶不知情的情況下修復的。前提是用戶授權給我們。
這于用戶來說,產品同質化嚴重,因此未來會更多的通過AI為客戶服務。
未來的后標準化時代,全部要仰仗于AI。不論是故障的處理,風向的掌控,還是解決性能問題,AI平臺都是可以幫助用戶解決很多的問題,以前我們說AI平臺停留在應用層面,今天,我們把AI平臺應用在存儲層面。目前新華三的產品在整個應用層面來說都是很全,尤其是近幾年的勢頭非常的強。