2019年閃存峰會上,姚婷的主旨演講內容是《GearDB:在瓦記錄磁盤上構建無垃圾回收的鍵值存儲系統(tǒng)(A GC-free Key-Value Store on HM-SMR Drives with Gear Compaction)》,有媒體采訪時姚婷表示去華為做的工作就與這些內容有關。

那么,姚婷講了什么?對華為有怎樣的價值呢?

瓦記錄磁盤說的是SMR(Shingled Magnetic Recording),是繼續(xù)CMR(Conventional magnetic recording)之后的新一代磁盤技術。(注:在這次公開演講前半年,姚婷在超有影響力的學術會議——USENIX文件與存儲技術會議上用英文做了介紹,英文發(fā)音水平遠高于大多數(shù)搞IT的人)

SMR能將磁盤的容量和性價比推向新高,但SMR性能與常用的CMR有不少差距,對于華為這樣的IT廠商繞不開大勢所趨的SMR磁盤,雖然閃存性能遠勝于磁盤,但磁盤在容量上有優(yōu)勢。而且,磁盤在未來還有廣闊的發(fā)展前景,在TDMR(二維磁記錄)和HAMR(熱輔助磁記錄)出現(xiàn)之前,就靠SMR來不斷提升性能了,也就是說誰能用好SMR磁盤就意味著掌握了發(fā)展的先機。最近UCloud就宣布在歸檔云存儲上率先使用了SMR。

目前市場上,主流盤廠商希捷和西數(shù)都有SMR磁盤,一個新的技術方向是HM-SMR(Host-Managed SMR)和HA-SMR(Host-Aware-SMR),借助Host主機端的能力來實現(xiàn)一些更高級的功能,新型SMR可以解決SMR本身的一些問題,能讓性能可預測,但使用的復雜度也水漲船高,在HM-SMR上構建高效的KV鍵值存儲也是難上加難。

主要問題在于三方面,一個是垃圾回收的開銷大,耗用的資源多。二是磁盤空間利用率低,這樣一來就限制了大容量盤的優(yōu)勢。第三點,由于磁盤存入數(shù)據(jù)多,導致性能降低,同樣也是用戶不愿接受的。

用白話說,磁盤利用率只有非常低的60%,如果買一塊現(xiàn)在最大的20TB磁盤,能用的就只有12TB,但是如果把利用率提升到到90%,那買一塊盤就能比別人多用6TB,姚婷介紹的技術能做到這點。

這點有多大的商業(yè)價值呢?

西部數(shù)據(jù)預計,到2023年,數(shù)據(jù)中心SMR硬盤的占比將逐步增加到50%左右的比例,2023年,數(shù)據(jù)中心HDD的采用量仍將是SSD的6.5倍,也就是絕大部分的數(shù)據(jù)都要存儲在磁盤上,市場非常巨大。

此外,另一位天才少年左鵬飛研究的是非易失性內存相關內容,這也是存儲領域非常前沿和高端的方向,如何安全高效地使用非易失性存儲能達到的效果也是降本增效。如需了解更多可以查看左同學的Github空間,上面列出了各種詳盡的Paper信息。

最高檔薪資的天才少年叫張霽,張霽的研究方向是磁盤和數(shù)據(jù)庫相關的智能優(yōu)化方向,用機器學習的能力預測磁盤并處理磁盤故障,磁盤故障輕則影響系統(tǒng)性能,嚴重的話可能導致數(shù)據(jù)永久丟失,能用機器學習處理故障的做法就很高級,當然,這一做法并非首創(chuàng),目前在一些存儲系統(tǒng)中已經有商用化案例了。

但從這張Paper(HDDse: Enabling High-Dimensional Disk State Embedding for Generic Failure Detection System of Heterogeneous Disks in Large Data Centers)介紹的內容來看,該方案的水平吊打一部分搞AI存儲的廠商。因為,大部分磁盤故障預測都是面向同一廠商同一型號的硬盤來做的,而他的模型能針對各種類型的硬盤,他用的是長短期記憶神經網絡(LSTM),哪怕是少數(shù)不常見的硬盤也能有很好的效果。更厲害的是,這一做法已經在實際使用中看到了效果。

另外一部分是用機器學習的能力做數(shù)據(jù)庫性能調優(yōu),據(jù)說優(yōu)化能力都比許多專業(yè)的人工優(yōu)化還要好。機器學習代替人工做底層運維是大勢所趨,不僅能減少人員成本投入,效果還比人工操作好,對華為這樣的企業(yè)來說,也還是降本增效啊。

總之,技術都很前沿,價值都很大。

2020年上半年,身處逆境的華為再次完成高速增長,營收達到了4500多億。對于華為來說,規(guī)模越大創(chuàng)新效益越明顯,華為的企業(yè)級存儲市場在快速增長,云計算業(yè)務勢頭也非常強,隨著規(guī)模的擴大,技術創(chuàng)新帶來的優(yōu)勢將成比例放大,所以,對于頂尖技術人才的需求是非常強烈的。

但,這樣說還是有點片面。

天才少年計劃其實還有一個標志性的意義,那就是,當中國企業(yè)開始爭當行業(yè)技術標準的制定者時(比如5G的標準),當中國企業(yè)的技術水平發(fā)展到了一定領先階段時,以往挖外企培養(yǎng)起來的經驗型人才的道路越來越窄,關鍵是有些領域可能無人可挖,于是,不如索性直接高薪高調找應屆生,走完全自己培養(yǎng)人才的道路,或許意味著新時代的到來,而這只是個開始。

這是我的個人觀點,如果華為這么說就顯得有點太張揚了。任正非對于天才少年的看法是,天才少年是鯰魚,希望天才少年的加入能激活創(chuàng)新活力,有些敲打老員工的意思,保持緊迫感。

分享到

zhupb

相關推薦