華為的大數(shù)據(jù)宣言：智慧與融合
阿明 發(fā)表于：13年07月11日 16:57 [原創(chuàng)] DOIT.com.cn
DOSTOR存儲在線 原創(chuàng)報道：當前，大數(shù)據(jù)時代已經(jīng)來臨，用戶面臨著來自大數(shù)據(jù)存儲等若干方面的問題和挑戰(zhàn)，為此，如何更有利地滿足用戶在大數(shù)據(jù)環(huán)境下的新需求，并更好地將廠商自身的技術、產(chǎn)品、方案包括服務融合在一起，以更為智慧的方式提供給不同的用戶。華為存儲產(chǎn)品線Marketing部長經(jīng)寧在肯定大數(shù)據(jù)給IT帶來的新機會的同時，也指出華為融合架構以及相關解決方案給用戶帶來的新價值。
事實上，大數(shù)據(jù)已經(jīng)成為一個國家戰(zhàn)略，無論美國政府、還是英國政府還是聯(lián)合國，大數(shù)據(jù)已經(jīng)成為一個重要戰(zhàn)略和重要的研究方向。中科院發(fā)布新的戰(zhàn)略報告，把大數(shù)據(jù)作為中國七個重要的研究領域。
可見，一方面大數(shù)據(jù)已成國家戰(zhàn)略，另一方面，大數(shù)據(jù)已經(jīng)在各個行業(yè)、各個區(qū)域得到了廣泛應用。在經(jīng)寧看來，大數(shù)據(jù)不僅是信息挖掘，而且大數(shù)據(jù)存儲就是一個非常重要的應用環(huán)境。比如在衛(wèi)星測繪、石油勘測、金融、互聯(lián)網(wǎng)等各個行業(yè)，大數(shù)據(jù)獲得廣泛應用。華為認為，電信行業(yè)也在不斷驅動，大數(shù)據(jù)更多應用在電信業(yè)務。當前其應用范圍比較窄，主要用于內部系統(tǒng)、運營結構化話單的分析。然而，這也在發(fā)生轉變，大數(shù)據(jù)已經(jīng)從電信內部應用開始向更高系統(tǒng)轉變，從以往單一結構化數(shù)據(jù)，向多類型數(shù)據(jù)分析轉變，從流量分析向內容分析轉變。
現(xiàn)在，電信運營商正使用大數(shù)據(jù)分析，對既有業(yè)務進行深層挖掘，如中國聯(lián)通提供智慧營銷就是典型例子。藉此，運營商嘗試把自己掌握的數(shù)據(jù)作為新的資源開放出去，以此創(chuàng)造新業(yè)務，創(chuàng)造一個開放系統(tǒng)。再者如中國移動、江蘇移動提供的定位廣告業(yè)務，借助自身掌握的海量數(shù)據(jù)，向企業(yè)客戶提供各種有價值的分析數(shù)據(jù)
另外，運營商也在對自己內部的數(shù)據(jù)進行整合，通過構建大數(shù)據(jù)平臺，一方面可以降低數(shù)據(jù)存儲的成本，另一方面也可以提高統(tǒng)一決策的效率和準確度。因此，“在大數(shù)據(jù)時代，實際上為IT創(chuàng)造了一個新機會，從一個IT的簡單成本中心開始向利潤中心、運營中心轉移，非常明顯，大數(shù)據(jù)給IT在定位上帶來很大變化。”經(jīng)寧進一步分析認為，大數(shù)據(jù)在營銷、定位、角色方面帶來了時代巨變。一是因數(shù)據(jù)增長推進IT從集中式架構向分布式架構演進;二是以計算為中心的架構開始逐步走向以數(shù)據(jù)為中心的架構;三是從典型水平式組成的層次化架構，開始向上下整合、縱向拉動的架構轉化。
華為在與眾多客戶直接面對面交流過程中，發(fā)現(xiàn)了這三個巨大變化，從中也找到了自身在變化中的定位與發(fā)展方向。
首先，在大數(shù)據(jù)時代，用戶數(shù)據(jù)猛增，帶來最直接的結果就是：以往傳統(tǒng)集中式架構，已經(jīng)很難滿足用戶對大容量、高性能計算的要求。傳統(tǒng)架構往往在性能、容量、擴展性方面有限。道理很簡單，因為在這些方面的限制，用戶很有可能因現(xiàn)有一套系統(tǒng)不夠使用，會再建一套新系統(tǒng)，在建立多套系統(tǒng)后，勢必會造成數(shù)據(jù)孤島，形成管理復雜性，多套系統(tǒng)負載、壓力不均衡，數(shù)據(jù)計算需要在不同系統(tǒng)之間做遷移，造成管理非常復雜，無論針對成本、復雜性、時間等，都顯得非常麻煩。但是，通過分布式的架構，用戶可以實現(xiàn)容量線性擴展，這已經(jīng)逐漸成為一種主流趨勢。在分布式架構中，用戶即以實現(xiàn)數(shù)據(jù)高效使用和管理的簡化。
其次，從技術中心轉向以數(shù)據(jù)為中心過程中，數(shù)據(jù)需要被處理和加工。不過，以往的處理和加工是什么樣子?從外界存儲取出來數(shù)據(jù)，被應用程序或其他系統(tǒng)程序所讀取并計算處理，處理完畢將其放入程序里面，整個業(yè)務流明顯有多個處理環(huán)節(jié)，要不斷地存儲、讀取、計算、再存儲，其系統(tǒng)的大量時間花費在數(shù)據(jù)的遷移上，一旦數(shù)據(jù)量增加，從數(shù)據(jù)向計算遷移的環(huán)節(jié)就肯定“費時費力”。
但在大數(shù)據(jù)環(huán)境下，華為存儲以數(shù)據(jù)為中心，不再以存儲為中心，使得用戶清楚知道數(shù)據(jù)具體分布在哪里，就近使用需要部署計算單元的應用程序。就如“將代碼推向我們的數(shù)據(jù)，通過這種方式可以大大減少大容量數(shù)據(jù)遷移的麻煩。”但，這種方式也會帶來挑戰(zhàn)，需要用戶要很清楚知道數(shù)據(jù)布局、分布怎樣，否則無法實現(xiàn)圍繞數(shù)據(jù)單元做文章。
最后，傳統(tǒng)架構方式都是層次化的，采用封閉的硬件、封閉的操作系統(tǒng)，底層是存儲，再往上是網(wǎng)絡，網(wǎng)絡上面部署服務器，服務器上面是操作系統(tǒng)、中間件，每層都是高度隔離。但是，華為現(xiàn)在強調將應用程序推向數(shù)據(jù)，推向存儲，在這種情況之下必然要求大家非常清楚計算和存儲之間的關系。那確實不只是一個水平的、相互隔離的狀態(tài)，必然需要清楚上下兩層之間的關系，從而就要求把上下兩層，甚至多層打通，打通后，華為將代碼就近部署。
對此，華為認為這樣的發(fā)展趨勢會導致存儲行業(yè)從相對封閉的硬件走向通用的硬件，如X86硬件，或其他硬件，并采用標準化的操作系統(tǒng)。為此，華為將更多Hoodop 開源的應用縱向整合，形成多個因素包括開發(fā)環(huán)境的整合。相關資料顯示，華為在印度建立了一個專門研究Hoodop的百人團隊，并且也給hoodp貢獻不小的成績。
與此同時，華為在研發(fā)方面大力投入，并成立2012實驗室，并對前端技術投入研發(fā)。在研發(fā)硬實力的奠定下，這些年華為在存儲得到了比較快的發(fā)展。2013年華為存儲產(chǎn)品線整體理念圍繞“存以致用，融以致遠。”在架構方面強調融合架構作用，通過融合架構實現(xiàn)計算與存儲融合，可以帶來更高管理效率、更高存儲效能，大大降低用戶在管理上的開銷。
為此，華為在大數(shù)據(jù)領域推出兩個關鍵技術：“三位一體”和全分布式技術。“三位一體”就是將存儲系統(tǒng)與存儲分析、數(shù)據(jù)挖掘分析、計算系統(tǒng)整合為一套產(chǎn)品，不再是多個產(chǎn)品的集合，從而實現(xiàn)存儲、分析、歸檔三個方面的自動化，免除了三者之間的裝載與遷移麻煩，同時實現(xiàn)全生命周期的數(shù)據(jù)管理，用戶可以選擇部分活躍數(shù)據(jù)歸檔，根據(jù)計算需要自動實現(xiàn)數(shù)據(jù)的調度。
華為在大數(shù)據(jù)領域有著突出的典型案例。比如歐洲的CERN和深圳大運會解決方案。華為三位一體的大數(shù)據(jù)解決方案，輕松應對數(shù)據(jù)的增長，在三位一體架構下，提升用戶系統(tǒng)讀取性能，并做大量數(shù)據(jù)做分析服務，實現(xiàn)端到端的可管理性，保證高標準嚴要求的處理手段，滿足這類對大數(shù)據(jù)應用廣泛的客戶對系統(tǒng)高效運行的需求。(阿明)
