邵宗有表示:“在應(yīng)對大數(shù)據(jù)挑戰(zhàn)的過程中,高性能計算可以起到重要作用。從數(shù)據(jù)的存儲與處理的角度來說,采用高性能計算系統(tǒng)不僅可以大幅降低大容量存儲的成本,而且其處理數(shù)據(jù)、傳輸數(shù)據(jù)、恢復數(shù)據(jù)的速度會遠遠超過普通的計算系統(tǒng)。在過去完整恢復一塊硬盤的速度可能需要48個小時,
但融合了曙光高性能計算技術(shù)的存儲產(chǎn)品,能將時間控制在十幾分鐘,顯著降低了大規(guī)模集群存儲系統(tǒng)中用戶運維的壓力,提高了系統(tǒng)效率。”
此外,高性能計算還可以為大數(shù)據(jù)應(yīng)用中的數(shù)據(jù)同化問題提供解決思路。在大數(shù)據(jù)采集系統(tǒng)中,可能各個采集設(shè)備采集的數(shù)據(jù)在格式與類型上都是不一樣的,將這些不同的數(shù)據(jù)進行統(tǒng)一會消耗大量的計算資源。而高性能計算在數(shù)據(jù)同化方面已經(jīng)取得重要進展,其同化的速度和精確性已經(jīng)能保持在一個很高的水平,其發(fā)展成果“嫁接”到大數(shù)據(jù)中會產(chǎn)生巨大的價值,并推動實現(xiàn)數(shù)據(jù)的組織和管理,基礎(chǔ)架構(gòu),決策支持和自動化界面和分析。
高性能計算和大數(shù)據(jù)將深入融合 推動實際應(yīng)用
對于任何一種技術(shù)概念,應(yīng)用都是其體現(xiàn)最終價值的落腳點。目前,大數(shù)據(jù)正在處于從概念到應(yīng)用的過渡時期,大數(shù)據(jù)應(yīng)用在產(chǎn)業(yè)成熟度、用戶接受度、系統(tǒng)易用性等方面都存在著很多障礙。大數(shù)據(jù)應(yīng)用怎樣部署?大數(shù)據(jù)存儲的數(shù)據(jù)怎樣產(chǎn)生價值?如何將大數(shù)據(jù)分析后產(chǎn)生的結(jié)論應(yīng)用到企業(yè)運營的決策之中?由于缺乏大規(guī)模應(yīng)用的成熟案例與產(chǎn)業(yè)集群,金融用戶等行業(yè)用戶遲遲無法下定部署大數(shù)據(jù)的決心。
邵宗有指出:“相對于大數(shù)據(jù)來說,高性能計算在很多行業(yè)用戶中都得到了較早的部署與應(yīng)用,其部署可以在軟硬件一體化平臺、數(shù)據(jù)存儲等方面為大數(shù)據(jù)應(yīng)用打下良好的基礎(chǔ)。特別是高性能計算和大數(shù)據(jù)在內(nèi)在邏輯上是相通的,在平臺擴展、應(yīng)用落地等方面具有互補優(yōu)勢,這就滿足了高性能計算和大數(shù)據(jù)進行融合的充分性條件。”
為了推進高性能計算與大數(shù)據(jù)的融合發(fā)展,改善大數(shù)據(jù)應(yīng)用環(huán)境,目前曙光已經(jīng)發(fā)布“平臺一體,智匯應(yīng)用”的行業(yè)大數(shù)據(jù)戰(zhàn)略,并通過軟硬件結(jié)合的一體化平臺作為支撐。其中,硬件XData大數(shù)據(jù)一體機采用成熟的高性能計算機和高性能存儲系統(tǒng)作為基礎(chǔ),在軟件上則整合了高性能操作系統(tǒng)與Hadoop軟件。解決方案全面集合曙光在高性能計算、高性能存儲等方面的資源優(yōu)勢,可為行業(yè)企業(yè)構(gòu)建有競爭力的大數(shù)據(jù)整體解決方案和服務(wù),達到平臺能力及應(yīng)用的靈活擴充和增長,提供真正的統(tǒng)一數(shù)據(jù)分析能力。