【圖】曙光副總裁邵宗有發(fā)表演講
事實(shí)上,大數(shù)據(jù)與高性能計(jì)算的融合是高性能計(jì)算技術(shù)不斷發(fā)展,以及大數(shù)據(jù)對(duì)于超強(qiáng)計(jì)算能力需求的必然結(jié)果。一方面,大數(shù)據(jù)的發(fā)展為高性能計(jì)算提供了更為廣闊的應(yīng)用空間,無(wú)論是傳統(tǒng)的科研應(yīng)用,還是金融、通訊、互聯(lián)網(wǎng)等高性能計(jì)算的新用戶(hù),隨著數(shù)據(jù)量 越來(lái)越大,以及大部分用戶(hù)對(duì)于數(shù)據(jù)價(jià)值挖掘的意識(shí)不斷加強(qiáng),一套高效、可靠、彈性擴(kuò)展的數(shù)據(jù)處理方法和工具就變得非常必要了。另一方面,而隨著高性能計(jì)算 系統(tǒng)性能的日益提升,越來(lái)越多的用戶(hù)開(kāi)始考慮采用高性能計(jì)算的集群來(lái)進(jìn)行數(shù)據(jù)處理和分析。
截止到這次中國(guó)超級(jí)計(jì)算機(jī)Top100排行榜公布,曙光已經(jīng)連續(xù)五屆獲得中國(guó)超級(jí)計(jì)算機(jī)Top100份額第一。但是,邵宗有表示,曙光從去年開(kāi)始就 在逐步淡化排名,而是把大部分精力用于推動(dòng)高性能計(jì)算機(jī)的應(yīng)用。“傳統(tǒng)高性能計(jì)算機(jī)市場(chǎng)競(jìng)爭(zhēng)越來(lái)越激烈了,曙光過(guò)去兩年一直在開(kāi)辟高性能計(jì)算機(jī)的新市場(chǎng), 比如云計(jì)算,曙光通過(guò)深圳(超級(jí)計(jì)算中心)來(lái)提供云計(jì)算服務(wù)。過(guò)去一年多,曙光找到了一個(gè)更大的市場(chǎng)——大數(shù)據(jù)”。
大數(shù)據(jù)在互聯(lián)網(wǎng)、通信、金融、衛(wèi)生、交通、安全等領(lǐng)域是非常重要的。邵宗有表示,中國(guó)現(xiàn)在大數(shù)據(jù)用得比較好的主要有幾個(gè)領(lǐng)域:一是消費(fèi)行為分析,比 如淘寶、銀行、電信等都有消費(fèi)行為的分析,做消費(fèi)行為分析主要是為了兩個(gè)目標(biāo),一是風(fēng)險(xiǎn)防控,二是精準(zhǔn)營(yíng)銷(xiāo);另一個(gè)叫社會(huì)行為分析,社會(huì)行為分析又分成輿 情和情報(bào)。
大數(shù)據(jù)挑戰(zhàn)總結(jié)起來(lái)就是4個(gè)V(Volumn、velocity、Variety、Value),經(jīng)過(guò)研究和分析認(rèn)為高性能能計(jì)算機(jī)比較好的解決這 些問(wèn)題。邵宗有談道,這一兩年以來(lái),曙光高性能計(jì)算機(jī)的研發(fā)團(tuán)隊(duì),主要在做高性能計(jì)算機(jī)與大數(shù)據(jù)的結(jié)合。今年上半年曙光推出了大數(shù)據(jù)一體機(jī)XData,把 高性能計(jì)算機(jī)的框架跟Map Reduce和hadoop框架融合在一起,實(shí)現(xiàn)一個(gè)完整的軟件層,再加上底層高性能計(jì)算機(jī)、結(jié)構(gòu)存儲(chǔ)、網(wǎng)絡(luò)。
我們知道,高性能計(jì)算機(jī)包括計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)和軟件四個(gè)主系統(tǒng)。大數(shù)據(jù)一體機(jī)和高性能計(jì)算機(jī)的通訊主系統(tǒng)和存儲(chǔ)主系統(tǒng)基本沒(méi)什么不同,只是在計(jì)算主 系統(tǒng)中,高性能計(jì)算機(jī)更多的是用超薄的刀片,大數(shù)據(jù)更多的是數(shù)據(jù)服務(wù)器,上層的軟件主系統(tǒng)中,大數(shù)據(jù)一體機(jī)則是融合了高性能曙光Gridview和 Hadoop兩個(gè)軟件。“Map Reduce的模式將來(lái)會(huì)深刻影響到高性能計(jì)算機(jī)的應(yīng)用,Map Reduce的高性能計(jì)算機(jī)用于大數(shù)據(jù)一體機(jī)就說(shuō)明了Map Reduce是MPI的有效補(bǔ)充”,邵宗有補(bǔ)充說(shuō)道。
事實(shí)上,對(duì)用戶(hù)而言,缺的不是數(shù)據(jù),也不是資金,而是大數(shù)據(jù)的視角,如何去應(yīng)用大數(shù)據(jù)。“對(duì)曙光來(lái)說(shuō),就是要樹(shù)立各個(gè)行業(yè)的“橋頭堡”,推動(dòng)大數(shù)據(jù) 在各個(gè)行業(yè)的應(yīng)用,包括電信、銀行等等,我們現(xiàn)在都在推動(dòng),”邵宗有在采訪(fǎng)中表示,曙光還要做一個(gè)專(zhuān)業(yè)的團(tuán)隊(duì)去給用戶(hù)提供服務(wù)。
據(jù)透露,目前,曙光現(xiàn)在正在研發(fā)一款數(shù)據(jù)存儲(chǔ)與計(jì)算在一起的大機(jī)器,有望今年年底能完成。