31日,HPC China 2012大會(huì)進(jìn)入最后一天的日程。上午的主會(huì)場(chǎng)上,國(guó)家超級(jí)計(jì)算濟(jì)南中心常務(wù)副主任、高級(jí)工程師陳德訓(xùn)發(fā)表了主題為“神威藍(lán)光系統(tǒng)及應(yīng)用”的演講。
【圖】國(guó)家超級(jí)計(jì)算濟(jì)南中心常務(wù)副主任、高級(jí)工程師陳德訓(xùn)
國(guó)家超級(jí)計(jì)算濟(jì)南中心是科技部2010年底批準(zhǔn)的全國(guó)四個(gè)千萬(wàn)億次超級(jí)計(jì)算中心之一,由山東省科學(xué)院計(jì)算中心負(fù)責(zé)建設(shè)、管理和運(yùn)營(yíng)。機(jī)房建設(shè)從2011年3月開(kāi)始,2011年8月完成機(jī)房基礎(chǔ)加固、供電改造、機(jī)房裝修、冷卻工程、機(jī)房設(shè)備安裝調(diào)試以及神威藍(lán)光系統(tǒng)的安裝與全系統(tǒng)加點(diǎn)。2011年9月完成系統(tǒng)聯(lián)調(diào),2011年10月中旬,完成Linpack測(cè)試,10月27日,在HPC China 2011大會(huì)上發(fā)布。
陳德訓(xùn)介紹道,家超級(jí)計(jì)算濟(jì)南中心設(shè)立了應(yīng)用咨詢委員會(huì),邀請(qǐng)各個(gè)領(lǐng)域的專(zhuān)家做一些應(yīng)用咨詢。家超級(jí)計(jì)算濟(jì)南中心的研發(fā)部門(mén),主要是完成超算中心的科研活動(dòng),為個(gè)應(yīng)用領(lǐng)域?qū)<姨峁?zhuān)業(yè)知識(shí)。包括四個(gè)領(lǐng)域的研發(fā):高端應(yīng)用研究,為了支持用戶應(yīng)用軟件的移植和優(yōu)化,我們?cè)趪?guó)產(chǎn)處理器和x86處理器上都進(jìn)行了移植;信息安全應(yīng)用,主要結(jié)合國(guó)產(chǎn)處理器,開(kāi)發(fā)信息相關(guān)課題;CAD應(yīng)用負(fù)責(zé)商業(yè)軟件的支持;大規(guī)模數(shù)據(jù)處理等四個(gè)領(lǐng)域。陳德訓(xùn)表示,目前團(tuán)隊(duì)主要有37個(gè)人,今年還要招聘15個(gè)人。
【圖】中心組織架構(gòu)
神威藍(lán)光介紹
神威藍(lán)光系統(tǒng)安裝了8704個(gè)自主設(shè)計(jì)生產(chǎn)的申威1600CPU,主頻為0.975-1.1GHz,峰值為1.07PFlops,效率74.37%,,性能功耗比為0.74Flops/W??捎么鎯?chǔ)2.15PB,包括在線存儲(chǔ)和近線存儲(chǔ)。系統(tǒng)支持的最大并行規(guī)模為單道課題13萬(wàn)MPI進(jìn)程。
【圖】神威藍(lán)光系統(tǒng)分布圖,主機(jī)系統(tǒng)共11個(gè)機(jī)倉(cāng),9個(gè)計(jì)算機(jī)倉(cāng),2個(gè)網(wǎng)絡(luò)機(jī)倉(cāng)。系統(tǒng)網(wǎng)絡(luò)采用胖樹(shù)結(jié)構(gòu)。鏈路單項(xiàng)持續(xù)帶寬
陳德訓(xùn)談道,由于國(guó)產(chǎn)處理器對(duì)于一些商用軟件不支持,增加了100TB的商用機(jī)群。下圖是基于x86處理器的商用輔助集群的配置:
【圖】商用機(jī)群配置
【圖】神威藍(lán)光系統(tǒng)架構(gòu)
用戶通過(guò)國(guó)家網(wǎng)絡(luò)或internet登陸節(jié)點(diǎn)上進(jìn)行軟件開(kāi)發(fā)調(diào)試,把源代碼或常用的數(shù)據(jù)放在在線存儲(chǔ)上,對(duì)于不常用的數(shù)據(jù)可以放在近線存儲(chǔ)上。
編譯器:國(guó)產(chǎn)資源和商用輔助資源的串行編譯器和并行編譯器是不一樣的。
主要部署軟件:商用軟件和科學(xué)計(jì)算軟件跟其他超算中心差不多,如下圖所示:
神威藍(lán)光萬(wàn)核應(yīng)用
陳德訓(xùn)表示,如果有可擴(kuò)展性不錯(cuò)的課題,在理論上有突破萬(wàn)核的可能,而且有實(shí)際應(yīng)用需求,國(guó)家超算濟(jì)南中心非常歡迎這樣的課題去濟(jì)南中心開(kāi)發(fā)、調(diào)試與優(yōu)化。神威藍(lán)光的申威處理器的可擴(kuò)展性、能耗等方面非常適合萬(wàn)核應(yīng)用的程序開(kāi)發(fā)和調(diào)試,有專(zhuān)門(mén)的技術(shù)隊(duì)伍支持。
【圖】神威藍(lán)光萬(wàn)核應(yīng)用成果
陳德訓(xùn)還重點(diǎn)介紹了MASNUM并行海浪應(yīng)用模式,MASNUM采用了MPI進(jìn)程級(jí)的編程,從8192個(gè)核一直測(cè)試到13萬(wàn)個(gè)核,從右邊圖可以看出,從8192個(gè)核到13萬(wàn)核,有9倍多的加速,加速比還是很不錯(cuò)的。
當(dāng)然這也不是一帆風(fēng)順的,在測(cè)試到6萬(wàn)核的時(shí)候,初始化用了2個(gè)多小時(shí),最后分析出來(lái),變量分布的時(shí)候用了很多MPI的調(diào)用,后來(lái)就安排Cluster把數(shù)據(jù)合并之后一次性廣播,并且用二叉樹(shù)方式實(shí)現(xiàn),另外在邊界通信方面,核多了以后會(huì)出現(xiàn)問(wèn)題,調(diào)整網(wǎng)絡(luò),讓臨近通信盡量集中在4096區(qū)域范圍內(nèi)。最后,經(jīng)過(guò)這些改進(jìn),13萬(wàn)核測(cè)試的時(shí)候基本都在15分鐘左右。
【圖】萬(wàn)核課題優(yōu)化體會(huì)