實(shí)際上，“E級計(jì)算”已經(jīng)成為各國在超算和科技領(lǐng)域爭奪的制高點(diǎn)，歐美、日本都確立了自己的“E級計(jì)算”發(fā)展計(jì)劃；E級高性能計(jì)算機(jī)以及E級高性能計(jì)算應(yīng)用和計(jì)算環(huán)境也作為“十三五”期間工作重點(diǎn)進(jìn)行了部署。
曙光面向“E級計(jì)算”的技術(shù)突破
“E級計(jì)算”也是曙光未來高性能計(jì)算重點(diǎn)發(fā)展的框架。
曙光面向“E級計(jì)算”的技術(shù)突破情況如何？曙光公司高性能產(chǎn)品事業(yè)部副總經(jīng)理李斌總結(jié)了三大技術(shù)。
一是致力于突破高性能計(jì)算的新技術(shù)。經(jīng)過了20多年的發(fā)展，曙光致力于突破高性能計(jì)算的新技術(shù)，包括計(jì)算、存儲、網(wǎng)絡(luò)等各個(gè)方面，逐漸形成了一套獨(dú)特的思路。
二是深化應(yīng)用融合。曙光注重高性能計(jì)算機(jī)與各行業(yè)、領(lǐng)域應(yīng)用的協(xié)同設(shè)計(jì)，定制推出一些專用高性能計(jì)算機(jī)。例如，曙光公司跟中科院大氣所共同申請了國家的“地球數(shù)值模擬裝置”原型系統(tǒng)，在該項(xiàng)目中曙光承擔(dān)了針對地球科學(xué)的專用高性能計(jì)算機(jī)研制的任務(wù)。
三是推動中國高性能計(jì)算機(jī)的產(chǎn)業(yè)化。這也是曙光作為商業(yè)化運(yùn)作的公司使命。作為中國科學(xué)院先進(jìn)計(jì)算創(chuàng)新與產(chǎn)業(yè)化聯(lián)盟的理事長單位，曙光和中科院大氣所成立了中科三清公司，致力于從事生態(tài)環(huán)境的實(shí)時(shí)監(jiān)測和空氣質(zhì)量的實(shí)時(shí)預(yù)報(bào)等業(yè)務(wù)；跟中科院電子所成立了航天星圖公司，后者主要從事衛(wèi)星遙感、空天大數(shù)據(jù)的深度加工和行業(yè)應(yīng)用。
這都是依托于曙光高性能計(jì)算機(jī)對相關(guān)行業(yè)做推動和帶動的例子。
面向E級高性能計(jì)算機(jī)研發(fā)的六大關(guān)注點(diǎn)
“太湖之光”用自主的處理器以100P的規(guī)模成為全中國的驕傲；“太湖之光”離“E級計(jì)算”還有10倍的差距，還有很多的技術(shù)難點(diǎn)需要突破。國際公認(rèn)的實(shí)現(xiàn)“E級計(jì)算”的時(shí)間將在2020年。
李斌認(rèn)為，曙光E級高性能計(jì)算機(jī)的研發(fā)目標(biāo)在以下六個(gè)方面。
一是降低系統(tǒng)功耗。要不斷提高系統(tǒng)的能效比，即每瓦的計(jì)算性能，通過高效的制冷散熱技術(shù)提高整個(gè)系統(tǒng)的節(jié)能性。
二是在提高單點(diǎn)性能同時(shí)不斷提高整個(gè)系統(tǒng)的可擴(kuò)展性。這對高性能計(jì)算機(jī)的高速度互聯(lián)網(wǎng)絡(luò)有很高的要求。
三是要通過硬件和軟件的方式提高整個(gè)系統(tǒng)的可靠性以及對應(yīng)用的容錯(cuò)性。
四是要對應(yīng)用提供高效的支撐。高性能計(jì)算機(jī)要對應(yīng)用有很好的普適性，能支撐傳統(tǒng)的高性能計(jì)算，支持新興的大數(shù)據(jù)和深度學(xué)習(xí)等新興的計(jì)算應(yīng)用。
五是如何針對一個(gè)超大規(guī)模的系統(tǒng)實(shí)現(xiàn)高效的管理和運(yùn)維。
六是實(shí)現(xiàn)產(chǎn)業(yè)化。不能為了E級而E級，而是要通過E級高性能計(jì)算機(jī)的研發(fā)打造一個(gè)良好的生態(tài)環(huán)境，推動相關(guān)產(chǎn)業(yè)的產(chǎn)業(yè)化。
計(jì)算網(wǎng)絡(luò)及制冷散熱領(lǐng)域新發(fā)展
曙光承擔(dān)了“十三五”期間E級高性能計(jì)算的重點(diǎn)專項(xiàng)。李斌認(rèn)為，就算是沒有該項(xiàng)目，曙光的高性能計(jì)算研發(fā)工作也會沿著原有的思路和方向發(fā)展。
硅立方：2015年，曙光依托于地球數(shù)值模擬裝置原型系統(tǒng)，發(fā)布了采用硅立方系列的高性能計(jì)算機(jī)，這可以看作曙光通用高性能計(jì)算機(jī)向E級過渡的體系結(jié)構(gòu)。
硅立方系統(tǒng)采用模塊化的立體擴(kuò)展建設(shè)方式，這種物理排布方式與Torus網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)對應(yīng)，可大幅度節(jié)省系統(tǒng)占地面積，提高空間計(jì)算密度，解決大規(guī)模系統(tǒng)長距離網(wǎng)絡(luò)布線的問題。依托這樣的技術(shù)，曙光今年正式推出了硅立方數(shù)據(jù)中心的概念和解決方案。
M-Pro就是這樣一個(gè)全新的架構(gòu)和產(chǎn)品。這個(gè)系統(tǒng)和產(chǎn)品本來不是為E級計(jì)算設(shè)計(jì)的，但在未來的E級系統(tǒng)中將得到應(yīng)用。M-Pro是利用Multi-Host這樣的網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)芯片到多個(gè)處理器支持到多個(gè)節(jié)點(diǎn)這樣的共享，實(shí)現(xiàn)更加均衡的I/O性能。從技術(shù)的角度來看，Multi-Host支持Infiniband和Intel，提供多處理器的選擇。這樣的架構(gòu)既適用于高性能計(jì)算，也適用于大數(shù)據(jù)運(yùn)算這樣的應(yīng)用場景。
Multi-Host技術(shù)不僅可以保證每個(gè)核的帶寬性能，還實(shí)現(xiàn)了不同處理器在跨節(jié)點(diǎn)通信的時(shí)候?qū)崿F(xiàn)性能的均衡，對并行程序的擴(kuò)展性和并行效率提供直接的幫助。節(jié)點(diǎn)共享這樣的網(wǎng)絡(luò)技術(shù)，可以大幅度降低高性能計(jì)算系統(tǒng)的網(wǎng)絡(luò)成本。
這也意味著M-Pro HPC在單核的計(jì)算性能、保存性能和網(wǎng)絡(luò)帶寬性能方面比現(xiàn)在主流的計(jì)算平臺有明顯的優(yōu)勢。
針對材料模擬、氣侯、海洋工程等應(yīng)用，曙光做了實(shí)際應(yīng)用測試，在相同的運(yùn)行規(guī)模下(不做額外的優(yōu)化)，相對主流的計(jì)算平臺可以得到1.5-2倍實(shí)際應(yīng)用的性能提升。也就是說，在相同投資的情況下，采用M-Pro HPC平臺，可以實(shí)現(xiàn)更好的應(yīng)用性能。
Torus網(wǎng)絡(luò)技術(shù)：目前超大規(guī)模高性能計(jì)算系統(tǒng)，Torus網(wǎng)絡(luò)架構(gòu)是國際上較主流的計(jì)算方向。
3D-Torus網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢，一是有非常好的擴(kuò)展性和性價(jià)比，系統(tǒng)網(wǎng)絡(luò)建設(shè)成本和系統(tǒng)規(guī)模呈線性關(guān)系；二是有非常好的鄰近通信性能。不過，在網(wǎng)絡(luò)拓?fù)淅锞嚯x較遠(yuǎn)的時(shí)候，網(wǎng)絡(luò)跳數(shù)可能會比較多。三是因?yàn)椴捎昧藙討B(tài)路由算法，Torus網(wǎng)絡(luò)有很好的系統(tǒng)容錯(cuò)性，盡管頻道之間都有極多的路徑，電路斷掉后對整個(gè)系統(tǒng)的網(wǎng)絡(luò)通信不會產(chǎn)生全局影響，這也是E級超大規(guī)模系統(tǒng)非常重要的要求。
液冷技術(shù)：對于超大規(guī)模系統(tǒng)，有效地控制能耗提高節(jié)能十分迫切。目前液體冷有浸沒式的直接接觸方式和間接接觸的方式，也可以根據(jù)液體冷媒發(fā)生相變分成單相的方式。從散熱效率和節(jié)能性來說，浸沒式直接蒸發(fā)相變的方式是效率最高的方式，在系統(tǒng)的可維護(hù)性和成本方面還需進(jìn)一步優(yōu)化。而冷板式液冷的方式技術(shù)相對比較成熟，成本優(yōu)化比較好。
曙光致力于發(fā)展液冷技術(shù)。在液體冷卻技術(shù)分兩步，在主流的計(jì)算刀片平臺TC4600E-LP上已經(jīng)實(shí)現(xiàn)了冷板式液冷的產(chǎn)品化，正在做全浸式的蒸發(fā)相變冷卻的研發(fā)和產(chǎn)品化。
曙光E級高性能計(jì)算機(jī)系統(tǒng)項(xiàng)目的設(shè)計(jì)思路
曙光E級高性能計(jì)算機(jī)系統(tǒng)項(xiàng)目是國家“十三五”期間高性能計(jì)算的重點(diǎn)專項(xiàng)，其最顯著特點(diǎn)是突破了制約E級計(jì)算發(fā)展的各個(gè)關(guān)鍵技術(shù)，通過這樣原型機(jī)的研制去驗(yàn)證E級的技術(shù)路線，為未來真正實(shí)現(xiàn)國產(chǎn)E級系統(tǒng)做技術(shù)鋪墊。
除了沿用和發(fā)展諸如硅立方一類已有技術(shù)，還將基于現(xiàn)有存儲、高性能計(jì)算機(jī)的管理和運(yùn)維，針對更大規(guī)模、更復(fù)雜的環(huán)境進(jìn)行優(yōu)化。
在體系結(jié)構(gòu)方面，未來E級系統(tǒng)的仍將采用層次化的設(shè)計(jì)，從基礎(chǔ)的節(jié)點(diǎn)對到超節(jié)點(diǎn)到硅元組成硅立方體系結(jié)構(gòu)，其最低性能指標(biāo)將達(dá)到每節(jié)點(diǎn)在5P FLOPS以上，能效比到10P FLOPS每瓦這樣的指標(biāo)。
在計(jì)算部件方面，曙光仍將采用基于自主的處理器加眾核加速器這樣節(jié)點(diǎn)內(nèi)的異構(gòu)架構(gòu)。這種方式可以更加靈活地支撐傳統(tǒng)的高性能計(jì)算以及深度學(xué)習(xí)、大數(shù)據(jù)、云計(jì)算等不同的應(yīng)用場景。
網(wǎng)絡(luò)部分，將基于現(xiàn)有3D-Torus網(wǎng)絡(luò)結(jié)構(gòu)擴(kuò)充到6D（采用兩層3D-Torus的結(jié)構(gòu)），6D-Torus的路由算法已經(jīng)實(shí)現(xiàn)；內(nèi)層的3D-Torus采用硅元。為了大幅度降低系統(tǒng)線纜的使用數(shù)量，內(nèi)層的3D-Torus將做成一個(gè)模塊化的交換機(jī)，或采用光交換快速通路技術(shù)去優(yōu)化Torus網(wǎng)絡(luò)比較遠(yuǎn)距離網(wǎng)絡(luò)通信的跳數(shù)，提升網(wǎng)絡(luò)全局性能。
在制冷方面，將采用全浸式的蒸發(fā)相變冷卻，把整個(gè)計(jì)算單元浸泡在沸點(diǎn)比較低的特殊液體里，液體吸收熱量發(fā)生相變氣化，在室外冷卻后再循環(huán)；室外部分仍采用全年自然冷卻技術(shù)，預(yù)計(jì)其PUE值將接近1。
這樣的建設(shè)方式可以用于高性能計(jì)算機(jī)系統(tǒng)和傳統(tǒng)的數(shù)據(jù)中心。李斌表示，曙光正通過這些技術(shù)帶動相關(guān)的產(chǎn)業(yè)發(fā)展，并擴(kuò)展到商業(yè)應(yīng)用領(lǐng)域。
