該計算節(jié)點中間的芯片就是BGQ處理器,有Power核心、內(nèi)存控制器和各種連接特性。該計算節(jié)點并未滿配DDR3主內(nèi)存,這也是為什么上面覆蓋有藍(lán)色的材料,是用來覆蓋內(nèi)存插槽的。
藍(lán)色基因/P有一個亮點,那就是它采用了水冷方式,有一個水冷彈簧加載鋁護(hù)套環(huán)繞著計算節(jié)點的正面和背面,接入兩個銅管之間的中板插槽。
當(dāng)你將BGQ計算節(jié)點接入插槽,按壓鋁套相對BGP處理器和節(jié)點內(nèi)存芯片與兩個相鄰的銅水管。這里沒有特別的熱接觸材料防止芯片接觸鋁片或者鋁片接觸銅管。
藍(lán)色基因/Q的計算抽屜
Smith表示,該系統(tǒng)的設(shè)計將使藍(lán)色基因/Q可以通過水冷達(dá)到60至65華氏度,相當(dāng)于誰冷系統(tǒng)的溫度,這將越來越常見,因為系統(tǒng)制造商開始意識到,他們對數(shù)據(jù)中心組件有些過于冷卻了。這個計算抽屜里沒有風(fēng)扇,只有兩個電源和進(jìn)出水管道。
這個計算抽屜中有來自每個計算節(jié)點的光纖連接,通向中板以便與藍(lán)色基因/Q集群中的其他計算抽屜和計算節(jié)點相連接。水流進(jìn)來,首先冷卻互連芯片,然后通過計算節(jié)點交換熱量。
藍(lán)色基因/Q計算抽屜有32個計算模塊(集群中每個服務(wù)器有一個計算模塊),每個計算節(jié)點將配置16GB DDR3主內(nèi)存(每個核心1GB)。一個計算抽屜有512個核心、2048個線程和512GB內(nèi)存。一個藍(lán)色基因/Q機架有32個(前端16個后端16個)半深的計算抽屜,也就是一個機架內(nèi)有1024個服務(wù)器節(jié)點以及157萬個專門用于處理計算的核心,另外98304個核心用于運行藍(lán)色基因設(shè)備中的Linux內(nèi)核。另外一個有趣的事實:IBM將采用5D網(wǎng)狀/環(huán)面互連以連接藍(lán)色基因/Q節(jié)點。
Smith表示,其實從5D互連可以想到,你在節(jié)點之間創(chuàng)建一個超立方體連接,然后連接這些超立方體以構(gòu)成5D環(huán)面網(wǎng)。
通過藍(lán)色基因/Q的設(shè)計,IBM分開了I/O節(jié)點與計算節(jié)點。這其中有兩個原因,首先,通過分離可以獨立進(jìn)行擴展,那些不需要太多I/O的用戶可以向某個機架中增加更多計算任務(wù),利用更少的空間做更多的事。而且,I/O處理器同樣是基于BGQ模塊的,封裝密度并不高,所以不需要用水冷的方式。
藍(lán)色基因/Q的I/O節(jié)點
藍(lán)色基因/Q的I/O抽屜有8個節(jié)點和8個插槽用于添加10Gb以太網(wǎng)或者InfiniBand PCIe外設(shè)卡接口(見左上方)。
勞倫斯利弗莫爾國家實驗室的Sequoia超級計算機將在2012年安裝就緒,它由96個機架構(gòu)成,性能達(dá)20.13 petaflops。美國阿貢國家實驗室(Argonne National Laboratory)曾在今年8月表示,他們也需要一臺藍(lán)色基因/Q,將有48個機架,總浮點性能達(dá)到10 petaflops。
前日公布最新一期高性能計算TOP500榜單中,IBM拿出了一個半機架的藍(lán)色基因/Q系統(tǒng),該設(shè)備的Linpack測試性能為65.3 teraflops,理論峰值可達(dá)到104.9 teraflops。
我們不知道藍(lán)色基因/Q在帶寬和延遲方面是否有所降低,但是據(jù)推測在平衡額外處理器性能方面還有很多工作要做。目前藍(lán)色基因/Q中的一個機架的峰值性能大約在209.7 teraflops,而藍(lán)色基因/P大約是13.9 teraflops,這是在原始性能方面的一個巨大跨越,大概需要一個更快的互連解決方案使其更高效。
如果IBM沒有對互連技術(shù)做實質(zhì)性的改變,那這也許會解釋勞倫斯利弗莫爾國家實驗室的藍(lán)色基因/L的效率是為80.2%,阿貢國家實驗室的藍(lán)色基因/P效率為82.3%。
安裝在德國Forschungszentrum Juelich代號為“Jugene”的825.5 teraflops藍(lán)色基因/P超級計算機在Linpack測試中也得到了82.3%效率的成績,相比之下,藍(lán)色基因/Q并非令人驚訝地高效,但在最早設(shè)計的時候的確是這樣的。當(dāng)然,畢竟藍(lán)色基因/Q還是一款原型機,就像2005年的藍(lán)色基因/L和2007年的藍(lán)色基因/P。