同時,中國醫(yī)學科學院病原生物學研究所原有的計算系統(tǒng)依然需要繼續(xù)運行。因此具有優(yōu)化整合原有集群、易管理、且具有優(yōu)異的性價比、服務優(yōu)勢顯得極為迫切。
中國醫(yī)學科學院病原生物學研究所急需搭建一種在高性能計算方面具有高速度、高質量、易管理的大型計算平臺,以保障日益增加擴大的日常教學和科學研究工作的迫切需求。
解決方案
中國高性能計算領導者的曙光公司獲悉后立即與中國醫(yī)學科學院病原生物學研究所進行接洽,并在最短的時間內提出了系統(tǒng)的解決方案,本方案使用曙光高性能刀片和SMP胖節(jié)點混合的結構,從而滿足不同類型的應用。刀片使用Xeon 5430四核處理器,主頻達到2.66GHz。針對病源所軟件pipeline,專門進行了優(yōu)化。使用SMP胖節(jié)點曙光A950-F,單機性能達到32核心。?;诓≡此浖膽锰攸c,單機浮點計算能力要求高,大規(guī)模并行能力強的特點,我們在各計算刀片之間Infiniband高速互聯(lián),使得系統(tǒng)帶寬達到20Gb,延時僅為1.5us,大幅提高并行處理能力和效率。用戶應用類型對I/O有較大需求,方案采用。基于以上的分析,本方案的計算系統(tǒng)的主體由曙光刀片加SMP胖節(jié)點,互聯(lián)采用infiniband高速網(wǎng)組成。
本方案使用32片曙光刀片和1臺smp胖節(jié)點作為計算節(jié)點,1片曙光雙路刀片作為登陸管理節(jié)點,7片曙光2路節(jié)點作為I/O節(jié)點,在滿足用戶需求的前提下,最大限度地整合資源,使得計算刀片,I/O刀片,管理登陸刀片有效集中在同一個刀片機箱內,最大程度節(jié)約了空間,減少了布線,降低了成本,這與曙光刀片平臺良好的兼容性密不可分的。同時,曙光刀片網(wǎng)絡,Infiniband設備的模塊化設計也為用戶最大限度提高了性能,節(jié)約了成本。
用戶存儲需求大,空間要求高,本方案的存儲使用目前業(yè)界容量最大的SATA磁盤陣列,存儲容量達到64TB。為了保證I/O的性能,在主機一端使用光纖通道,速度達到4Gb。為了保證存儲系統(tǒng)的可擴展性和靈活性,使用FC SAN的存儲配置。同時,計算節(jié)點之間可以通過Infiniband對 I/O節(jié)點進行訪問,從而提高I/O性能。
本方案充分考慮到了應用特點,使用Infiniband高速網(wǎng),專門為曙光刀片平臺所設計的Infiniband高速模塊,減去了Infiniband的卡,交換機的成本,大幅降低Infiniband高速網(wǎng)成本和布線,同時保證了所有節(jié)點之前Infiniband全線速互聯(lián)。
構建一套大規(guī)模高性能集群系統(tǒng)涉及到三個層面的內容:最底層的是硬件平臺,它是完成任務的最基礎設施;其次是OS平臺,包括節(jié)點機的操作系統(tǒng)以及集群操作系統(tǒng);最后是應用環(huán)境平臺,包括并行開發(fā)環(huán)境以及編譯環(huán)境。高效率的集群系統(tǒng)需要幾個層面的緊密耦合、協(xié)調工作。曙光TC4000A的注重效率的設計思路貫穿到每一個細節(jié),在每個層面上都做到性能最優(yōu)。尤其是OS平臺以及應用環(huán)境平臺。
曙光公司針對網(wǎng)格應用在曙光4000A上應用了眾多的面向網(wǎng)格的應用,這些應用一方面幫助用戶提供一個完整的單一系統(tǒng)映像的管理,一方面進一步實現(xiàn)很多網(wǎng)格相關的應用。在并行開發(fā)和編譯環(huán)境、MPI、PVM、編譯環(huán)境:GNU Compiler、ACML、BLAS庫、GOTO和ATLAS、LAPACK、ScaLAPACK、PETSc、FFTW等方面下足了功夫。值得一提的是曙光為此配備的PVM系統(tǒng),即并行虛擬機(Parallel Virtual Machine)。它是由美國橡樹嶺(Oak Ridge)國家實驗室、美國Tennessee大學和Emory大學于始于1989年聯(lián)合研制成功的一種特殊科技,它具有較好的適應性、可擴展性、可移植性和易使用性等特點,源代碼可以免費獲取,現(xiàn)已被用戶廣泛采納等特點。目前對它的研究和開發(fā)工作仍在各大學和研究機構進行。隨著它的不斷流行,已經(jīng)被移植到PVP、SMP、MPP、工作站和集群系統(tǒng)。
此外,曙光還特別為中國醫(yī)學科學院病原生物學研究所量身配備NAMD、GROMACS軟件等分子動力學系統(tǒng)領域相關軟件,可以具有序列搜尋與比對、分子圖形分析、分子對接(藥物設計)等功能。
收益與商業(yè)價值
基于英特爾至強處理器的曙光病原生物學大型計算平臺使得曙光公司和中國醫(yī)學科學院病原生物學研究所在如下方面獲益匪淺:
病原研究平臺運行穩(wěn)定可靠,避免了因系統(tǒng)故障導致的超算平臺效率下降。
極大的提高了原有計算模式的速度,保障了中國醫(yī)學科學院病原生物學研究所學科研究上的應用,增強了中國醫(yī)學科學院病原生物學研究所科研方面的核心競爭力。
降低了中國醫(yī)學科學院病原生物學研究所的總體擁有成本,基于英特爾架構的曙光病原生物學大型計算平臺可以實現(xiàn)簡便、集中、有效的管理,并可根據(jù)客戶對性能的需求而進行動態(tài)調整。另外電源和散熱策略的自動優(yōu)化,空間的節(jié)省,部署效率的提升,都有助于降低總體擁有成本。
曙光病原生物學大型計算平臺的成功使用不但驗證了擁有刀片服務器自主知識產權的曙光公司的創(chuàng)新能力,而且曙光公司的國際影響力得到進一步加強。
曙光病原生物學大型計算平臺作為一個助力現(xiàn)代醫(yī)學研究信息化建設、科研工作的高科技平臺,它帶來的不僅是運行效率的顯著提升,同時也完全滿足了用戶對更高計算性能和更低成本的追求,讓用戶在最大程度上感受到高性能計算技術的真實價值,從而實現(xiàn)穩(wěn)定、高品質的服務,也將在更深層次上推動我國醫(yī)學研究行業(yè)高性能計算系統(tǒng)的建設,讓中國的醫(yī)療事業(yè)發(fā)展在高性能計算平臺上揚帆起航。