首先，在高性能計(jì)算領(lǐng)域，高效地將數(shù)據(jù)傳入和傳出計(jì)算節(jié)點(diǎn)至關(guān)重要，這通常會(huì)涉及到一些復(fù)雜的因素。超算系統(tǒng)能夠以極高的速度產(chǎn)生和使用數(shù)據(jù)，存儲(chǔ)倘若不能跟上的話，必然會(huì)成為整個(gè)超算系統(tǒng)的瓶頸，再?gòu)?qiáng)大的計(jì)算能力也無(wú)從發(fā)揮。

其次，對(duì)上海交大這種科研任務(wù)重、計(jì)算需求極大的用戶來(lái)說(shuō)，存儲(chǔ)的擴(kuò)展必須被考慮進(jìn)去，數(shù)據(jù)對(duì)性能和容量的需求會(huì)持續(xù)不斷地快速增加，因此新的存儲(chǔ)系統(tǒng)必須能做到彈性、有序的擴(kuò)展，不斷提高存儲(chǔ)的吞吐量和性能，從而為整個(gè)超算系統(tǒng)提供有力的支持。

最后，上海交大高性能計(jì)算中心為全校各個(gè)院系提供服務(wù)，人力資源相對(duì)緊張，不可能為管理和監(jiān)控復(fù)雜的存儲(chǔ)系統(tǒng)配備太多的管理員，因此新的存儲(chǔ)系統(tǒng)必須易于管理。

戴爾認(rèn)為，基于戴爾與英特爾在企業(yè)級(jí)Lustre 平臺(tái)(Intel Enterprise Edition for Lustre，簡(jiǎn)稱IEEL)，能夠完全滿足上海交大高性能計(jì)算中心的要求。該存儲(chǔ)解決方案使用Lustre這一領(lǐng)先的HPC開(kāi)源并行文件系統(tǒng)，這也意味著它具有良好的可用性和可擴(kuò)展性。

安裝了IEEL的戴爾HPC存儲(chǔ)設(shè)備，專門(mén)面向那些需要部署完全受支持、易于使用、具有高吞吐量、能夠橫向擴(kuò)展且經(jīng)濟(jì)實(shí)惠的并行文件系統(tǒng)存儲(chǔ)解決方案的學(xué)術(shù)和行業(yè)用戶，是一款能夠提供高性能和高可用的存儲(chǔ)系統(tǒng)，此前在劍橋、華大基因等超算系統(tǒng)中均得到了良好的應(yīng)用。

值得稱道的是，該解決方案利用智能、豐富且直觀的管理界面(Intel Manager for Lustre，簡(jiǎn)稱IML)，大大簡(jiǎn)化了所有硬件和存儲(chǔ)系統(tǒng)組件的管理和監(jiān)控。它在容量或/和性能方面易于擴(kuò)展，從而為未來(lái)增長(zhǎng)提供了方便的途徑。

超算系統(tǒng)存儲(chǔ)升級(jí)，魚(yú)與熊掌不能得兼?戴爾說(shuō)：No!

存儲(chǔ)方案大體框架

為上海交大高性能計(jì)算中心設(shè)計(jì)的方案里，戴爾采用了第十三代企業(yè)級(jí)Dell PowerEdge R730機(jī)架服務(wù)器(6臺(tái))，以及最新一代的高密度DELL PowerVault MD3420 (1臺(tái)) +MD3460 (1臺(tái))磁盤(pán)陣列，作為整個(gè)存儲(chǔ)系統(tǒng)的核心。

其中，DELL R730機(jī)架服務(wù)器用于元數(shù)據(jù)服務(wù)器+對(duì)象數(shù)據(jù)服務(wù)器，它的主要配置為：2路E5-2660 V3 2.6GHZ 10核心處理器，256GB RDIMM 2133Mhz DDR4內(nèi)存，2塊300GB的15000轉(zhuǎn)硬盤(pán)，H730 1Gb緩存 RAID卡，以及冗余的750W白金級(jí)電源。

DELL MD3420磁盤(pán)陣列用于元數(shù)據(jù)存儲(chǔ)系統(tǒng)，它配置了雙12G的SAS控制器，以及16GB鏡像保護(hù)緩存，配置24個(gè)800G MIX SSD，做成RAID10，并設(shè)置了2塊熱備盤(pán)和1塊冷備盤(pán)。

DELL MD3460磁盤(pán)陣列用于對(duì)象數(shù)據(jù)存儲(chǔ)系統(tǒng)，它同樣配置了雙12G的SAS控制器， 以及16GB鏡像保護(hù)緩存，OST裸盤(pán)容量最高可以達(dá)到3840TB。做成RAID6(8+2)后，可用容量差不多是2553TB ，同樣也設(shè)置了2個(gè)熱備盤(pán)和1塊冷備盤(pán)。

最后是英特爾Lustre商業(yè)版用于并行文件系統(tǒng)，提供了2個(gè)MDS、4個(gè)OSS授權(quán)。

至于本方案中同時(shí)涉及到的以太網(wǎng)交換機(jī)、IB交換機(jī)擴(kuò)展卡、線纜等方面的內(nèi)容，請(qǐng)點(diǎn)擊閱讀原文下載案例報(bào)告。

選擇戴爾的理由

在一番比對(duì)和研討之后，上海交大高性能計(jì)算中心最終選擇了戴爾的產(chǎn)品方案，作為π2.0未來(lái)規(guī)劃上線的二級(jí)存儲(chǔ)系統(tǒng)。

韋建文老師表示，首先，戴爾產(chǎn)品方案的吞吐性能非常好，這一點(diǎn)尤其得到了高性能中心的高度認(rèn)同。在這樣的前提下，戴爾還能做到極富競(jìng)爭(zhēng)力的價(jià)格，這簡(jiǎn)直是用戶意想不到的BONUS了。

其次，戴爾有著非常好的本地支持服務(wù)，高性能中心完全不用擔(dān)心備件問(wèn)題，5年白金專業(yè)支持、一年無(wú)休的4小時(shí)上門(mén)服務(wù)，足以幫助高性能中心滿足來(lái)自各個(gè)院系的嚴(yán)苛計(jì)算任務(wù)的需求。

再次，上海交大高性能中心對(duì)Lustre極為認(rèn)可，這種文件系統(tǒng)徹底摒除了過(guò)去小文件讀取存儲(chǔ)的瓶頸，π的強(qiáng)大計(jì)算能力得以充分發(fā)揮。作為英特爾最為核心的合作伙伴，戴爾的設(shè)備上運(yùn)行Lustre顯得尤為高效。

最后，上海交大在選擇供應(yīng)商時(shí)，也非常注意供應(yīng)商在高教領(lǐng)域的其他應(yīng)用狀況——雖然學(xué)校與學(xué)校之間各有各的不同，但是在高性能計(jì)算方面的需求，終歸是相差不遠(yuǎn)。此前，高性能中心就已經(jīng)了解到戴爾在全球很多名校，譬如劍橋超算系統(tǒng)的存儲(chǔ)方面，均得到了很好的應(yīng)用。

韋建文老師指出，在數(shù)據(jù)中心領(lǐng)域，戴爾有著非常高的市場(chǎng)占有率，其解決方案的軟硬件配置也很透明。綜合以上各種因素，上海交大高性能中心最終選擇了戴爾。

應(yīng)用痛點(diǎn)一掃而光

據(jù)悉，作為主存儲(chǔ)系統(tǒng)，戴爾的產(chǎn)品方案目前已經(jīng)在上海交大高性能中心投入使用，各個(gè)院系的數(shù)據(jù)基本已經(jīng)遷移過(guò)來(lái)。原先的存儲(chǔ)系統(tǒng)并沒(méi)有被廢棄，而是用作備份和二級(jí)存儲(chǔ)，這也算得是對(duì)原有投資的某種保值。

從各方的反應(yīng)來(lái)看，大家很滿意，原有的應(yīng)用痛點(diǎn)都得到了很好的解決，各個(gè)院系均反應(yīng)新的存儲(chǔ)系統(tǒng)更加高效和穩(wěn)定。以生命科學(xué)學(xué)院的基因組測(cè)序?yàn)槔麄円呀?jīng)新增了100多TB的數(shù)據(jù)。在使用過(guò)程中，各種大小文件的讀取和存儲(chǔ)速度令人滿意。

不止于此，存儲(chǔ)管理員也得到了解放。通過(guò)IML提供的Web界面，管理員可以很方便地觀看存儲(chǔ)狀況，并且在遠(yuǎn)程對(duì)一般性的故障和突發(fā)狀況進(jìn)行處理。

韋建文老師告訴我們，當(dāng)前系統(tǒng)的存儲(chǔ)容量已經(jīng)提升到2PB，數(shù)據(jù)總量在其中所占比例已經(jīng)下降到「紅線」以下。不過(guò)考慮到各個(gè)院系的數(shù)據(jù)增長(zhǎng)速度，高性能計(jì)算中心準(zhǔn)備到后續(xù)將之?dāng)U容到3PB。

未來(lái)，上海交大高性能計(jì)算中心和π集群將會(huì)更多地向異構(gòu)的方向發(fā)展，下一代會(huì)考慮高吞吐量的耦合計(jì)算能力。與此同時(shí)，高性能計(jì)算中心還在考慮在存儲(chǔ)節(jié)點(diǎn)上使用閃存的可能，以便更進(jìn)一步提升性能和IO帶寬，為用戶提供更好的計(jì)算和存儲(chǔ)服務(wù)。

最后，韋建文老師表示，十分感謝戴爾公司提供如此優(yōu)秀的產(chǎn)品和解決方案。

至于戴爾，則已經(jīng)在本文的標(biāo)題上做出回應(yīng)了。

sunk