現(xiàn)在，我們的“IT號外”將進(jìn)入對用戶更具現(xiàn)實指導(dǎo)意義的篇章，本文就將探討HPC用戶在服務(wù)器硬件選型中需要重點(diǎn)關(guān)注的方面，并對基于至強(qiáng)5500的相關(guān)產(chǎn)品進(jìn)行一番介紹和點(diǎn)評。
眾所周知，選購HPC系統(tǒng)產(chǎn)品，絕不可能像購買一臺PC，或是一臺普通的服務(wù)器那樣輕松，鑒于HPC系統(tǒng)高昂的投資，HPC用戶在選購其硬件平臺時，通常都會先對待選產(chǎn)品進(jìn)行認(rèn)真且詳細(xì)的測試與評估，并以此為基礎(chǔ)做出決策。對此，我們建議用戶在這一環(huán)節(jié)中要盡量確定適于目標(biāo)應(yīng)用，也就是自己真實應(yīng)用軟件的測試指標(biāo)和方法，在評估中則要從CPU、內(nèi)存帶寬及其最佳配置、內(nèi)存和QPI的參數(shù)配合選擇、存儲子系統(tǒng)及節(jié)點(diǎn)間互聯(lián)等對HPC系統(tǒng)性能至關(guān)重要的幾個方面來考慮，以下就是我們與之相關(guān)的六頂主要建議，謹(jǐn)供大家參考：
1.HPC選型測試不要只看Linpack值
在確定HPC待購產(chǎn)品的測試指標(biāo)和方法時，用戶一定要切記不要太看重Linpack值。雖然HPC的全球TOP500排行榜和中國TOP100排行榜都是以它為標(biāo)準(zhǔn)對HPC系統(tǒng)進(jìn)行排名，但這并不意味著它可作為具體用戶評估和測試HPC系統(tǒng)的惟一標(biāo)準(zhǔn)。由于Linpack只是一個出好的壓力測試軟件，可通過簡單的求解線性方程組，能夠給出足夠的壓力，來測試高性能計算機(jī)系統(tǒng)的浮點(diǎn)性能和擴(kuò)展性，還可用來對機(jī)器進(jìn)行“體檢”——烤機(jī)、查錯，并在測試和優(yōu)化Linpack過程中也會發(fā)現(xiàn)一些系統(tǒng)Bug。但它卻無法反映出HPC系統(tǒng)的實際應(yīng)用性能。
例如，3.2GHz的至強(qiáng)5482和新一代的2.93GHz至強(qiáng)5570，由于后者的時鐘頻率略低，因此在Linpack測試中并不占優(yōu)，但對于石油油藏模擬、氣象等對內(nèi)存較敏感的應(yīng)用來說，由于至強(qiáng)5570采用了QPI和集成內(nèi)存控制器，能提供更大的內(nèi)存容量和內(nèi)存帶寬，總體應(yīng)用性能卻有2-3倍的提升，而這是Linapck測試所無法體現(xiàn)的，因此用戶如只憑Linpack來選型，就難免會誤入歧途。
從更加科學(xué)的角度來說，用戶在對HPC系統(tǒng)進(jìn)行選型測試時，應(yīng)使用貼近自身實際應(yīng)用特征的工具和方法，從內(nèi)存帶寬占用、內(nèi)存使用量、CPU利用率、存儲I/O、網(wǎng)絡(luò)帶寬等多個指標(biāo)進(jìn)行應(yīng)用特征分析。
2.從應(yīng)用出發(fā)實現(xiàn)系統(tǒng)最優(yōu)化均衡配置
目前的HPC應(yīng)用，一般最倚重的指標(biāo)有三，即CPU浮點(diǎn)計算能力、內(nèi)存帶寬及容量和I/O的帶寬，一般來說，它們都會在兼顧三者的同時偏重其中某一項，例如石油行業(yè)HPC系統(tǒng)上運(yùn)行的地震資料處理軟件是浮點(diǎn)計算密集型應(yīng)用，而油藏模擬類應(yīng)用軟件則對內(nèi)存帶寬要求較高，因此如能選到一個在這三方面均有出色表現(xiàn)的平臺，那就是最為理想的結(jié)果了。
在選擇了一個均衡平臺的基礎(chǔ)上，用戶還要在采購HPC系統(tǒng)前再對自己的主要應(yīng)用軟件的特性進(jìn)行一些分析，看看自己的應(yīng)用對硬件平臺那一項性能或能力最為偏重，最好是確定一個適合于自己應(yīng)用的測試指標(biāo)，借試用廠商新服務(wù)器產(chǎn)品的機(jī)會測試一下，以求的配置上進(jìn)行精準(zhǔn)的調(diào)整，達(dá)到最合理或優(yōu)化的效果。
比如，我們將HPC選型按應(yīng)用分成四個類型：一類是只跑一種應(yīng)用，如氣象領(lǐng)域的HPC系統(tǒng)，這時最關(guān)鍵的就是要對應(yīng)用進(jìn)行專門調(diào)優(yōu)，選擇最匹配的機(jī)器；第二種是運(yùn)行某一類型的應(yīng)用，英特爾就曾對12種生命科學(xué)軟件的應(yīng)用特征進(jìn)行了分析，找出其共同的特點(diǎn)和性能瓶頸，然后給出了對應(yīng)的系統(tǒng)配置，以幫助OEM廠商和用戶在進(jìn)行系統(tǒng)設(shè)計和選型時有更加科學(xué)的參考；第三種則是運(yùn)行幾類不同的應(yīng)用，如由多個院系共享的校級計算中心，這時同樣需要對多種應(yīng)用軟件的應(yīng)用特征進(jìn)行分析，找到盡可能適合這幾種應(yīng)用的系統(tǒng)配置；第四種是完全對外提供服務(wù)的公共計算中心，要求什么應(yīng)用都可以運(yùn)行，這需要進(jìn)行綜合的性能測試，以找到一個平衡的通用系統(tǒng)。
3.盡量實現(xiàn)單節(jié)點(diǎn)性能最大化
具體到HPC系統(tǒng)應(yīng)該選擇什么樣的CPU方面，我們建議用戶可根據(jù)所要達(dá)到的峰值計算能力選擇相應(yīng)檔次的CPU，通常主流HPC應(yīng)用在至強(qiáng)5500系列里可選5520、5550和5570等幾個型號，但需要注意的是CPU在運(yùn)行實際應(yīng)用時，其能否發(fā)揮峰值計算能力還要考慮內(nèi)存帶寬的限制。
在此基礎(chǔ)上，我們還是建議大家要盡量實現(xiàn)單節(jié)點(diǎn)性能最大化，這意味著我們應(yīng)該根據(jù)需求，盡量選擇較為高端的至強(qiáng)5500處理器，表面上這確實是會增加一些硬件采購成本，但是它們可以讓單個節(jié)點(diǎn)的計算性能更強(qiáng)，從而可以減少節(jié)點(diǎn)的總數(shù)量，大大節(jié)省在節(jié)點(diǎn)間互聯(lián)、軟件授權(quán)、系統(tǒng)運(yùn)維上的成本，還能夠讓系統(tǒng)的計算效率更高。英特爾將于明年推出的Nehalem-EX多路處理器就將讓四路、八路以上的“胖節(jié)點(diǎn)”構(gòu)建起來更加容易，用戶屆時可以根據(jù)應(yīng)用來實現(xiàn)“胖節(jié)點(diǎn)”、“瘦節(jié)點(diǎn)”的混合搭配。
要實現(xiàn)單節(jié)點(diǎn)性能的最大化，在選擇內(nèi)存系統(tǒng)時，同時需要注意這樣一些指標(biāo)和關(guān)系：如內(nèi)存和QPI之間的配合，每通道的內(nèi)存插座數(shù)量。比如，1333MHz的內(nèi)存，需要QPI帶寬達(dá)到6.4T/s為最佳配置，而1066MHz則可和5.87T/s的QPI配置配合；每個內(nèi)存通道的DIMM越少越好，已避免資源競爭和峰值內(nèi)存帶寬限制。
4.互聯(lián)選擇，要在端口數(shù)量和價格之間平衡
千兆以太網(wǎng)、Infiniband都是目前HPC系統(tǒng)內(nèi)部主要的互聯(lián)網(wǎng)絡(luò)標(biāo)準(zhǔn)。隨著Infiniband的普及，主流HPC集群的節(jié)點(diǎn)間互聯(lián)基本都采用DDR 2x 或QDR 4x 的Infiniband交換機(jī)和接口。由于Infiniband交換機(jī)的配置和價格隨支持端口數(shù)的增加有較大變化，所以用戶可以通過設(shè)計合理的網(wǎng)絡(luò)拓?fù)鋪頊p少投資，同時可通過采用較高主頻的CPU來增加單節(jié)點(diǎn)性能，減少集群總節(jié)點(diǎn)數(shù)量。
5.考慮用固態(tài)硬盤突破存儲I/O瓶頸
從全球和部分國內(nèi)HPC用戶的反饋來看，無論是對HPC領(lǐng)域還是一般數(shù)據(jù)中心用戶來說，使用SSD（固態(tài)硬盤）和SSD陣列的服務(wù)器設(shè)計來突破存儲I/O瓶頸都已成為一種趨勢。在這方面，較為流行的做法是可以使用SSD作為本地快速、臨時的存儲池，加速對本地盤的臨時快速讀寫。
6.待選系統(tǒng)是否能夠滿足限定的供電和散熱條件
雖然HPC用戶和潛在的用戶對于系統(tǒng)的總功耗還不是特別敏感，但其技術(shù)人員還是要保證待選產(chǎn)品的功耗和散熱能夠滿足既有條件的限制，尤其是那些升級HPC系統(tǒng)時可能要延用原有機(jī)房的用戶。而對于那些新建HPC系統(tǒng)，同時也將為該系統(tǒng)新建其周邊基礎(chǔ)設(shè)施的用戶來說，他們就應(yīng)該在設(shè)定系統(tǒng)性能目標(biāo)的同時也確定其功耗和散熱的目標(biāo)值，并以此為基準(zhǔn)設(shè)計和配置其機(jī)房、供電和散熱設(shè)備。當(dāng)然，這個目標(biāo)值是必須要兼顧到未來系統(tǒng)升級的需求，擁有一定彈性的。
以上這六條建議，只是我們對HPC系統(tǒng)采購過程中一些關(guān)鍵環(huán)節(jié)的淺見，事實上，用戶考慮的方面還遠(yuǎn)遠(yuǎn)不限于此。我們想強(qiáng)調(diào)的，就是用戶不論做出什么樣的決策，其基礎(chǔ)都應(yīng)該是從實際應(yīng)用和實際需求出發(fā)。接下來，我們想再介紹六款基于英特爾至強(qiáng)5500處理器的、適用于HPC系統(tǒng)的服務(wù)器精品，希望能為用戶在具體產(chǎn)品的選擇上提供一些幫助。
1、IBM HS22刀片，領(lǐng)軍網(wǎng)游行業(yè)HPC應(yīng)用
提到IBM的高性能計算產(chǎn)品，就不得不提到HS22這款刀片服務(wù)器。在今年最新的中國TOP100排行榜上，前十名中有六臺機(jī)器清一色使用的都是這款刀片服務(wù)器。他們也都是網(wǎng)絡(luò)游戲運(yùn)營商，因為網(wǎng)絡(luò)游戲?qū)Ω咝阅苡嬎愕男枨蠖M建了超級計算機(jī)——不約而同選用IBM HS22的原因又是什么呢?
簡單來說，HS22與上一代刀片HS21比較起來，其處理器更新?lián)Q代為最新的至強(qiáng)5500系列，計算性能相對HS21有2倍以上的提升(得益于至強(qiáng)5500的QPI總線和集成的內(nèi)存控制器)。另一方面，我們認(rèn)為HS22刀片擁有多達(dá)4組10Gb以太網(wǎng)和總共8個I/O端口才是其優(yōu)勢所在。其8個萬兆交換所帶來的負(fù)載均衡極大的滿足了高性能計算的延遲問題。這也是眾多網(wǎng)絡(luò)游戲公司選擇它的原因之一。此外，HS22還憑借至強(qiáng)5500出色的功耗控制，在效能比上優(yōu)勢明顯，對運(yùn)營成本很敏感的網(wǎng)游公司自然也會考慮這個因素。
2、輕巧而強(qiáng)大，戴爾R410專為HPC而生
戴爾的產(chǎn)品一直以來都有其獨(dú)到之處，其R410就憑借至強(qiáng)5500處理器的超強(qiáng)性能和戴爾本身對系統(tǒng)帶寬的良好把控——DDR3內(nèi)存的采用及可選的多種網(wǎng)絡(luò)接入方式，使得其性能相比上一代產(chǎn)品提升了80%。另一方面，預(yù)裝的戴爾管理控制臺(DMC)和戴爾生命周期管理器則可幫助管理者簡化原先繁瑣的管理流程。
戴爾方面表示，客戶在構(gòu)建HPC基礎(chǔ)架構(gòu)時的需求除了性能外，主要集中在以下幾個方面：簡易性、成本和可擴(kuò)展性。戴爾將最簡單的1U機(jī)架服務(wù)器做成HPC節(jié)點(diǎn)，一方面就是從管理和維護(hù)的簡易性去考慮，另一方面是從成本來考慮的——相比刀片要便宜很多。而相比刀片服務(wù)器的高密度環(huán)境來說，R410擁有者更靈活的擴(kuò)展空間，單位功耗上也要比刀片低得多。
3、惠普DL360 G6，強(qiáng)調(diào)容錯與冗余備份
如果說至強(qiáng)5500是為HPC而生，那么惠普的HP DL360 G6就是為至強(qiáng)5500而設(shè)計的一款集高密度計算、基本容錯和HP Insight Control于一體的1U機(jī)架服務(wù)器。惠普用18根內(nèi)存插槽配合雙路至強(qiáng)5500處理器，最多可以打造一個144GB寄存式內(nèi)存的強(qiáng)大計算環(huán)境。網(wǎng)絡(luò)方面惠普采用了帶TCP/IP卸載引擎的雙端口多功能千兆網(wǎng)卡，與其智能陣列配合，使得DL360 G6在硬盤I/O和網(wǎng)絡(luò)I/O上都不會出現(xiàn)瓶頸。
在做科學(xué)計算或復(fù)雜的工程運(yùn)算時，用戶通常都難以承受系統(tǒng)在運(yùn)算過程中出錯——那意味著前功盡棄。HP DL360 G6以冗余風(fēng)扇+冗余電源的雙冗余備份設(shè)計以及智能陣列RAID控制器的便攜式電池允許將高速緩存寫入另一臺服務(wù)器中做冗余備份，大大降低了在高性能計算中因為一個節(jié)點(diǎn)宕機(jī)造成的損失。
4、五大優(yōu)勢，曙光I610r-G可擔(dān)大任
曙光I610r-G相比上一代產(chǎn)品主要在處理器、芯片組和內(nèi)存方面有所升級，因而上市之初就被認(rèn)為是未來云計算、高性能計算的節(jié)點(diǎn)組成部分。其五大優(yōu)勢主要是：“高性能”、“高可靠性”、“高可擴(kuò)展性”、“高可管理性”以及“高性價比”。
高性能自然毋庸置疑，雙路至強(qiáng)5500保證了1U機(jī)架內(nèi)的出色計算密度，而12根內(nèi)存槽也保證了最大96GB的海量內(nèi)存配置。高可靠性方面，I610r-G主要擁有BIOS保護(hù)恢復(fù)、網(wǎng)卡自動切換、電源自檢報警等功能，使得系統(tǒng)從底層BIOS到上層網(wǎng)絡(luò)任何一方面出現(xiàn)問題，都可以及時轉(zhuǎn)移工作負(fù)載，不會影響使用。擴(kuò)展性和管理性方面，I610r-G可以擴(kuò)展1個半高的PCI-E x16的擴(kuò)展卡和一個全高的PCI-E x8的擴(kuò)展卡，并且由于集成了曙光智能硬件監(jiān)控系統(tǒng)，其內(nèi)部電流、風(fēng)扇轉(zhuǎn)速等都可以得到監(jiān)控和調(diào)整，方便了管理員在高性能計算集群中對某一節(jié)點(diǎn)的單獨(dú)調(diào)整。
5、挖掘聯(lián)想深騰7000背后的節(jié)點(diǎn)信息
今年國內(nèi)的TOP100排行榜上，聯(lián)想深騰7000系統(tǒng)以145.2萬億次的計算速度排名第三。但是由于聯(lián)想的策略和深騰7000在中科院超算中心的應(yīng)用較機(jī)密。我們并不能在聯(lián)想官方網(wǎng)站上看到有關(guān)深騰7000節(jié)點(diǎn)的有關(guān)信息。不過我們知道，深騰7000的主要計算節(jié)點(diǎn)是深騰B714R刀片服務(wù)器，7U高度的刀片機(jī)箱內(nèi)部可以插14片雙路計算刀片，也就是一個42U的標(biāo)準(zhǔn)機(jī)柜內(nèi)，最多可以裝84個計算刀片，配備接近672個計算核心。
據(jù)聯(lián)想展示的資料表示，深騰B714R刀片服務(wù)器完全可以支持雙路至強(qiáng)5500處理器，盡管深騰7000超級計算機(jī)中的節(jié)點(diǎn)采用了至強(qiáng)5400處理器——當(dāng)時還未推出至強(qiáng)5500。除了對最新處理器的支持外，深騰B714R還擁有轉(zhuǎn)換效率達(dá)93%的高效電源，且所有模塊全部支持熱插拔，關(guān)鍵部件，如網(wǎng)絡(luò)模塊、電源模塊也配備了冗余。
6、浪潮天梭TS30000 ，實力勝于一切
浪潮的天梭TS30000一經(jīng)推出就先后 6次打破SPECjAppServer應(yīng)用性能測試、SPECpower節(jié)能測試、TPC-E數(shù)據(jù)庫性能測試等全球權(quán)威測試紀(jì)錄。這也是在早先使用至強(qiáng)5400處理器時的情況，現(xiàn)在的TS30000已經(jīng)可以支持最新的至強(qiáng)5500處理器，其高速Q(mào)PI互聯(lián)完全消除了北橋和處理器之間的帶寬瓶頸，浪潮認(rèn)為其系統(tǒng)帶寬至少提高了50%以上。
值得一提的是，TS30000去年還通過了OVM測試，其整個測試是對包含數(shù)據(jù)庫、操作系統(tǒng)、服務(wù)器、存儲產(chǎn)品在內(nèi)的綜合平臺進(jìn)行測試，強(qiáng)調(diào)了系統(tǒng)性、嚴(yán)酷性和高仿真性，而浪潮TS30000劃分了8個虛擬機(jī)順利通過了這些測試，等同于是經(jīng)受住了8次Oracle VC的測試考驗。
以上6款HPC精品，均可發(fā)揮英特爾至強(qiáng)5500的強(qiáng)大性能、智能計算功能和出色的能效，同時，得益于開放的架構(gòu)，這款處理器也能為其他眾多品牌及型號的HPC系統(tǒng)注入充沛的活力，我們相信，這些產(chǎn)品將為HPC用戶及潛在用戶帶來充裕的選擇空間，用戶也完全可以根據(jù)自己的需求，在它們之中挑選到最合適自己的產(chǎn)品。
在下一篇“IT號外之HPC應(yīng)用指南”中，我們就將告別選購環(huán)節(jié)，切入到應(yīng)用階段，為用戶如何用好基于至強(qiáng)5500平臺的HPC系統(tǒng)，充分挖掘它們的潛力獻(xiàn)計獻(xiàn)策，這篇文章將于12月29日發(fā)布，敬請留意。
