DOIT原創(chuàng) 崔昊 發(fā)表于:13年08月08日 23:10 [原創(chuàng)] DOIT.com.cn
賴能和:不要看CPU了
“不用太過(guò)看重CPU,現(xiàn)在的CPU已經(jīng)非?炝恕”賴能和談到,從2007年的宜賓到2013年的哈爾濱,七屆高性能計(jì)算會(huì)議一路走來(lái),他看到了x86架構(gòu)處理器在過(guò)去七年不斷的加速、加速、再加速,處理器的性能不斷提升,而且“是完全不需要關(guān)心它(CPU)的性能提升速度和步伐”,在這樣的背景下,石油行業(yè)的高性能計(jì)算卻仍然遇到了挑戰(zhàn)。
賴能和談到,伴隨油氣勘探采集與處理新機(jī)遇的,是高密度海量數(shù)據(jù)處理正面臨新的挑戰(zhàn):1、可控震源高效采集技術(shù)快速發(fā)展并廣泛應(yīng)用;2、高密度、高覆蓋采集與處理技術(shù)提高勘探深度;3、高密度財(cái)季成為新的趨勢(shì),數(shù)據(jù)體越來(lái)越大。
“高頻率、寬頻帶單點(diǎn)、單源的高效采集技術(shù),使得每天產(chǎn)生的數(shù)據(jù)量大增,總數(shù)據(jù)量相關(guān)前約270TB,相關(guān)后90TB,一天就是7.5TB的數(shù)據(jù)(相關(guān)前),現(xiàn)在一炮(探測(cè)炸點(diǎn))的數(shù)據(jù)相關(guān)后就是490MB,但是往往一天就要放5000炮。”賴能和認(rèn)為,石油能源行業(yè)的地質(zhì)、地震勘探正在朝著三維化、立體化、高密度、高覆蓋度發(fā)展,這有效提高了對(duì)地層探測(cè)的精確程度和成像效果,但問(wèn)題是:數(shù)據(jù)量越來(lái)越龐大,而高性能計(jì)算集群的計(jì)算性能卻永遠(yuǎn)滿足不了需求。
“CPU計(jì)算資源需求和海量數(shù)據(jù)存儲(chǔ)需求都在急劇增長(zhǎng),對(duì)傳統(tǒng)HPC技術(shù)提出了挑戰(zhàn)。”賴能和表示,無(wú)論是從總套數(shù)、每套核數(shù)、還是每套的計(jì)算性能上來(lái)看,油氣行業(yè)的高性能計(jì)算系統(tǒng)的水平都在提高,這說(shuō)明高精度的地震成像、地質(zhì)勘探算法需要海量的處理器資源,但既然已經(jīng)買(mǎi)了很多的處理器,且處理器的性能提升越來(lái)越快,甚至“僅從計(jì)算量上來(lái)看已經(jīng)問(wèn)題不大”,但為什么卻仍然難以滿足需求,無(wú)法得到更精確的處理結(jié)果呢?
賴能和答案是“效率”:“我們以前處理器的效率非常低,最高才百分之十幾,最低的時(shí)候只有2%,后來(lái)優(yōu)化之后,效率最高能夠接近40%,但是低的時(shí)候也只有15%,關(guān)鍵是要提高計(jì)算集群的效率。”賴能和提出,針對(duì)海量數(shù)據(jù)的高性能計(jì)算解決方案,要從五個(gè)角度來(lái)解決問(wèn)題:
1、 高性能:采用最先進(jìn)的CPU、PCIe架構(gòu)
2、 高配置:采用大內(nèi)存、大內(nèi)置盤(pán)
3、 高帶寬:采用全線速、無(wú)阻塞的高速網(wǎng)
4、 高效率:采用高可擴(kuò)展的并行存儲(chǔ)系統(tǒng)
5、 高吞吐:針對(duì)不同應(yīng)用,選擇存儲(chǔ)軟硬件架構(gòu)
“你像我們的第一套系統(tǒng),投入了2000多萬(wàn),全部使用高性能并行存儲(chǔ)系統(tǒng)、10GbE萬(wàn)兆以太網(wǎng),而且都裝了5塊15k轉(zhuǎn)的6G SAS硬盤(pán),使用雙路英特爾E5-2670服務(wù)器,經(jīng)過(guò)調(diào)優(yōu)后,并發(fā)運(yùn)行后的效率從之前的最低3.65%現(xiàn)在提高到了44.37%。”賴能和說(shuō),這一數(shù)據(jù)實(shí)際上還有提升的空間,“通過(guò)優(yōu)化配置,處理器的利用率能夠大幅度提升,我的觀點(diǎn)是,先不用著急買(mǎi)處理器,先把自己現(xiàn)在的處理器用好了再說(shuō)。況且用好了現(xiàn)在的東西,才好說(shuō)再去買(mǎi),到時(shí)候就可以說(shuō)‘你看,我們已經(jīng)用的很好了’。”
賴能和還展示了一套大約2、3年前采購(gòu)得高密度海量處理系統(tǒng)(基于至強(qiáng)X5660雙路服務(wù)器)的優(yōu)化結(jié)果:通過(guò)擴(kuò)展24GB內(nèi)存到96GB,增加計(jì)算節(jié)點(diǎn)內(nèi)置盤(pán)及更換512K Cache的RAID卡,全面升級(jí)萬(wàn)兆以太網(wǎng),新增14個(gè)計(jì)算和I/O節(jié)點(diǎn),并使用并行存儲(chǔ)系統(tǒng)取代原有的普通存儲(chǔ)——在作業(yè)數(shù)為10、50、100的測(cè)試中,此次改造分別提高了4倍、10倍和8倍。
“馬上我們計(jì)劃第三、四套高密度海量處理系統(tǒng),除了使用英特爾至強(qiáng)E5-2670雙路服務(wù)器之外,我們會(huì)加大內(nèi)存、內(nèi)置盤(pán)以及使用萬(wàn)兆以太網(wǎng),只有這樣才不會(huì)浪費(fèi)處理器極大的計(jì)算資源。”賴能和表示,使用高性能的處理器,必須要在網(wǎng)絡(luò)、內(nèi)置盤(pán)、帶寬等層面予以全面配合,再加上協(xié)處理器,才能夠達(dá)到想要的效果,處理器的效率才能夠發(fā)揮出來(lái),因此他對(duì)HPC新技術(shù)的應(yīng)用提出了基于石油行業(yè)的需求與展望。
1、 CPU+協(xié)處理器組成的協(xié)同計(jì)算平臺(tái):基于多核、眾核CPU技術(shù)、CPU+協(xié)處理器或CPU+GPU組成的HPC和多路服務(wù)器仍將成為主要的應(yīng)用平臺(tái)。
2、 高性能并行存儲(chǔ)軟硬件系統(tǒng)及固態(tài)硬盤(pán)SSD技術(shù):以大容量、高性能、低功耗、低熱量和低噪音的并行存儲(chǔ)和新型節(jié)能存儲(chǔ)介質(zhì)技術(shù)將高速發(fā)展。
3、 高速網(wǎng)絡(luò)技術(shù):萬(wàn)兆網(wǎng)絡(luò)技術(shù)將成為應(yīng)用主流。
4、 基于水冷等新型節(jié)能技術(shù),將成為關(guān)注的重點(diǎn)。
5、 云或移動(dòng)計(jì)算平臺(tái):基于計(jì)算、存儲(chǔ)、可視化資源池等基礎(chǔ)設(shè)施整合的新的商業(yè)模式,將向用戶提供服務(wù)。
公司簡(jiǎn)介 | 媒體優(yōu)勢(shì) | 廣告服務(wù) | 客戶寄語(yǔ) | DOIT歷程 | 誠(chéng)聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.