提升高性能計算的性能與效率：不要再看CPU
[導(dǎo)讀]無論是賴能和還是張鐵鋼，他們已經(jīng)意識到，單純依靠CPU提高工作負(fù)載能力、加速石油行業(yè)高性能計算性能的時代已經(jīng)一去不復(fù)返
DOSERV服務(wù)器在線 8月8日原創(chuàng)報道： 誰拯救了美國的能源危機(jī)?不是奧巴馬，也不是埃克森美孚，更不是一直動蕩不安的中東石油，而是頁巖氣，自2006年起，美國頁巖氣產(chǎn)量大幅增長，到2011年，美國頁巖氣產(chǎn)量高達(dá)1800億立方米，占美國天然氣產(chǎn)量的34%。
其間，在2009年，美國天然氣產(chǎn)量達(dá)到6240億立方米，首次超過俄羅斯成為世界第一天然氣生產(chǎn)國，此后一直維持在這一位置。2012年美國天然氣產(chǎn)量6810億立方米，是世界天然氣增產(chǎn)最迅速的國家，比位居第二的俄羅斯天然氣產(chǎn)量多出900億立方米。
此后，頁巖氣革命對美國的能源結(jié)構(gòu)產(chǎn)生重大影響：美國每百萬英熱(計量單位)天然氣均價為2.86美元，同期東亞同等熱值天然氣價格為16美元～18美元，歐洲12美元～14美元——雖然頁巖氣的價格下跌導(dǎo)致很多頁巖氣開采氣田和石油公司無利可圖，但如此價廉、清潔、高效和儲藏量龐大的頁巖氣資源，讓美國擺脫了石油和天然氣價格高企的今天所面臨的能源危機(jī)。
而現(xiàn)在，美國已經(jīng)開始考慮開采頁巖油，與傳統(tǒng)油氣資源類似，頁巖層中的油氣資源也相伴而生，頁巖油屬于輕質(zhì)油，油質(zhì)好，但比之傳統(tǒng)直井油田直接從油層抽取原油，開采頁巖油采用水平鉆井和水力壓裂技術(shù)從頁巖層中獲得，其開采成本也更高一些，即便如此，在較高的國際油價面前，開采頁巖油仍有利可圖。
但無論開采頁巖氣還是頁巖油，工程建設(shè)與開采技術(shù)都是其中的關(guān)鍵。以頁巖氣為例，頁巖氣，是指位于暗色泥巖或者高碳泥頁巖中，以吸附或者游離狀態(tài)為主要存在方式的天然氣聚集，地質(zhì)結(jié)構(gòu)復(fù)雜、蘊(yùn)藏機(jī)制莫測、開采難度較高，事實上，自20世紀(jì)70年代就有企業(yè)開始探索頁巖氣的開采技術(shù)，但直到90年代才有成熟的開采、探測技術(shù)，而頁巖氣可以通過成熟、穩(wěn)定的手段實現(xiàn)快速的發(fā)現(xiàn)、蘊(yùn)藏量預(yù)測和開采，已經(jīng)距離頁巖氣開采的提出者們的大膽想法，足足過了三十年。
“在勘探新的資源——頁巖氣——的過程中，要探測不同類型的巖層，但頁巖——泥頁巖和致密巖石——之間的區(qū)別并不大，這就對數(shù)據(jù)采集密度、精確度有著極高的要求，需要進(jìn)行很大量的數(shù)據(jù)分析，這些都需要工程技術(shù)、信息化技術(shù)的支撐。”中國石油大慶油田公司勘探開發(fā)研究院總工程師張鐵鋼表示，在發(fā)現(xiàn)頁巖氣和未來頁巖油的工作中，工程技術(shù)、信息化技術(shù)——計算、分析、存儲——的需求量十分巨大，而也正是依靠——也必須依靠——這些技術(shù)，才能夠?qū)崿F(xiàn)大慶讓老油田煥發(fā)青春的目標(biāo)。
張鐵鋼表示，大慶油田的宗旨，就是“圍繞資源優(yōu)化，結(jié)合能源應(yīng)用的特點高效利用工程和信息化技術(shù)”，讓大慶油田能夠不斷完成國家交予的能源支持任務(wù)，實現(xiàn)讓大慶油田能夠持續(xù)實現(xiàn)產(chǎn)油、產(chǎn)氣的重要保障。
在英特爾2013年度企業(yè)高性能計算研討會上，來自全國能源行業(yè)的CIO代表們齊聚一堂，信息技術(shù)對國內(nèi)能源行業(yè)——尤其是石油行業(yè)——發(fā)展的重要推動作用已經(jīng)被他們清晰地認(rèn)識到，他們來到冰城哈爾濱的目的，是希望能夠了解到信息技術(shù)的發(fā)展與走向，以及交流如何利用信息化技術(shù)更快一步達(dá)成“好找油，找好油”的目標(biāo)，尋找更多的油氣資源。
而也正是在這次會議上，東方地球物理公司研究員處理中心總工程師賴能和老師提出：“不再需要關(guān)心處理器，而是要關(guān)心其它東西。”的驚人觀點，為國內(nèi)能源行業(yè)、石油行業(yè)的信息化技術(shù)利用提出了新的發(fā)展思路。
賴能和：不要看CPU了
“不用太過看重CPU，現(xiàn)在的CPU已經(jīng)非?？炝?。”賴能和談到，從2007年的宜賓到2013年的哈爾濱，七屆高性能計算會議一路走來，他看到了x86架構(gòu)處理器在過去七年不斷的加速、加速、再加速，處理器的性能不斷提升，而且“是完全不需要關(guān)心它(CPU)的性能提升速度和步伐”，在這樣的背景下，石油行業(yè)的高性能計算卻仍然遇到了挑戰(zhàn)。
賴能和談到，伴隨油氣勘探采集與處理新機(jī)遇的，是高密度海量數(shù)據(jù)處理正面臨新的挑戰(zhàn)：1、可控震源高效采集技術(shù)快速發(fā)展并廣泛應(yīng)用;2、高密度、高覆蓋采集與處理技術(shù)提高勘探深度;3、高密度財季成為新的趨勢，數(shù)據(jù)體越來越大。
“高頻率、寬頻帶單點、單源的高效采集技術(shù)，使得每天產(chǎn)生的數(shù)據(jù)量大增，總數(shù)據(jù)量相關(guān)前約270TB，相關(guān)后90TB，一天就是7.5TB的數(shù)據(jù)(相關(guān)前)，現(xiàn)在一炮(探測炸點)的數(shù)據(jù)相關(guān)后就是490MB，但是往往一天就要放5000炮。”賴能和認(rèn)為，石油能源行業(yè)的地質(zhì)、地震勘探正在朝著三維化、立體化、高密度、高覆蓋度發(fā)展，這有效提高了對地層探測的精確程度和成像效果，但問題是：數(shù)據(jù)量越來越龐大，而高性能計算集群的計算性能卻永遠(yuǎn)滿足不了需求。
“CPU計算資源需求和海量數(shù)據(jù)存儲需求都在急劇增長，對傳統(tǒng)HPC技術(shù)提出了挑戰(zhàn)。”賴能和表示，無論是從總套數(shù)、每套核數(shù)、還是每套的計算性能上來看，油氣行業(yè)的高性能計算系統(tǒng)的水平都在提高，這說明高精度的地震成像、地質(zhì)勘探算法需要海量的處理器資源，但既然已經(jīng)買了很多的處理器，且處理器的性能提升越來越快，甚至“僅從計算量上來看已經(jīng)問題不大”，但為什么卻仍然難以滿足需求，無法得到更精確的處理結(jié)果呢?
賴能和答案是“效率”：“我們以前處理器的效率非常低，最高才百分之十幾，最低的時候只有2%，后來優(yōu)化之后，效率最高能夠接近40%，但是低的時候也只有15%，關(guān)鍵是要提高計算集群的效率。”賴能和提出，針對海量數(shù)據(jù)的高性能計算解決方案，要從五個角度來解決問題：
1、 高性能：采用最先進(jìn)的CPU、PCIe架構(gòu)
2、 高配置：采用大內(nèi)存、大內(nèi)置盤
3、 高帶寬：采用全線速、無阻塞的高速網(wǎng)
4、 高效率：采用高可擴(kuò)展的并行存儲系統(tǒng)
5、 高吞吐：針對不同應(yīng)用，選擇存儲軟硬件架構(gòu)
“你像我們的第一套系統(tǒng)，投入了2000多萬，全部使用高性能并行存儲系統(tǒng)、10GbE萬兆以太網(wǎng)，而且都裝了5塊15k轉(zhuǎn)的6G SAS硬盤，使用雙路英特爾E5-2670服務(wù)器，經(jīng)過調(diào)優(yōu)后，并發(fā)運行后的效率從之前的最低3.65%現(xiàn)在提高到了44.37%。”賴能和說，這一數(shù)據(jù)實際上還有提升的空間，“通過優(yōu)化配置，處理器的利用率能夠大幅度提升，我的觀點是，先不用著急買處理器，先把自己現(xiàn)在的處理器用好了再說。況且用好了現(xiàn)在的東西，才好說再去買，到時候就可以說‘你看，我們已經(jīng)用的很好了’。”
賴能和還展示了一套大約2、3年前采購得高密度海量處理系統(tǒng)(基于至強(qiáng)X5660雙路服務(wù)器)的優(yōu)化結(jié)果：通過擴(kuò)展24GB內(nèi)存到96GB，增加計算節(jié)點內(nèi)置盤及更換512K Cache的RAID卡，全面升級萬兆以太網(wǎng)，新增14個計算和I/O節(jié)點，并使用并行存儲系統(tǒng)取代原有的普通存儲——在作業(yè)數(shù)為10、50、100的測試中，此次改造分別提高了4倍、10倍和8倍。
“馬上我們計劃第三、四套高密度海量處理系統(tǒng)，除了使用英特爾至強(qiáng)E5-2670雙路服務(wù)器之外，我們會加大內(nèi)存、內(nèi)置盤以及使用萬兆以太網(wǎng)，只有這樣才不會浪費處理器極大的計算資源。”賴能和表示，使用高性能的處理器，必須要在網(wǎng)絡(luò)、內(nèi)置盤、帶寬等層面予以全面配合，再加上協(xié)處理器，才能夠達(dá)到想要的效果，處理器的效率才能夠發(fā)揮出來，因此他對HPC新技術(shù)的應(yīng)用提出了基于石油行業(yè)的需求與展望。
1、 CPU+協(xié)處理器組成的協(xié)同計算平臺：基于多核、眾核CPU技術(shù)、CPU+協(xié)處理器或CPU+GPU組成的HPC和多路服務(wù)器仍將成為主要的應(yīng)用平臺。
2、 高性能并行存儲軟硬件系統(tǒng)及固態(tài)硬盤SSD技術(shù)：以大容量、高性能、低功耗、低熱量和低噪音的并行存儲和新型節(jié)能存儲介質(zhì)技術(shù)將高速發(fā)展。
3、 高速網(wǎng)絡(luò)技術(shù)：萬兆網(wǎng)絡(luò)技術(shù)將成為應(yīng)用主流。
4、 基于水冷等新型節(jié)能技術(shù)，將成為關(guān)注的重點。
5、 云或移動計算平臺：基于計算、存儲、可視化資源池等基礎(chǔ)設(shè)施整合的新的商業(yè)模式，將向用戶提供服務(wù)。
張鐵鋼：老油田比新油田“有料”
“地質(zhì)學(xué)家有一個論斷：‘在一個大油田，已知油田中發(fā)現(xiàn)的儲量要比在新區(qū)發(fā)現(xiàn)的油田的儲量多60%’ ，甚至于說基本上新的油氣資源都是在老油田之間更深的地方找到的。”中國石油大慶油田公司勘探開發(fā)研究院總工程師張鐵鋼在接受DOIT記者采訪時表示，在中國的油氣行業(yè)，每年都可以找到新的油田——正是在老油田或是老油田之間，他表示，無論是老油田煥發(fā)青春，還是繼續(xù)發(fā)掘新的油氣資源，對老油田的深耕必不可少。
因此，在我國傳統(tǒng)的油氣資源產(chǎn)區(qū)大慶油田，“利用多種綜合勘探手段判斷潛在資源”，是現(xiàn)在最重要的挖掘油氣資源的方式，據(jù)張鐵鋼介紹，最近幾年，大慶油田通過不斷挖掘老油田、老油田之間油氣產(chǎn)區(qū)的資源，不僅完成了國家要求的穩(wěn)產(chǎn)任務(wù)，而且現(xiàn)在的油氣產(chǎn)量并不比20、30年前差，作為開采已經(jīng)幾十年的老油田，“大慶穩(wěn)產(chǎn)4000萬噸”的目標(biāo)仍然年年實現(xiàn)。
但實現(xiàn)穩(wěn)產(chǎn)、挖掘老油氣田資源，老油田比新油田“有料”不是簡簡單單就能夠完成的任務(wù)，從油氣資源成像上來看，產(chǎn)油的致密砂巖和不含油的砂巖密度差不多，原來油氣資源豐富的時候，勘探開采比較容易，技術(shù)探測相對比較簡單，但“現(xiàn)在的判斷復(fù)雜度就高很多了，資源勘探的采集數(shù)據(jù)的密度較要加大，以前采集間隔小、數(shù)據(jù)量小，現(xiàn)在網(wǎng)格采集的密度則非常高，采集的點覆蓋密度小可能就遺漏了。”
張鐵鋼表示，如今大慶油氣勘探數(shù)據(jù)采集的密度越來越高，正如賴能和在會議演講上所說的：“要高密度、高覆蓋的采集數(shù)據(jù)，挖掘更多的油氣資源。”，但這樣做的成果也非常顯著，不僅是老油田大慶實現(xiàn)了年年穩(wěn)產(chǎn)，我國位居老油田前列的克拉瑪依和勝利油田，“年年都能找到新的油田”，這其中，勝利油田就通過三維全覆蓋技術(shù)以及高密度三維技術(shù)，不斷發(fā)現(xiàn)了新的油氣資源。
支撐三維全覆蓋技術(shù)、高密度三維技術(shù)的關(guān)鍵是先進(jìn)的工程建設(shè)與科學(xué)計算技術(shù)，如張鐵鋼來說“技術(shù)的進(jìn)步就會帶來資源的解放”。
“以往做地震、地質(zhì)測試研究，區(qū)塊都比較小，數(shù)據(jù)量很小，幾十GB很多，但是現(xiàn)在高密度采集48平方公里，16TB的數(shù)據(jù)，尤其是針對已經(jīng)開發(fā)過的油場，進(jìn)行二次勘探，數(shù)據(jù)量更大、難度更大。”張鐵鋼介紹，現(xiàn)在使用高性能計算系統(tǒng)、多路服務(wù)器、英特爾至強(qiáng)處理器、高性能存儲系統(tǒng)，多方協(xié)同三維數(shù)據(jù)解析的工作進(jìn)展順利，而基于虛擬化技術(shù)讓兩個專業(yè)軟件同時運行，“這在以前是不可想象的”。
除此以外，在會議的演講上，張鐵鋼還介紹了大慶使用云計算技術(shù)構(gòu)建云門戶的經(jīng)驗，通過構(gòu)建云計算門戶，大慶油田在內(nèi)部服務(wù)、勘探資源的調(diào)配和快速上線上，獲得了很大的收益，而利用虛擬化技術(shù)對門戶服務(wù)器的優(yōu)化，目前大慶油田門戶服務(wù)器的利用高達(dá)70%，專業(yè)應(yīng)用的系統(tǒng)利用率從20%提升到了40%，并“利用虛擬機(jī)管理許可證，隨時利用空閑許可證，讓資源靈活和浮動起來。”
“機(jī)器的性能和效率提高了，人的效率也就提高了，雖然初期需要購買一些管理軟件，但長期的效益是巨大的。”張鐵鋼向記者表示。
英特爾服務(wù)高性能計算：不止是CPU
無論是賴能和還是張鐵鋼，他們已經(jīng)意識到，單純依靠CPU提高工作負(fù)載能力、加速石油行業(yè)高性能計算性能的時代已經(jīng)一去不復(fù)返，在英特爾的處理器——至強(qiáng)和至強(qiáng)融核——不斷加速并將其他IO遠(yuǎn)遠(yuǎn)甩在身后的情形下，提高高性能計算的性能，正在成為一場“全面戰(zhàn)爭”。
在這場戰(zhàn)爭中，需要被現(xiàn)代化的包括一長串名單：更快的、更大容量的內(nèi)存;應(yīng)當(dāng)被閃存(或者說是SSD)取代的運轉(zhuǎn)緩慢的傳統(tǒng)磁盤;無法響應(yīng)網(wǎng)絡(luò)需求帶寬嚴(yán)重滯后的1Gb以太網(wǎng);應(yīng)當(dāng)更具擴(kuò)展性的文件系統(tǒng)，凡此種種，這不僅是賴能和與張鐵鋼們的挑戰(zhàn)，也是英特爾的挑戰(zhàn)。
因此，在高性能計算行業(yè)，英特爾所提供的產(chǎn)品并不僅限于英特爾至強(qiáng)和至強(qiáng)融核處理器，而是一個全面的高性能計算效率與性能提高的方案。
首先，英特爾如今在提供面向數(shù)據(jù)中心的DC S3500和S3700固態(tài)硬盤，這兩款產(chǎn)品雖然都基于SATA接口，但提供了足夠高性能計算平臺所需要的隨機(jī)小塊讀寫性能，以及更長期的壽命，而在PCIe閃存卡領(lǐng)域，英特爾的910系列閃存卡則更能夠顯著提高高性能計算系統(tǒng)每節(jié)點的IO吞吐量。
其次，英特爾一直在以太網(wǎng)領(lǐng)域提供大量的技術(shù)、產(chǎn)品和知識產(chǎn)權(quán)，英特爾不僅提供萬兆網(wǎng)以太網(wǎng)適配器，現(xiàn)在還在提供融合網(wǎng)絡(luò)適配器X520、X540系列，其中絕大部分都使用英特爾自己的控制器。
第三，英特爾在高性能計算的編譯器、編程工具等領(lǐng)域，提供了大量基于標(biāo)準(zhǔn)的開發(fā)、編程工具以及不少行業(yè)標(biāo)準(zhǔn)的編譯器。這些工具包括了VTune性能分析器、英特爾編譯器(Intel Compilers)、Intel Thread Checker、Intel Performance Libraries、Intel Threading Tools、Intel Cluster Tools等，它們可以幫助高性能計算應(yīng)用軟件開發(fā)商或最終用戶分析自己的高性能計算系統(tǒng)及應(yīng)用軟件特性，并最大限度優(yōu)化其高性能計算機(jī)軟硬件系統(tǒng)，發(fā)掘其最大性能潛力。
第四，針對高性能計算目前的文件系統(tǒng)問題，英特爾自2012年收購超級計算機(jī)集群解決方案文件系統(tǒng)Lustre之后，今年正式發(fā)布了英特爾發(fā)行版的Lustre文件系統(tǒng)，有效的提高了這一文件系統(tǒng)及大量高性能計算系統(tǒng)的的文件存儲能力。
除此以外，英特爾公司還推出了“真實應(yīng)用負(fù)載計劃”，來幫助用戶針對其真實的應(yīng)用負(fù)載，而非通用的基準(zhǔn)測試軟件來進(jìn)行調(diào)優(yōu)，從而幫助他們從自己的系統(tǒng)上獲取最大化的收益——從以上這些內(nèi)容來看，英特爾在高性能計算領(lǐng)域絕不僅僅是推動CPU的升級和發(fā)展那么簡單，再有可能成為高性能計算瓶頸的任何地方，英特爾都在投入技術(shù)、精力和時間，從而形成全面的高性能計算技術(shù)、產(chǎn)品提供商。
熱點文章
微信公眾平臺：搜索"doitmedia"
或掃描下面的二維碼：
