中國(guó)石油東方地球物理公司研究院數(shù)據(jù)處理中心總工程師賴能和老師演講現(xiàn)場(chǎng)

賴?yán)蠋熓紫茸隽俗晕医榻B，石油東方地球物理公司研究院工作時(shí)間長(zhǎng)，1983年一直在做計(jì)算機(jī)這方面的工作。石油東方地球物理公司就是跟地球近地表，也就是在20公里的近地表差不多，給它做一些CT，把近地表的情況地下情況搞清楚。怎么做呢?實(shí)際上就是通過(guò)人工地震，通過(guò)發(fā)射地震波，向地下傳播以后，巖石、泥土、沙、石、水泥反射的系數(shù)不一樣，把這個(gè)反射回來(lái)，把信號(hào)接收的數(shù)據(jù)采集，然后進(jìn)行處理。在40多個(gè)國(guó)家有機(jī)構(gòu)，國(guó)外的營(yíng)業(yè)額超過(guò)60%左右， 26000個(gè)員工，有9萬(wàn)CPU核、80萬(wàn)GPU核、超過(guò)35PB存儲(chǔ)。35PB就是保持這個(gè)量，運(yùn)算能力達(dá)到2PFlops。公司是高端服務(wù)器。自己還做軟件開(kāi)發(fā)，體系裝備、制造，國(guó)內(nèi)國(guó)外還有很多數(shù)據(jù)中心，還有很多勘探床，一條勘探床好幾十個(gè)億。

然后分享的就是SSD技術(shù)在海量地震數(shù)據(jù)處理中是怎么應(yīng)用?為什么要用SSD?SSD用到哪些地方?解決什么問(wèn)題?通過(guò)這個(gè)報(bào)告，讓大家了解三件事。第一、了解一下石油勘探進(jìn)入了大數(shù)據(jù)時(shí)代。很多人都說(shuō)大數(shù)據(jù)時(shí)代，什么是大數(shù)據(jù)，各行真的不一樣，我們是結(jié)構(gòu)化數(shù)據(jù)，確實(shí)很大。第二、海量數(shù)據(jù)對(duì)高性能計(jì)算帶來(lái)哪些挑戰(zhàn)和機(jī)遇?第三、針對(duì)海量數(shù)據(jù)會(huì)存在很多技術(shù)問(wèn)題，包括軟件問(wèn)題和硬件問(wèn)題，還有很多算法問(wèn)題，有哪些地方可以用SSD?為什么要用SSD?如果不用SSD行不行?當(dāng)然是不行。

第一部分，油氣勘探進(jìn)入大數(shù)據(jù)時(shí)代。要搞石油的，跟IT有什么關(guān)系? IT用的比例最多的就是在油氣勘探上面，IT和油氣勘探密不可分。計(jì)算機(jī)是我們找油找氣的核心。第一、我們要有強(qiáng)大的計(jì)算機(jī)，這個(gè)強(qiáng)大到什么程度?“天河一號(hào)”這樣的計(jì)算機(jī)。第二、還要有很精確的算法，就是反射的速度要搞清楚。第二、還有一個(gè)質(zhì)量很重要，這一口井打下去，非常貴。所以，計(jì)算機(jī)和油氣勘探是密不可分的，所以這是一個(gè)。第二、我們找石油就是通過(guò)地面，由車(chē)輛激發(fā)波，然后地下反射回來(lái)，產(chǎn)生數(shù)據(jù)。數(shù)據(jù)有多大?勘探車(chē)有，有24個(gè)氣槍同時(shí)發(fā)射，漫射回來(lái)。另外，現(xiàn)在計(jì)算機(jī)技術(shù)發(fā)展以后，存儲(chǔ)技術(shù)發(fā)展以后，勘探也有很大的變化，以前是一臺(tái)機(jī)器干活，效率太低了。大數(shù)據(jù)怎么來(lái)的?比如有十臺(tái)機(jī)器，二十臺(tái)機(jī)器同時(shí)在做，零點(diǎn)幾秒，或者幾秒鐘同時(shí)接收，然后分析，這是一個(gè)很大的難題。像這種采集方法，會(huì)對(duì)我們數(shù)據(jù)產(chǎn)生非常大的影響。一個(gè)小隊(duì)每天產(chǎn)生的數(shù)據(jù)7TB到10TB，沙特一天一個(gè)小隊(duì)的數(shù)據(jù)25T，當(dāng)天晚上還要回到室內(nèi)倒出去，倒到另外的設(shè)備上，第二、還要把25T的數(shù)據(jù)處理，25T數(shù)據(jù)讀要花多長(zhǎng)時(shí)間，還要處理，如果沒(méi)有問(wèn)題，第二天天一亮接著施工，這個(gè)隊(duì)伍一耽誤就是上百萬(wàn)的資金投入，所以這是大數(shù)據(jù)怎么來(lái)的。

很多人說(shuō)大數(shù)據(jù)對(duì)油氣勘探有什么意義?我們做CT，我們搞石油也是一樣，采集的點(diǎn)數(shù)精度高，肯定計(jì)算量太大，所以我們也是一樣的，我們搞石油勘探，把點(diǎn)數(shù)加密以后，對(duì)提高成像，搞清楚地下構(gòu)造搞得更清楚了，看得清清楚楚。不能說(shuō)百分之百，現(xiàn)在看得更清楚了，我們就可以看到?，F(xiàn)在這個(gè)是300米一條線，在國(guó)外已經(jīng)達(dá)到50米的條線，新疆是500米左右，后續(xù)還有很多工作要做，新疆塔里木大沙漠里頭，是500米的條線。上面是常規(guī)的，后面是高密度的，這個(gè)常規(guī)的信號(hào)，信息的上下都沒(méi)有，高密度以后，全方位的信息都有了，來(lái)自各個(gè)方面的信息都很清楚，這樣對(duì)地下構(gòu)造肯定搞得很清楚。這叫寬方位的采集，把360度方向的信息全收集起來(lái)，把地下搞清楚。

常規(guī)的采集與高密度采集，整個(gè)地下構(gòu)造用大數(shù)據(jù)看得很清楚。包括地下哪個(gè)地方有油，哪個(gè)地方有水，有沙，有裂縫都搞得更精細(xì)了。這個(gè)代價(jià)就是要非常多的計(jì)算資源，要很多存儲(chǔ)。

第三、高密度，這種技術(shù)，因?yàn)楝F(xiàn)在我們的勘探技術(shù)已經(jīng)有了，IT的成本也下來(lái)了，所以這種采集方法一種新的趨勢(shì)，在國(guó)外非常普及，數(shù)據(jù)量會(huì)越來(lái)越大。歐洲一個(gè)雜志的數(shù)據(jù)顯示，數(shù)據(jù)和以前比，道密度增加2500倍，現(xiàn)在幾百T的數(shù)據(jù)是很正常的，這是真正的大數(shù)據(jù)。

那么大數(shù)據(jù)對(duì)我們計(jì)算機(jī)，很多人說(shuō)，數(shù)據(jù)要慢慢做。那么大數(shù)據(jù)只給你一點(diǎn)時(shí)間，時(shí)間不多。帶來(lái)哪些機(jī)遇和挑戰(zhàn)?一個(gè)就是計(jì)算資源不夠，我們現(xiàn)在計(jì)算機(jī)的技術(shù)，目前我們國(guó)內(nèi)計(jì)算機(jī)的技術(shù)只能滿足也就是三年前的計(jì)算機(jī)的技術(shù)水平，遠(yuǎn)遠(yuǎn)不夠。我們現(xiàn)在為什么還要超算中心，后面每上一個(gè)臺(tái)階的算法都差好幾十倍，甚至上百倍的計(jì)算量，就是往上走，算法可能很多人學(xué)過(guò)數(shù)學(xué)，渦輪方程，往上走一步，邊界系數(shù)加一個(gè)，多一項(xiàng)，那計(jì)算量是多很多很多了。

我們目前整個(gè)計(jì)算能力，計(jì)算技術(shù)還是遠(yuǎn)遠(yuǎn)沒(méi)法滿足油氣勘探這方面的需求，跟國(guó)外還是有點(diǎn)差距。我們幾萬(wàn)多個(gè)CPU在國(guó)內(nèi)是最大的，斯倫貝謝是25萬(wàn)核，我們才9萬(wàn)核，還是有差距，所以跟國(guó)外的發(fā)達(dá)國(guó)家，全球最大的公司還是有差距。但是，我們目前來(lái)說(shuō)，對(duì)解決我們國(guó)內(nèi)問(wèn)題還是可以的。

再舉個(gè)例子，我每一個(gè)項(xiàng)目，第一個(gè)投入1000個(gè)CPU，做一步，40天，第二行，4096個(gè)CPU，做60天，8432個(gè)CPU做4天，9000多CPU還做7天。剛才說(shuō)有一個(gè)算法，往前走一步，計(jì)算量增加很多。咱們做相機(jī)一樣，象素往上走一步，計(jì)算機(jī)芯片處理的速度就有很高的不穩(wěn)定。

第二、存儲(chǔ)，量非常大，每年十幾個(gè)P的存儲(chǔ)的增加，干什么用?比如50T的項(xiàng)目要把它完成至少要有1000T的裸容量給它，因?yàn)樗泻脦撞降牡?，所以這是非?？膳碌氖虑椤?/p>

第三、這種海量數(shù)據(jù)對(duì)我們的計(jì)算機(jī)，整個(gè)的一些特性也提出很多挑戰(zhàn)。我們這個(gè)挑戰(zhàn)一個(gè)就是我們現(xiàn)在的計(jì)算機(jī)的價(jià)格，處理海量數(shù)據(jù)肯定不靈，因?yàn)槲覀儾扇∫恍┨厥獾募夹g(shù)，還要進(jìn)行優(yōu)化配置。第二、機(jī)器把它用好不容易，怎么把它用好。還有那么大的存儲(chǔ)，不是每一家公司買(mǎi)來(lái)就能用，買(mǎi)來(lái)怎么整合好，怎么用好，不是那么簡(jiǎn)單，幾千T的存儲(chǔ)數(shù)據(jù)在上面，數(shù)據(jù)丟了就完蛋了，我們對(duì)它的穩(wěn)定性，對(duì)它的管理，以及它怎么好用，對(duì)存儲(chǔ)提出很大的挑戰(zhàn)。第三、要解決存儲(chǔ)，像CPU很快，存儲(chǔ)還是相對(duì)慢的，怎么結(jié)果IO瓶頸問(wèn)題地另外，按照過(guò)去的算法做，肯定不行，至少要多線程，計(jì)算并行，或者算法并行，這樣才能很快把數(shù)據(jù)處理完。另外就是能耗，這個(gè)能耗很厲害，我們一年電費(fèi)好幾千萬(wàn)。一萬(wàn)T的存儲(chǔ)，多少電?但是因?yàn)槊總€(gè)機(jī)房的電是有限的，很多技術(shù)問(wèn)題。所以，對(duì)我們高密度的系統(tǒng)，一個(gè)是配置很高。

那么，剛才看到為什么油氣會(huì)造成大數(shù)據(jù)，大數(shù)據(jù)對(duì)油氣勘探帶來(lái)什么新的機(jī)遇和挑戰(zhàn)，肯定需要更高性能的計(jì)算機(jī)，機(jī)遇也來(lái)了，咱們挑戰(zhàn)是怎么解決這些問(wèn)題。

下面我們跟大家分享一下。第一、我們要高配置，內(nèi)存、硬盤(pán)、散熱、五個(gè)128G的內(nèi)存，5T的盤(pán)在里頭，散熱不好根本不行，因?yàn)槲业臋C(jī)器365天在那兒轉(zhuǎn)，還不能出故障，這樣對(duì)它的高配置，特別是散熱要求非常高。第二、高帶寬，無(wú)阻塞，低延遲的萬(wàn)兆以上的交換網(wǎng)。第三、存儲(chǔ)，就是高性能，可擴(kuò)展，橫向擴(kuò)展，另外就是并行存儲(chǔ)。第四、因?yàn)槭呛Ａ繑?shù)據(jù)，它要做并發(fā)計(jì)算，還不是并行計(jì)算，大并發(fā)，就是同時(shí)要發(fā)送幾千個(gè)作業(yè)上去，幾千個(gè)，機(jī)器要死了。第五、就是穩(wěn)定的大規(guī)模的并行處理系統(tǒng)，就是一個(gè)文件進(jìn)去，一個(gè)文件出來(lái)。

舉個(gè)例子，就是I/O密集型的，一個(gè)是網(wǎng)絡(luò)配置很高，另外配Xeon的存儲(chǔ)系統(tǒng)，這是I/O密集型的，第二、計(jì)算密集型的，全靠CPU不行，肯定要加GPU等，盤(pán)都是有很好的盤(pán)，還有NVidia網(wǎng)絡(luò)，這是第二個(gè)例子。

第三就是大存儲(chǔ)，大存儲(chǔ)跟小存儲(chǔ)區(qū)別很大，小規(guī)模的比如送十個(gè)作業(yè)的時(shí)候，大存儲(chǔ)，小存儲(chǔ)關(guān)系不大，看不出來(lái)。20個(gè)作業(yè)的時(shí)候，有差別了，大存儲(chǔ)就370億秒就做完了，小存儲(chǔ)要1000多秒，到50個(gè)作業(yè)并發(fā)的時(shí)候，就更大了，3000多秒，4000多秒，100個(gè)作業(yè)送上去的時(shí)候，是700秒。多花錢(qián)是有好處的，性能肯定不一樣，跟領(lǐng)導(dǎo)說(shuō)清楚，不是便宜的東西就是好的，有些東西多花錢(qián)還是有好處的，其實(shí)貴帶來(lái)的是效益，要跟領(lǐng)導(dǎo)說(shuō)清楚，都會(huì)同意買(mǎi)好一點(diǎn)的東西。

第四、我們剛剛說(shuō)了海量數(shù)據(jù)處理對(duì)存儲(chǔ)并發(fā)作業(yè)要求很高。舉個(gè)例子，54T的數(shù)據(jù)，同時(shí)發(fā)1400多個(gè)作業(yè)，就是1400多個(gè)節(jié)點(diǎn)要對(duì)付他，你做你的，我做我的，做完結(jié)果再總結(jié)，這是并發(fā)的要求高。

那么，SSD怎么起作用呢?我們舉個(gè)例子，數(shù)據(jù)量大了以后，計(jì)算機(jī)節(jié)點(diǎn)，單節(jié)點(diǎn)，包括服務(wù)器里的內(nèi)置盤(pán)非常大。舉個(gè)例子，你說(shuō)我有單塊盤(pán)，花了137分鐘，我用SSD36分鐘就做完了，但是肯定不止這個(gè)速度，因?yàn)樗@邊很多因素綜合，你要光從系統(tǒng)層級(jí)測(cè)試可能差別沒(méi)有那么小。這是I/O。

第二個(gè)就是算法，就是隨機(jī)存儲(chǔ)，存儲(chǔ)多了，用SSD盤(pán)，或者普通的盤(pán)有什么差別呢?從這個(gè)看到，SSD的盤(pán)性能肯定要超過(guò)其他友商的盤(pán)，SSD不到7個(gè)小時(shí)做完了，普遍盤(pán)要做12個(gè)小時(shí)。

第七個(gè)例子，SSD作為數(shù)據(jù)庫(kù)的節(jié)點(diǎn)，數(shù)據(jù)庫(kù)的存儲(chǔ)，數(shù)據(jù)庫(kù)都是隨機(jī)存取，非常多，尤其海量數(shù)據(jù)。所以，我們Oracle數(shù)據(jù)庫(kù)服務(wù)器都配一些卡，一個(gè)卡2.4T。另外就是算法，這個(gè)也是一個(gè)例子，數(shù)據(jù)量很小很小，普通盤(pán)子136秒，這個(gè)就是64秒就做完了，也就是兩倍多左右，這對(duì)我們解決一些特殊的應(yīng)用，算法還是非常有希望的。這個(gè)例子就是83T的數(shù)據(jù)，156億總道數(shù)。這個(gè)要做18天，我用SSD盤(pán)三天多就做完了，每個(gè)行業(yè)都是優(yōu)先，特殊的一些算法，對(duì)它的應(yīng)用效果還是非常明顯。

最后一個(gè)就是用在海量存儲(chǔ)的加速器。這全部是最高端的存儲(chǔ)，其實(shí)這些存儲(chǔ)哪個(gè)都有優(yōu)缺點(diǎn)，怎么來(lái)解決呢?我們用加速卡，有些存儲(chǔ)它的I/O之做批量作業(yè)很快，但是一打命令就死了，加上加速卡以后，把這個(gè)問(wèn)題解決了?，F(xiàn)在做交付處理，像我們?nèi)陌偃送瑫r(shí)做交互處理，三四百人同時(shí)用這個(gè)機(jī)器，存儲(chǔ)加速卡還是起很大的作用，如果對(duì)作業(yè)，像這種存儲(chǔ)，對(duì)作業(yè)影響不是太大，1800多秒，慢200多秒無(wú)所謂，但是300多秒，變成19秒就不一樣了。

我們另外一套存儲(chǔ)，我們也是加加速卡，這一套存儲(chǔ)2000T，做I/O ROM，他加了加速卡，加加速卡肯定是有效的，多掏一點(diǎn)錢(qián)，我們跟上面領(lǐng)導(dǎo)說(shuō)，我買(mǎi)的就是最貴的存儲(chǔ)，就是這個(gè)設(shè)備，領(lǐng)導(dǎo)說(shuō)你搞這一行的，得自己想辦法，別問(wèn)我。那你就得琢磨去。通過(guò)做加速，通過(guò)混合，包括跟服務(wù)器，服務(wù)器這個(gè)層級(jí)的內(nèi)置盤(pán)和SSD盤(pán)，混合盤(pán)整體的應(yīng)用，我覺(jué)得這方面都是我們下一步要做的。比如并行軟件，對(duì)我們整個(gè)并行存儲(chǔ)性能的提升影響非常大。我們有非常多的例子，我們所有存儲(chǔ)都是并行存儲(chǔ)。

地震勘探我們已經(jīng)進(jìn)入了一個(gè)高密度，大數(shù)據(jù)的時(shí)代。我們的計(jì)算量和計(jì)算量的一些算法會(huì)越來(lái)越大，復(fù)雜度也越來(lái)越增加，對(duì)我們的計(jì)算機(jī)一是要求穩(wěn)定性，第二、更大規(guī)模。第二、對(duì)我們計(jì)算機(jī)的配置要求越來(lái)越高，現(xiàn)在有效算法，都要三四百GB的內(nèi)存才能解決這個(gè)問(wèn)題，這樣我們探討是不是要內(nèi)存的存儲(chǔ)，我們都在想辦法，對(duì)高性能的存儲(chǔ)，還有一個(gè)是對(duì)應(yīng)用軟件，針對(duì)我們一些應(yīng)用軟件的算法才有不同的存儲(chǔ)，來(lái)有效的提高我們整個(gè)生產(chǎn)的效率。我們相信以大容量、低功耗、穩(wěn)定的高性能并行存儲(chǔ)和SSD技術(shù)為解決海量地震數(shù)據(jù)處理提供了有利條件。通過(guò)這幾年的應(yīng)用，SSD用了四年多了，這樣對(duì)我們解決一些復(fù)雜的算法和海量數(shù)據(jù)起到了非常關(guān)鍵的作用!

sunyingying