2014年7月31日，由DOIT傳媒和存儲在線主辦，戴爾、惠普、華為、IBM、因特爾贊助的2014中國閃存峰會在亮馬河飯店盛大開幕，回顧下午分會場一的存儲應(yīng)用分論壇中由中國石油東方地球物理公司研究院數(shù)據(jù)處理中心總工程師賴能和老師為我們帶來“SSD技術(shù)在海量地震數(shù)據(jù)處理中的應(yīng)用”的主題演講，下面是賴能和老師演講內(nèi)容介紹：

中國石油東方地球物理公司研究院數(shù)據(jù)處理中心總工程師賴能和老師演講現(xiàn)場

賴?yán)蠋熓紫茸隽俗晕医榻B，石油東方地球物理公司研究院工作時(shí)間長，1983年一直在做計(jì)算機(jī)這方面的工作。石油東方地球物理公司就是跟地球近地表，也就是在20公里的近地表差不多，給它做一些CT，把近地表的情況地下情況搞清楚。怎么做呢?實(shí)際上就是通過人工地震，通過發(fā)射地震波，向地下傳播以后，巖石、泥土、沙、石、水泥反射的系數(shù)不一樣，把這個(gè)反射回來，把信號接收的數(shù)據(jù)采集，然后進(jìn)行處理。在40多個(gè)國家有機(jī)構(gòu)，國外的營業(yè)額超過60%左右， 26000個(gè)員工，有9萬CPU核、80萬GPU核、超過35PB存儲。35PB就是保持這個(gè)量，運(yùn)算能力達(dá)到2PFlops。公司是高端服務(wù)器。自己還做軟件開發(fā)，體系裝備、制造，國內(nèi)國外還有很多數(shù)據(jù)中心，還有很多勘探床，一條勘探床好幾十個(gè)億。

然后分享的就是SSD技術(shù)在海量地震數(shù)據(jù)處理中是怎么應(yīng)用?為什么要用SSD?SSD用到哪些地方?解決什么問題?通過這個(gè)報(bào)告，讓大家了解三件事。第一、了解一下石油勘探進(jìn)入了大數(shù)據(jù)時(shí)代。很多人都說大數(shù)據(jù)時(shí)代，什么是大數(shù)據(jù)，各行真的不一樣，我們是結(jié)構(gòu)化數(shù)據(jù)，確實(shí)很大。第二、海量數(shù)據(jù)對高性能計(jì)算帶來哪些挑戰(zhàn)和機(jī)遇?第三、針對海量數(shù)據(jù)會存在很多技術(shù)問題，包括軟件問題和硬件問題，還有很多算法問題，有哪些地方可以用SSD?為什么要用SSD?如果不用SSD行不行?當(dāng)然是不行。

第一部分，油氣勘探進(jìn)入大數(shù)據(jù)時(shí)代。要搞石油的，跟IT有什么關(guān)系? IT用的比例最多的就是在油氣勘探上面，IT和油氣勘探密不可分。計(jì)算機(jī)是我們找油找氣的核心。第一、我們要有強(qiáng)大的計(jì)算機(jī)，這個(gè)強(qiáng)大到什么程度?“天河一號”這樣的計(jì)算機(jī)。第二、還要有很精確的算法，就是反射的速度要搞清楚。第二、還有一個(gè)質(zhì)量很重要，這一口井打下去，非常貴。所以，計(jì)算機(jī)和油氣勘探是密不可分的，所以這是一個(gè)。第二、我們找石油就是通過地面，由車輛激發(fā)波，然后地下反射回來，產(chǎn)生數(shù)據(jù)。數(shù)據(jù)有多大?勘探車有，有24個(gè)氣槍同時(shí)發(fā)射，漫射回來。另外，現(xiàn)在計(jì)算機(jī)技術(shù)發(fā)展以后，存儲技術(shù)發(fā)展以后，勘探也有很大的變化，以前是一臺機(jī)器干活，效率太低了。大數(shù)據(jù)怎么來的?比如有十臺機(jī)器，二十臺機(jī)器同時(shí)在做，零點(diǎn)幾秒，或者幾秒鐘同時(shí)接收，然后分析，這是一個(gè)很大的難題。像這種采集方法，會對我們數(shù)據(jù)產(chǎn)生非常大的影響。一個(gè)小隊(duì)每天產(chǎn)生的數(shù)據(jù)7TB到10TB，沙特一天一個(gè)小隊(duì)的數(shù)據(jù)25T，當(dāng)天晚上還要回到室內(nèi)倒出去，倒到另外的設(shè)備上，第二、還要把25T的數(shù)據(jù)處理，25T數(shù)據(jù)讀要花多長時(shí)間，還要處理，如果沒有問題，第二天天一亮接著施工，這個(gè)隊(duì)伍一耽誤就是上百萬的資金投入，所以這是大數(shù)據(jù)怎么來的。

很多人說大數(shù)據(jù)對油氣勘探有什么意義?我們做CT，我們搞石油也是一樣，采集的點(diǎn)數(shù)精度高，肯定計(jì)算量太大，所以我們也是一樣的，我們搞石油勘探，把點(diǎn)數(shù)加密以后，對提高成像，搞清楚地下構(gòu)造搞得更清楚了，看得清清楚楚。不能說百分之百，現(xiàn)在看得更清楚了，我們就可以看到�，F(xiàn)在這個(gè)是300米一條線，在國外已經(jīng)達(dá)到50米的條線，新疆是500米左右，后續(xù)還有很多工作要做，新疆塔里木大沙漠里頭，是500米的條線。上面是常規(guī)的，后面是高密度的，這個(gè)常規(guī)的信號，信息的上下都沒有，高密度以后，全方位的信息都有了，來自各個(gè)方面的信息都很清楚，這樣對地下構(gòu)造肯定搞得很清楚。這叫寬方位的采集，把360度方向的信息全收集起來，把地下搞清楚。

常規(guī)的采集與高密度采集，整個(gè)地下構(gòu)造用大數(shù)據(jù)看得很清楚。包括地下哪個(gè)地方有油，哪個(gè)地方有水，有沙，有裂縫都搞得更精細(xì)了。這個(gè)代價(jià)就是要非常多的計(jì)算資源，要很多存儲。

第三、高密度，這種技術(shù)，因?yàn)楝F(xiàn)在我們的勘探技術(shù)已經(jīng)有了，IT的成本也下來了，所以這種采集方法一種新的趨勢，在國外非常普及，數(shù)據(jù)量會越來越大。歐洲一個(gè)雜志的數(shù)據(jù)顯示，數(shù)據(jù)和以前比，道密度增加2500倍，現(xiàn)在幾百T的數(shù)據(jù)是很正常的，這是真正的大數(shù)據(jù)。

那么大數(shù)據(jù)對我們計(jì)算機(jī)，很多人說，數(shù)據(jù)要慢慢做。那么大數(shù)據(jù)只給你一點(diǎn)時(shí)間，時(shí)間不多。帶來哪些機(jī)遇和挑戰(zhàn)?一個(gè)就是計(jì)算資源不夠，我們現(xiàn)在計(jì)算機(jī)的技術(shù)，目前我們國內(nèi)計(jì)算機(jī)的技術(shù)只能滿足也就是三年前的計(jì)算機(jī)的技術(shù)水平，遠(yuǎn)遠(yuǎn)不夠。我們現(xiàn)在為什么還要超算中心，后面每上一個(gè)臺階的算法都差好幾十倍，甚至上百倍的計(jì)算量，就是往上走，算法可能很多人學(xué)過數(shù)學(xué)，渦輪方程，往上走一步，邊界系數(shù)加一個(gè)，多一項(xiàng)，那計(jì)算量是多很多很多了。

我們目前整個(gè)計(jì)算能力，計(jì)算技術(shù)還是遠(yuǎn)遠(yuǎn)沒法滿足油氣勘探這方面的需求，跟國外還是有點(diǎn)差距。我們幾萬多個(gè)CPU在國內(nèi)是最大的，斯倫貝謝是25萬核，我們才9萬核，還是有差距，所以跟國外的發(fā)達(dá)國家，全球最大的公司還是有差距。但是，我們目前來說，對解決我們國內(nèi)問題還是可以的。

再舉個(gè)例子，我每一個(gè)項(xiàng)目，第一個(gè)投入1000個(gè)CPU，做一步，40天，第二行，4096個(gè)CPU，做60天，8432個(gè)CPU做4天，9000多CPU還做7天。剛才說有一個(gè)算法，往前走一步，計(jì)算量增加很多。咱們做相機(jī)一樣，象素往上走一步，計(jì)算機(jī)芯片處理的速度就有很高的不穩(wěn)定。

第二、存儲，量非常大，每年十幾個(gè)P的存儲的增加，干什么用?比如50T的項(xiàng)目要把它完成至少要有1000T的裸容量給它，因?yàn)樗�有好幾步的迭代，所以這是非�？膳碌氖虑椤�

第三、這種海量數(shù)據(jù)對我們的計(jì)算機(jī)，整個(gè)的一些特性也提出很多挑戰(zhàn)。我們這個(gè)挑戰(zhàn)一個(gè)就是我們現(xiàn)在的計(jì)算機(jī)的價(jià)格，處理海量數(shù)據(jù)肯定不靈，因?yàn)槲覀儾扇∫恍┨厥獾募夹g(shù)，還要進(jìn)行優(yōu)化配置。第二、機(jī)器把它用好不容易，怎么把它用好。還有那么大的存儲，不是每一家公司買來就能用，買來怎么整合好，怎么用好，不是那么簡單，幾千T的存儲數(shù)據(jù)在上面，數(shù)據(jù)丟了就完蛋了，我們對它的穩(wěn)定性，對它的管理，以及它怎么好用，對存儲提出很大的挑戰(zhàn)。第三、要解決存儲，像CPU很快，存儲還是相對慢的，怎么結(jié)果IO瓶頸問題地另外，按照過去的算法做，肯定不行，至少要多線程，計(jì)算并行，或者算法并行，這樣才能很快把數(shù)據(jù)處理完。另外就是能耗，這個(gè)能耗很厲害，我們一年電費(fèi)好幾千萬。一萬T的存儲，多少電?但是因?yàn)槊總�(gè)機(jī)房的電是有限的，很多技術(shù)問題。所以，對我們高密度的系統(tǒng)，一個(gè)是配置很高。

那么，剛才看到為什么油氣會造成大數(shù)據(jù)，大數(shù)據(jù)對油氣勘探帶來什么新的機(jī)遇和挑戰(zhàn)，肯定需要更高性能的計(jì)算機(jī)，機(jī)遇也來了，咱們挑戰(zhàn)是怎么解決這些問題。

下面我們跟大家分享一下。第一、我們要高配置，內(nèi)存、硬盤、散熱、五個(gè)128G的內(nèi)存，5T的盤在里頭，散熱不好根本不行，因?yàn)槲业臋C(jī)器365天在那兒轉(zhuǎn)，還不能出故障，這樣對它的高配置，特別是散熱要求非常高。第二、高帶寬，無阻塞，低延遲的萬兆以上的交換網(wǎng)。第三、存儲，就是高性能，可擴(kuò)展，橫向擴(kuò)展，另外就是并行存儲。第四、因?yàn)槭呛Ａ繑?shù)據(jù)，它要做并發(fā)計(jì)算，還不是并行計(jì)算，大并發(fā)，就是同時(shí)要發(fā)送幾千個(gè)作業(yè)上去，幾千個(gè)，機(jī)器要死了。第五、就是穩(wěn)定的大規(guī)模的并行處理系統(tǒng)，就是一個(gè)文件進(jìn)去，一個(gè)文件出來。

舉個(gè)例子，就是I/O密集型的，一個(gè)是網(wǎng)絡(luò)配置很高，另外配Xeon的存儲系統(tǒng)，這是I/O密集型的，第二、計(jì)算密集型的，全靠CPU不行，肯定要加GPU等，盤都是有很好的盤，還有NVidia網(wǎng)絡(luò)，這是第二個(gè)例子。

第三就是大存儲，大存儲跟小存儲區(qū)別很大，小規(guī)模的比如送十個(gè)作業(yè)的時(shí)候，大存儲，小存儲關(guān)系不大，看不出來。20個(gè)作業(yè)的時(shí)候，有差別了，大存儲就370億秒就做完了，小存儲要1000多秒，到50個(gè)作業(yè)并發(fā)的時(shí)候，就更大了，3000多秒，4000多秒，100個(gè)作業(yè)送上去的時(shí)候，是700秒。多花錢是有好處的，性能肯定不一樣，跟領(lǐng)導(dǎo)說清楚，不是便宜的東西就是好的，有些東西多花錢還是有好處的，其實(shí)貴帶來的是效益，要跟領(lǐng)導(dǎo)說清楚，都會同意買好一點(diǎn)的東西。

第四、我們剛剛說了海量數(shù)據(jù)處理對存儲并發(fā)作業(yè)要求很高。舉個(gè)例子，54T的數(shù)據(jù)，同時(shí)發(fā)1400多個(gè)作業(yè)，就是1400多個(gè)節(jié)點(diǎn)要對付他，你做你的，我做我的，做完結(jié)果再總結(jié)，這是并發(fā)的要求高。

那么，SSD怎么起作用呢?我們舉個(gè)例子，數(shù)據(jù)量大了以后，計(jì)算機(jī)節(jié)點(diǎn)，單節(jié)點(diǎn)，包括服務(wù)器里的內(nèi)置盤非常大。舉個(gè)例子，你說我有單塊盤，花了137分鐘，我用SSD36分鐘就做完了，但是肯定不止這個(gè)速度，因?yàn)樗�這邊很多因素綜合，你要光從系統(tǒng)層級測試可能差別沒有那么小。這是I/O。

第二個(gè)就是算法，就是隨機(jī)存儲，存儲多了，用SSD盤，或者普通的盤有什么差別呢?從這個(gè)看到，SSD的盤性能肯定要超過其他友商的盤，SSD不到7個(gè)小時(shí)做完了，普遍盤要做12個(gè)小時(shí)。

第七個(gè)例子，SSD作為數(shù)據(jù)庫的節(jié)點(diǎn)，數(shù)據(jù)庫的存儲，數(shù)據(jù)庫都是隨機(jī)存取，非常多，尤其海量數(shù)據(jù)。所以，我們Oracle數(shù)據(jù)庫服務(wù)器都配一些卡，一個(gè)卡2.4T。另外就是算法，這個(gè)也是一個(gè)例子，數(shù)據(jù)量很小很小，普通盤子136秒，這個(gè)就是64秒就做完了，也就是兩倍多左右，這對我們解決一些特殊的應(yīng)用，算法還是非常有希望的。這個(gè)例子就是83T的數(shù)據(jù)，156億總道數(shù)。這個(gè)要做18天，我用SSD盤三天多就做完了，每個(gè)行業(yè)都是優(yōu)先，特殊的一些算法，對它的應(yīng)用效果還是非常明顯。

最后一個(gè)就是用在海量存儲的加速器。這全部是最高端的存儲，其實(shí)這些存儲哪個(gè)都有優(yōu)缺點(diǎn)，怎么來解決呢?我們用加速卡，有些存儲它的I/O之做批量作業(yè)很快，但是一打命令就死了，加上加速卡以后，把這個(gè)問題解決了�，F(xiàn)在做交付處理，像我們?nèi)�四百人同時(shí)做交互處理，三四百人同時(shí)用這個(gè)機(jī)器，存儲加速卡還是起很大的作用，如果對作業(yè)，像這種存儲，對作業(yè)影響不是太大，1800多秒，慢200多秒無所謂，但是300多秒，變成19秒就不一樣了。

我們另外一套存儲，我們也是加加速卡，這一套存儲2000T，做I/O ROM，他加了加速卡，加加速卡肯定是有效的，多掏一點(diǎn)錢，我們跟上面領(lǐng)導(dǎo)說，我買的就是最貴的存儲，就是這個(gè)設(shè)備，領(lǐng)導(dǎo)說你搞這一行的，得自己想辦法，別問我。那你就得琢磨去。通過做加速，通過混合，包括跟服務(wù)器，服務(wù)器這個(gè)層級的內(nèi)置盤和SSD盤，混合盤整體的應(yīng)用，我覺得這方面都是我們下一步要做的。比如并行軟件，對我們整個(gè)并行存儲性能的提升影響非常大。我們有非常多的例子，我們所有存儲都是并行存儲。

地震勘探我們已經(jīng)進(jìn)入了一個(gè)高密度，大數(shù)據(jù)的時(shí)代。我們的計(jì)算量和計(jì)算量的一些算法會越來越大，復(fù)雜度也越來越增加，對我們的計(jì)算機(jī)一是要求穩(wěn)定性，第二、更大規(guī)模。第二、對我們計(jì)算機(jī)的配置要求越來越高，現(xiàn)在有效算法，都要三四百GB的內(nèi)存才能解決這個(gè)問題，這樣我們探討是不是要內(nèi)存的存儲，我們都在想辦法，對高性能的存儲，還有一個(gè)是對應(yīng)用軟件，針對我們一些應(yīng)用軟件的算法才有不同的存儲，來有效的提高我們整個(gè)生產(chǎn)的效率。我們相信以大容量、低功耗、穩(wěn)定的高性能并行存儲和SSD技術(shù)為解決海量地震數(shù)據(jù)處理提供了有利條件。通過這幾年的應(yīng)用，SSD用了四年多了，這樣對我們解決一些復(fù)雜的算法和海量數(shù)據(jù)起到了非常關(guān)鍵的作用!