石油勘探，數(shù)據(jù)是關(guān)鍵

石油勘探 PB級(jí)數(shù)據(jù)是常態(tài)

當(dāng)前石油儲(chǔ)備逐步減少，石油勘探、開發(fā)難度增大，借助數(shù)據(jù)技術(shù)提高石油勘探的效率成為推動(dòng)石油行業(yè)增長的關(guān)鍵。存儲(chǔ)作為數(shù)據(jù)的載體，成為東方物探這樣的石油勘探企業(yè)的核心競爭力。

東方物探的石油勘探作業(yè)主要采用地震波法。這種方法是用炸藥在地面激發(fā)人工地震波，地震波傳入數(shù)千米的地下，碰到不同形態(tài)的巖層后形成反射波。這些反射波經(jīng)過檢波器收集，轉(zhuǎn)變?yōu)殡娮有盘?hào)后，以數(shù)據(jù)形態(tài)保存在存儲(chǔ)里。后期，通過對(duì)海量地震波數(shù)據(jù)的計(jì)算、解釋和反演，模擬出勘測(cè)區(qū)域的地下構(gòu)造，找到石油巖層的精確位置。這就像給大地做CT一樣。

一方面，在勘探過程中，生成的數(shù)據(jù)體量非常龐大。一般二維數(shù)據(jù)可達(dá)1~2TB，三維數(shù)據(jù)可達(dá)數(shù)百TB甚至PB級(jí)。從東方物探開發(fā)的中國第一套地震數(shù)據(jù)處理、解釋一體化軟件GeoEast來看，GeoEast系統(tǒng)的數(shù)據(jù)量隨勘探業(yè)務(wù)開展不斷增長，對(duì)存儲(chǔ)空間初始需求就達(dá)到PB級(jí)別，項(xiàng)目平均數(shù)據(jù)增量達(dá)20TB，一般單文件大小也都在200GB左右。

另一方面，石油勘探對(duì)收集上來的海量數(shù)據(jù)還需要提供TB-GB級(jí)讀寫性能，來滿足前端的密集計(jì)算和模擬，比如54TB原始勘探數(shù)據(jù)通過4000個(gè)CPU的計(jì)算集群、GB級(jí)帶寬的存儲(chǔ)集群處理需要50多天時(shí)間，方能將勘探數(shù)據(jù)轉(zhuǎn)換成直觀的可視畫面，為油氣鉆井定位提供決策支持。如果要縮短地震資料處理周期，讓IT基礎(chǔ)設(shè)施提供更強(qiáng)大的性能，就需要優(yōu)化數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)。計(jì)算平臺(tái)可以在CPU處理的基礎(chǔ)上通過增加GPU來進(jìn)行加速；而數(shù)據(jù)存儲(chǔ)平臺(tái)，則需要進(jìn)行從硬件架構(gòu)到軟件功能的創(chuàng)新。

浪潮給東方物探提供PB級(jí)海量存儲(chǔ)集群

浪潮SDS：軟硬協(xié)同創(chuàng)新

“（石油勘探）這種PB級(jí)容量、千萬級(jí)并發(fā)性能的數(shù)據(jù)特征，對(duì)存儲(chǔ)基礎(chǔ)設(shè)施既是一個(gè)變革，也是一個(gè)挑戰(zhàn)”，浪潮存儲(chǔ)研發(fā)工程師表示，東方物探需要部署橫向擴(kuò)展的軟件定義存儲(chǔ)，并基于場(chǎng)景進(jìn)行軟硬件調(diào)優(yōu)。經(jīng)過多輪溝通，浪潮的這一方案獲得了東方物探的認(rèn)可。

浪潮軟件定義存儲(chǔ)AS13000

?

硬件方面，浪潮軟件定義存儲(chǔ)提供動(dòng)車組式的橫向擴(kuò)展架構(gòu)，就是每個(gè)節(jié)點(diǎn)都能提供動(dòng)力，同時(shí)整體集群用一套系統(tǒng)進(jìn)行管理。一方面，在浪潮軟件定義存儲(chǔ)的34個(gè)節(jié)點(diǎn)中，每個(gè)節(jié)點(diǎn)都可以提供上百TB的容量和GB級(jí)IO能力，存儲(chǔ)集群間的數(shù)據(jù)通信通過2個(gè)萬兆建立連接，使得整個(gè)存儲(chǔ)集群容量達(dá)到4PB、業(yè)務(wù)網(wǎng)總帶寬達(dá)到34GB/s。

軟件方面，浪潮軟件定義存儲(chǔ)進(jìn)行了大量場(chǎng)景化調(diào)優(yōu)。比如，在使用過程中，浪潮軟件定義存儲(chǔ)通過對(duì)去躁、振幅補(bǔ)償?shù)榷囗?xiàng)作業(yè)的優(yōu)化配置，提升了石油勘探批量作業(yè)的處理能力，增強(qiáng)了易用性，確保系統(tǒng)穩(wěn)定運(yùn)行。又如，浪潮軟件定義存儲(chǔ)提供目錄分片功能，即在元數(shù)據(jù)服務(wù)端將目錄分成同等地位的多個(gè)分片，由每個(gè)分片承載該目錄下的不同子文件，有效提高了并發(fā)能力，解決了大目錄操作性能問題。AS13000可支持單目錄千萬級(jí)文件、文件系統(tǒng)可達(dá)百億級(jí)，百萬文件瀏覽時(shí)間突破40s。

容量達(dá)4PB，性能提升7倍

項(xiàng)目實(shí)施前，東方物探和浪潮存儲(chǔ)聯(lián)合，對(duì)軟件定義存儲(chǔ)進(jìn)行了長達(dá)一年的產(chǎn)品測(cè)試，浪潮團(tuán)隊(duì)積極配合、快速響應(yīng)，保障了東方物探石油勘探軟件定義存儲(chǔ)平臺(tái)測(cè)試的順利進(jìn)行。

上線后，東方物探勘探海量存儲(chǔ)集群使用容量達(dá)到4PB，單作業(yè)業(yè)務(wù)單控達(dá)1.5GB/s，聚合帶寬達(dá)到34GB/s。通過對(duì)AS13000內(nèi)核客戶端的優(yōu)化，在4PB大工程上實(shí)現(xiàn)了7倍性能的提升。

值得一提的是，浪潮軟件定義存儲(chǔ)系統(tǒng)的節(jié)點(diǎn)擴(kuò)展能力非常強(qiáng)大，單系統(tǒng)存儲(chǔ)節(jié)點(diǎn)可在線橫向擴(kuò)展至5000多個(gè)。面對(duì)地震數(shù)據(jù)性能不斷增長的趨勢(shì)，浪潮軟件定義存儲(chǔ)還可支持40GB/56GB InfiniBand連接，以應(yīng)對(duì)未來性能升級(jí)需求。加上不斷進(jìn)步的數(shù)據(jù)自動(dòng)修復(fù)和自動(dòng)運(yùn)維機(jī)制，浪潮軟件定義存儲(chǔ)能夠勝任東方物探的未來的石油勘探海量數(shù)據(jù)存儲(chǔ)場(chǎng)景。

東方物探表示，“中國物探企業(yè)必須擁有自己的數(shù)據(jù)核心技術(shù)。東方物探聯(lián)合浪潮存儲(chǔ)建立了亞洲最大的物探數(shù)據(jù)庫，通過對(duì)地震波反射數(shù)據(jù)的采集、處理、解釋，判斷地表下油氣的位置，挖掘數(shù)據(jù)價(jià)值?！?/p>

場(chǎng)景化戰(zhàn)略 落地PB級(jí)大工程

除了東方物探的PB級(jí)實(shí)踐之外，浪潮還在各個(gè)場(chǎng)景交付了大量PB級(jí)工程。這里包括軟件定義存儲(chǔ)AS13000在某資源中心一套70PB、某運(yùn)營商數(shù)十套每套PB級(jí)系統(tǒng)、某省政務(wù)云90個(gè)節(jié)點(diǎn)、20PB容量、成都三環(huán)路視頻監(jiān)控系統(tǒng)20PB容量、廣電總局141個(gè)節(jié)點(diǎn)、10PB的云平臺(tái)、華強(qiáng)方特5PB、千萬級(jí)小文件并發(fā)性能的動(dòng)漫制作平臺(tái)的應(yīng)用部署。

浪潮存儲(chǔ)產(chǎn)品線總經(jīng)理李輝表示，“浪潮存儲(chǔ)順應(yīng)云、大數(shù)據(jù)、人工智能潮流，經(jīng)過十多年的研發(fā)，在全球建立了五大研發(fā)中心，具備領(lǐng)先的技術(shù)實(shí)力和場(chǎng)景化能力，構(gòu)建了新數(shù)據(jù)時(shí)代的新存儲(chǔ)，成為新數(shù)據(jù)時(shí)代新存儲(chǔ)的倡導(dǎo)者和領(lǐng)先者。”如今，浪潮憑借實(shí)力，在2018年上半年在中國企業(yè)級(jí)存儲(chǔ)市場(chǎng)出貨量第一、增速第一；同時(shí)，入圍了Gartner分布式存儲(chǔ)魔力象限，正式進(jìn)入全球主流存儲(chǔ)廠商。

zhangnn