宋家雨,Dostor存儲在線總編輯
方 糧,中國計算機學(xué)會信息存儲專業(yè)委員會委員
賴能和,中石油東方地球物理勘探有限公司處理中心總工程師
孫 斌,浪潮存儲產(chǎn)品線副總經(jīng)理
宋家雨:在油氣勘探領(lǐng)域,數(shù)據(jù)是如何產(chǎn)生、采集和處理的?數(shù)據(jù)量又有怎樣的變化?目前又有哪些新興應(yīng)用?
中石油集團東方地球物理勘探有限公司處理中心總工程師 賴能和
賴能和:
人工智能在油氣勘探領(lǐng)域已經(jīng)開始陸續(xù)應(yīng)用,比如勘探過程中的城市路線勘探,會根據(jù)歷史數(shù)據(jù)比對設(shè)計出最佳路線;在處理方面,曾經(jīng)需要30人處理2個月的數(shù)據(jù),現(xiàn)在通過神經(jīng)網(wǎng)絡(luò)和人工智能訓(xùn)練算法去處理,速度、精準(zhǔn)度都大大提高。
油氣勘探大致分成三個階段,第一階段是通過不同的采集手段將野外數(shù)據(jù)采集回來;第二階段是數(shù)據(jù)處理,數(shù)據(jù)中心通過超能計算機對野外數(shù)據(jù)進行處理,得到數(shù)據(jù)體;第三個階段是利用數(shù)據(jù)體,解釋地質(zhì)構(gòu)造,找出油氣藏。
油氣勘探過程會產(chǎn)生大量數(shù)據(jù),每年大概會增加2-3倍,就原始采集數(shù)據(jù)來看,從2012年的50TB,激增至2019年的2500TB左右的數(shù)據(jù)量,這僅僅是原始采集的數(shù)據(jù)量。目前我們使用的存儲系統(tǒng),存儲空間要在原始采集數(shù)據(jù)的15倍左右,因為原始采集數(shù)據(jù)要經(jīng)過三十多個基本流程,每個流程要處理中間結(jié)果,要保存的數(shù)據(jù)量巨大,因此這幾年我們對存儲系統(tǒng)的要求越來越高,投資也越來越大。
人工智能在油氣勘探領(lǐng)域已經(jīng)開始陸續(xù)應(yīng)用,比如勘探過程中的城市路線勘探,會根據(jù)歷史數(shù)據(jù)比對設(shè)計出最佳路線;在處理方面,曾經(jīng)需要30人處理2個月的數(shù)據(jù),現(xiàn)在通過神經(jīng)網(wǎng)絡(luò)和人工智能訓(xùn)練算法去處理,速度、精準(zhǔn)度都大大提高;還有解釋、質(zhì)量控制階段,都已經(jīng)開始投入人工智能的研究。
宋家雨:油氣勘探行業(yè)海量數(shù)據(jù)的變化和人工智能的應(yīng)用,帶來了怎樣的挑戰(zhàn)?
中國計算機學(xué)會信息存儲專業(yè)委員會委員 方糧
方 糧:勘探應(yīng)用網(wǎng)格密度每增加1倍,數(shù)據(jù)量就增加3-4倍,網(wǎng)格畫的越細(xì),分析的就越準(zhǔn)確,所以油氣勘探對計算能力、存儲能力的要求是無止境的,這是一個巨大的挑戰(zhàn)。
油氣勘探應(yīng)用網(wǎng)格系統(tǒng)密度不斷增加,以前的網(wǎng)格密度是50m×100m,現(xiàn)在可以做到6m×12m左右,網(wǎng)格每增加1倍,數(shù)據(jù)量就增加3-4倍,網(wǎng)格畫的越細(xì),采集精細(xì)度就越高,分析的就越準(zhǔn)確,所以油氣勘探對計算能力、存儲能力的要求是無止境的。
另一方面,石油勘探領(lǐng)域相比其他行業(yè)有優(yōu)勢,有大量的數(shù)據(jù)和經(jīng)驗積累,可以更加快速適應(yīng)人工智能技術(shù),運用AI訓(xùn)練、推理等方式實現(xiàn)勘探作業(yè)更快、更精、更準(zhǔn)確,提高勘探成功率。
對存儲系統(tǒng)來講,能夠存取勘探海量數(shù)據(jù)的同時,對數(shù)據(jù)處理能力也有很高的要求,如果存儲的容量和擴展性跟不上,或者存儲性能和吞吐能力跟不上的話,勘探作業(yè)中極有可能因為存儲的超負(fù)荷而崩潰,造成數(shù)據(jù)丟失、作業(yè)中斷,這個影響是巨大的。
宋家雨:面對油氣勘探領(lǐng)域這種復(fù)雜的存儲需求,浪潮存儲有哪些應(yīng)對之道?
浪潮存儲產(chǎn)品線副總經(jīng)理 孫斌
孫 斌:針對油氣勘探行業(yè)海量數(shù)據(jù)存儲需求和數(shù)據(jù)處理性能要求,需要大容量、高性能的存儲系統(tǒng)來滿足,我們通常會建議客戶選擇分布式存儲系統(tǒng)。過去幾年,我們對大量應(yīng)用場景進行研究分析,當(dāng)面向客戶的實際應(yīng)用時,有針對性的通過測試、調(diào)優(yōu)開展深度優(yōu)化。
針對油氣勘探行業(yè)海量數(shù)據(jù)存儲需求和數(shù)據(jù)處理性能要求,需要大容量、高性能的存儲系統(tǒng)來滿足,我們通常會建議客戶選擇分布式存儲系統(tǒng)。首先分布式存儲最典型的特點就是容量夠大,可隨數(shù)據(jù)量增加而實現(xiàn)橫向擴展,支持到EB級別的存儲容量;其次,存儲性能也可隨著容量的擴展而線性擴展,分布式存儲的每一個節(jié)點都可以承接負(fù)載,滿足高并發(fā)讀寫請求。
浪潮存儲一直在探索承接AI等新型應(yīng)用的新存儲之道,AI的工作負(fù)載分為五個環(huán)節(jié),首先是數(shù)據(jù)的采集環(huán)節(jié),此環(huán)節(jié)要求高吞吐量的寫入,而且是并行的大量順序?qū)懭?;第二環(huán)節(jié)是數(shù)據(jù)的標(biāo)識,是大量小IO;第三個環(huán)節(jié)是訓(xùn)練,是隨機的小IO,對性能要求比較高;第四個環(huán)節(jié)是推理,大部分的推理對延遲要求很高;最后一個是歸檔,這個環(huán)節(jié)要求高吞吐量的讀和寫。IO的模式不同,對存儲的要求不同。
過去幾年,我們對大量應(yīng)用場景進行研究分析,當(dāng)面向客戶的實際應(yīng)用時,有針對性的通過測試、調(diào)優(yōu)開展深度優(yōu)化,最大程度滿足客戶應(yīng)用在容量、性能、架構(gòu)及管理上的需求,承接客戶應(yīng)用的同時,也通過AI手段使存儲系統(tǒng)變得更智能。
Dostor存儲在線總編輯 宋家雨
宋家雨:人類對自然的探索永不會停歇,就像油氣勘探領(lǐng)域,隨著我們不斷深入的勘探,需要越來越多的存儲容量和計算能力做支撐,來探索更多地球的奧秘。
點擊精彩回顧:http://tv.doit.com.cn/watch/4198834