任新勃 發(fā)表于:14年09月15日 20:45 [原創(chuàng)] DOIT.com.cn
對于石油等能源的勘探,都是間接的通過地震波和人造地震波來進(jìn)行推測的。而為了獲得可靠的數(shù)據(jù),就需要做最大限度的地震數(shù)據(jù)采集、存儲與分析,以此獲得比較準(zhǔn)確的地球內(nèi)部信息。如何更快、更高效的從海量的數(shù)據(jù)中找出有用的信息,對于數(shù)據(jù)中心存儲系統(tǒng)的要求也就更為苛刻。當(dāng)前油氣勘探進(jìn)入大數(shù)據(jù)時代。主要有兩個原因,一個是高性能計算機(jī)的發(fā)展,促進(jìn)了油氣勘探技術(shù)的進(jìn)步。第二數(shù)據(jù)成像大幅度提高,精度提高比如帶來更多的數(shù)據(jù)。
大數(shù)據(jù)時代IT升級刻不容緩
隨著技術(shù)的進(jìn)步,能源行業(yè)每天產(chǎn)生的生產(chǎn)數(shù)據(jù)已經(jīng)遠(yuǎn)遠(yuǎn)超過TB級別。中國石油東方地球物理公司研究院處理中心的總工程師賴能和以石油勘探行業(yè)為例,一個勘測地點每天產(chǎn)生的生產(chǎn)數(shù)據(jù)都有數(shù)十TB,這就需要更高性能的數(shù)據(jù)處理系統(tǒng)。傳統(tǒng)的存儲系統(tǒng)解決不了大數(shù)據(jù)問題,對HPC帶來非常大的挑戰(zhàn)。一個是配置要求非常高,都是高端服務(wù)器,二就是存儲很大,每套系統(tǒng)都要配幾千個T的存儲才能解決問題。實際上存儲IO是一個非常大的瓶頸問題,如何提高集群的利用率,解決存儲和CPU之間的瓶頸,這是我們目前最主要的問題。能耗也是當(dāng)前數(shù)據(jù)中心面臨的問題,賴能和講到中石油某一個數(shù)據(jù)中心,需要的電費(fèi)兩、三千萬。
閃存加速能源行業(yè)IT進(jìn)程
中國石油東方地球物理公司研究院處理中心的總工程師賴能和分享成功案例表示,進(jìn)入大數(shù)據(jù)時代,軟件定義存儲為大數(shù)據(jù)提供彈性存儲空間, 他認(rèn)為高性能計算發(fā)展促進(jìn)了油氣勘探技術(shù)的進(jìn)步,高精度算法能獲取更好的成像結(jié)果,顯然高密度采集與處理技術(shù)成為當(dāng)前地震勘探的應(yīng)用趨勢。
他得出的結(jié)論就是:大數(shù)據(jù)大型矩陣的求解必須采用閃存存儲陣列,對于海量數(shù)據(jù)交互處理,在彈性存儲中擴(kuò)展閃存模塊,有效提升效率。
如何降低能耗,如果用普通的技術(shù)肯定不行,但是閃存技術(shù)的應(yīng)用將來就會對我們有非常大的幫助。第一,對這種I/O密集型的運(yùn)算,中國石油東方地球物理公司研究院處理中心配置了高性能的并行處理系統(tǒng),加上海量的數(shù)據(jù)處理閃存系統(tǒng)。對于大數(shù)據(jù),文件是幾百個T,解方程,求解的話,用普通存儲陣列消耗的時間不容想象。一個156個億的記錄,用普通的盤陣要18天才能做完,用閃存3天就可以完成,提升了6倍。這只是閃存帶來的一個優(yōu)勢,我們還有很多步驟,通過這種技術(shù)我們很快的解決了這個問題,也就是閃存存儲。
IBM全閃存陣列應(yīng)用優(yōu)勢
對海量數(shù)據(jù)的交互處理,中石油有很多數(shù)據(jù)庫操作,用普通存儲很難解決。賴能和舉例說明,采用IBM彈性存儲,通過這幾年的應(yīng)用,存儲系統(tǒng)性能是非常穩(wěn)定的,持續(xù)的I/O并發(fā)也非常高。加速模塊閃存現(xiàn)在是810,峰值達(dá)到20個GB左右,消除了過去數(shù)據(jù)瓶頸的問題,滿足了海量并發(fā)處理的要求。彈性存儲加上Flash加速模塊以后很好的解決了交互的問題,并通過兩個數(shù)據(jù)說明,傳統(tǒng)存儲,一個命令反應(yīng)時間為300多秒,通過閃存加速20多秒就能反應(yīng)過來。通過對比性能提高很多,當(dāng)一套系統(tǒng)面臨幾百人同時用,通過閃存加速其效率明顯提升。
我們把數(shù)據(jù)庫原數(shù)據(jù)放在Flash盤上去,能夠很好的提升我們的I/O性能,這里我們也做了一個實驗,用IBM的彈性存儲,我們的數(shù)據(jù)庫用的是甲骨文,能夠提升14000倍左右。而傳統(tǒng)存儲遠(yuǎn)遠(yuǎn)不能實現(xiàn)這個目標(biāo)。
同時送100個任務(wù)上去,用普通存儲和用IBM彈性存儲速度差好幾倍。用高性能并發(fā)I/O的彈性存儲能夠很好的解決并發(fā)問題。
最后賴能和對能源行業(yè)數(shù)據(jù)應(yīng)用四點總結(jié):
地震勘探已經(jīng)進(jìn)入高密度采集、大數(shù)據(jù)時代,需要規(guī);牟⑿杏嬎阆到y(tǒng);
海量地震數(shù)據(jù)處理需要高性能、大容量、低功耗、可擴(kuò)展的并行存儲系統(tǒng);
閃存技術(shù)應(yīng)用效果顯著,解決了大數(shù)據(jù)處理中普通HDD很難處理的疑難問題;
工業(yè)應(yīng)用表明,彈性存儲架構(gòu),如IBM SOSS+FlashS810,簡單、靈活、有效、性價比高,還可以根據(jù)需要隨時擴(kuò)展閃存加速模塊,其可靠性、可擴(kuò)展性能滿足海量地震數(shù)據(jù)并發(fā)處理需求。
因此,在他看來,對于地震勘探這個領(lǐng)域,數(shù)據(jù)存儲與處理都必須要有更高的靈活、性能與彈性,這就要求存儲廠商在軟件定義存儲方面全面的、完整的數(shù)據(jù)解決方案。
公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會員注冊 | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.