任新勃 發(fā)表于:13年09月23日 15:52 [原創(chuàng)] DOIT.com.cn
當(dāng)前我們對(duì)地球內(nèi)部的認(rèn)識(shí)主要是來自于理論推導(dǎo),包括對(duì)于石油的勘探,都是間接的通過地震波和人造地震波來進(jìn)行推測的。而為了獲得可靠的數(shù)據(jù),就需要做最大限度的地震數(shù)據(jù)采集、存儲(chǔ)與分析,以此獲得比較準(zhǔn)確的地球內(nèi)部信息。那么面臨著更高性能、更快速度以及更大容量的數(shù)據(jù),對(duì)于數(shù)據(jù)中心存儲(chǔ)系統(tǒng)的要求也是最為苛刻。在HCC大會(huì)上我們了解到近來受到熱捧的閃存技術(shù)早已應(yīng)用到石油勘探行業(yè)。
2013HCC大會(huì)上,由DOIT承辦的閃存進(jìn)化數(shù)據(jù)中心論壇受到參會(huì)者的關(guān)注,中國石油集團(tuán)東方地球物理公司研究院總工程師賴能和詳細(xì)講解了面對(duì)石油勘探領(lǐng)域產(chǎn)生的海量數(shù)據(jù),如何最優(yōu)化的解決海量數(shù)據(jù)的存儲(chǔ)分析以及SSD在實(shí)際應(yīng)用中的作用。
BGP是中國石油天然氣集團(tuán)公司(CNPC)獨(dú)資的地球物理專業(yè)化技術(shù)服務(wù)公司,成立于1964年。主要從事陸地、淺海地震勘探采集、處理、解釋及物探裝備和軟件研發(fā),業(yè)務(wù)分布在全球34個(gè)國家,陸上地震勘探市場份額居全球第一位,F(xiàn)擁有2.6萬員工,約9萬CPU核,80萬GPU核,超過25PB存儲(chǔ);運(yùn)算能力約2PFlops。
賴能和對(duì)于地震海量數(shù)據(jù)與處理有什么樣的特點(diǎn)做了詳細(xì)的闡釋,對(duì)于地震數(shù)據(jù)的收集,實(shí)現(xiàn)是需要提高作業(yè)效率,讓每天能產(chǎn)生更多的數(shù)據(jù)。首先就是數(shù)據(jù)海量,BGP由于采用連續(xù)記錄或增加采集點(diǎn)和接受點(diǎn)的密度而形成,因?yàn)樾枰嘟M可控震源在空間上兩兩間隔一定距離,利用相同的接收排列(超級(jí)排列)各自獨(dú)立工作,儀器連續(xù)記錄。保證了每天產(chǎn)生大于7TB的生產(chǎn)數(shù)據(jù)。
特點(diǎn)二是數(shù)據(jù)類型和來源種類單一,均由人工激發(fā),定點(diǎn)儀器接收。特點(diǎn)三地球物理算法復(fù)雜,高精度的地震成像需要巨大的計(jì)算資源,因?yàn)樾枰m應(yīng)的構(gòu)造逐漸復(fù)雜,同時(shí)對(duì)于資料要求越來越高,算法精度漸高,還有物探技術(shù)的不斷進(jìn)步。
特點(diǎn)四處理流程復(fù)雜,頻繁的IO和數(shù)據(jù)庫操作復(fù)雜流程。
特點(diǎn)五對(duì)于硬件資料配置很高,對(duì)于密集型科學(xué)計(jì)算,存儲(chǔ)硬件的資源配置要求很高。
那么面對(duì)海量數(shù)據(jù)處理,我們的機(jī)遇與挑戰(zhàn)在哪里?賴能和認(rèn)為首先地震數(shù)據(jù)快速增長對(duì)于存儲(chǔ)量提出巨大需求,其次對(duì)于傳統(tǒng)的HPC軟硬件架構(gòu)提出了新的挑戰(zhàn),最后高能耗與制冷是數(shù)據(jù)中心面臨的新問題。
如何快速地把數(shù)百TB數(shù)據(jù)輸入HPC,快速處理、QC、安全存儲(chǔ)與拷貝數(shù)據(jù),是目前HPC面臨的最大挑戰(zhàn)之一。
數(shù)據(jù)中心面對(duì)數(shù)據(jù)海量的壓力
那么地震海量數(shù)據(jù)處理解決方案需要關(guān)注那些方面?賴能和從高性能、高配置、高寬帶、高效率以及高吞吐五個(gè)方面提出了解決方案。
采用SSD,將解決CPU性能受限于I/O瓶頸的問題,特別是數(shù)據(jù)庫的隨機(jī)讀寫速度,有效提供系統(tǒng)效率并降低能耗。
SSD的平均延遲大大低于機(jī)械盤。圖中對(duì)于可靠性、性能、功耗以及空間利用做了詳細(xì)的對(duì)比。
普通用戶對(duì)于SSD盤與HDD的實(shí)際測試
采用SSD硬盤,作為節(jié)點(diǎn)的內(nèi)部臨時(shí)交換去區(qū),系統(tǒng)性能提高2倍。在不同配置環(huán)境下的3D RNA的應(yīng)用效率對(duì)比
最后賴能和認(rèn)為,SSD具有很高的IOPS、低功耗、低熱量、低噪音和低延遲等優(yōu)勢,并且在油氣勘探行業(yè)中得到廣泛推廣應(yīng)用。隨著SSD盤性價(jià)比的提供,用戶也期待高性能、更穩(wěn)定、更高效、橫向擴(kuò)展性更好、能夠提供PB級(jí)容量的SSD分級(jí)存儲(chǔ)(如華為的Oceanstor 18800F)在石油勘探海量數(shù)據(jù)處理中得到應(yīng)用。
公司簡介 | 媒體優(yōu)勢 | 廣告服務(wù) | 客戶寄語 | DOIT歷程 | 誠聘英才 | 聯(lián)系我們 | 會(huì)員注冊(cè) | 訂閱中心
Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技術(shù)有限公司 版權(quán)所有.