隨著網(wǎng)絡(luò)數(shù)據(jù)量的迅速增長，如何從互聯(lián)網(wǎng)時代龐大的“數(shù)據(jù)寶藏”中獲得價值和洞察力成為企業(yè)普遍關(guān)心的問題。為了更好地對企業(yè)產(chǎn)生的“大數(shù)據(jù)”進(jìn)行管理，使之轉(zhuǎn)化為生產(chǎn)力，中國某銀行攜手中科曙光，采用曙光XData大數(shù)據(jù)一體機(jī)系統(tǒng)，支撐中國農(nóng)行歷史數(shù)據(jù)查詢和分析業(yè)務(wù)，讓“大數(shù)據(jù)”成為推動中國農(nóng)行業(yè)務(wù)持續(xù)不斷創(chuàng)新的基礎(chǔ)。

數(shù)據(jù)爆炸式增長 如何利用成當(dāng)務(wù)之急

中國某銀行在很早之前就部署了各種IT應(yīng)用系統(tǒng)，給業(yè)務(wù)發(fā)展提供強(qiáng)大的信息化手段。而隨著農(nóng)行業(yè)務(wù)的快速發(fā)展和公司治理要求的不斷提高，各類應(yīng)用系統(tǒng)產(chǎn)生的數(shù)據(jù)量急速增加。據(jù)初步統(tǒng)計(jì)，目前農(nóng)行各應(yīng)用系統(tǒng)每年產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)已經(jīng)超過1PB(1024TB)，結(jié)構(gòu)化數(shù)據(jù)也以百TB計(jì)，加之已歸檔的歷史數(shù)據(jù)，總數(shù)據(jù)量已經(jīng)需要以PB為單位計(jì)算。

在數(shù)據(jù)出現(xiàn)爆炸式增長的背景下，如何處理、保存這些海量的數(shù)據(jù)，并抽絲剝繭發(fā)現(xiàn)數(shù)據(jù)所蘊(yùn)藏的價值，就成為首要面對的問題。由于關(guān)系型數(shù)據(jù)庫架構(gòu)在面臨大數(shù)據(jù)處理時先天性不足的原因，亟待新的方法和技術(shù)來解決這些問題，以滿足新的需求，推動業(yè)務(wù)持續(xù)快速地發(fā)展。

中國某銀行相關(guān)負(fù)責(zé)人表示：“在近些年，啟用了手機(jī)銀行、電子支付、云計(jì)算等諸多數(shù)據(jù)密集型業(yè)務(wù)，這讓數(shù)據(jù)資源的‘儲量’越來越豐富，數(shù)據(jù)也越來越成為我們最有價值的資產(chǎn)之一。但同時，這些數(shù)據(jù)極為巨大，數(shù)據(jù)類型異常復(fù)雜，特別是非結(jié)構(gòu)化和半結(jié)構(gòu)數(shù)據(jù)量遠(yuǎn)遠(yuǎn)超過結(jié)構(gòu)化數(shù)據(jù)，采用傳統(tǒng)的方式很難從中發(fā)現(xiàn)蘊(yùn)含的商業(yè)價值。因此，迫切需要一套挖掘效果好的大數(shù)據(jù)解決方案，為金融業(yè)務(wù)發(fā)展提供數(shù)據(jù)支撐。”

應(yīng)用曙光XData大數(shù)據(jù)一體機(jī)系統(tǒng)推進(jìn)業(yè)務(wù)持續(xù)創(chuàng)新

2012年7月起，在信息技術(shù)管理部的推動下，軟件開發(fā)中心技術(shù)引入業(yè)內(nèi)廣受關(guān)注的“大數(shù)據(jù)”技術(shù)，并對相關(guān)的技術(shù)及其在銀行內(nèi)應(yīng)用可行性進(jìn)行了充分的研究，明確了大數(shù)據(jù)處理技術(shù)在農(nóng)業(yè)銀行的應(yīng)用場景�；�于對大數(shù)據(jù)處理技術(shù)的研究與應(yīng)用工作，以及對文件管理、歷史數(shù)據(jù)查詢以及數(shù)據(jù)分析類應(yīng)用進(jìn)行原型研究的基礎(chǔ)上，正式完成在大數(shù)據(jù)處理和應(yīng)用方面的技術(shù)初步落地。

整套解決方案以曙光XData大數(shù)據(jù)一體機(jī)系統(tǒng)作為支撐，XData 大數(shù)據(jù)一體機(jī)由 1個管理節(jié)點(diǎn)， 2個namenode，42個datanode組成，存儲接近600TB容量數(shù)據(jù)，隨著業(yè)務(wù)數(shù)據(jù)量的增加，系統(tǒng)通過簡單擴(kuò)展硬件的方式保證符合業(yè)務(wù)對容量和性能的要求。

曙光存儲產(chǎn)品總監(jiān)惠潤海表示：“由于業(yè)務(wù)復(fù)雜，數(shù)據(jù)格式多變，非結(jié)構(gòu)數(shù)據(jù)如票據(jù)影像大量存在，對這些數(shù)據(jù)進(jìn)行統(tǒng)一存儲分析管理成為一項(xiàng)重要的需求。曙光大數(shù)據(jù)解決方案立足于基礎(chǔ)平臺建設(shè)，通過SQL連接器和常用BI報表工具進(jìn)行集成。此外，系統(tǒng)還可以迅速完成結(jié)構(gòu)化數(shù)據(jù)急速導(dǎo)入，完全融入數(shù)據(jù)生命周期管理。”在解決方案部署之后，實(shí)現(xiàn)了以下部署效果：

Ø 高可靠性：系統(tǒng)全年7×24小時無間斷服務(wù)。

Ø 高可用性：服務(wù)器故障情況下，系統(tǒng)仍能穩(wěn)定工作，并保證數(shù)據(jù)完整性和可用性。

Ø 靈活擴(kuò)展：通過增加存儲設(shè)備，容量可以平滑的擴(kuò)展，性能可以同比提高。當(dāng)性能(并發(fā)訪問、IO帶寬)不足時，簡單通過擴(kuò)展硬件即可同比地擴(kuò)展系統(tǒng)的總體性能。

Ø 高性能：提供每秒數(shù)十萬的記錄導(dǎo)入速度，百億級規(guī)模記錄隨機(jī)點(diǎn)查詢秒級返回。

Ø 低成本：在大規(guī)模部署時，該系統(tǒng)有總體價格優(yōu)勢。

Ø 易開發(fā)：系統(tǒng)對外呈現(xiàn)單一入口，并提供類JDBC和SQL訪問接口，便于業(yè)務(wù)的開發(fā)及移植。

Ø 易管理：提供圖形化管理界面，方便用戶對系統(tǒng)進(jìn)行管理和監(jiān)控。

在應(yīng)用了曙光XData大數(shù)據(jù)一體機(jī)系統(tǒng)之后，滿足了系統(tǒng)對于并發(fā)用戶數(shù)和性能的要求，能夠支撐銀行歷史數(shù)據(jù)查詢和分析業(yè)務(wù)，為下一步的業(yè)務(wù)拓展奠定了基礎(chǔ)。相關(guān)負(fù)責(zé)人指出：“在曙光的幫助下，我們建立了相對完善的大數(shù)據(jù)系統(tǒng)，并解決了部署、業(yè)務(wù)移植開發(fā)等技術(shù)難題，跨過了應(yīng)用門檻。為公司盤活數(shù)據(jù)資產(chǎn)、搶占新技術(shù)的制高點(diǎn)提供了支撐，推動了業(yè)務(wù)創(chuàng)新和持續(xù)不斷的發(fā)展。”