大數(shù)據(jù)時(shí)代來臨 催生數(shù)據(jù)挖掘產(chǎn)業(yè)發(fā)展

在當(dāng)前全球經(jīng)濟(jì)形勢下行的背景下，中國的經(jīng)濟(jì)形勢也不甚樂觀，但正因?yàn)槿绱耍袊髽I(yè)對挖掘大數(shù)據(jù)價(jià)值的渴求尤為強(qiáng)烈，希望以此提高客戶體驗(yàn)，促進(jìn)業(yè)務(wù)的增長。根據(jù)國內(nèi)市場研究機(jī)構(gòu)計(jì)世資訊的研究，2012年中國大數(shù)據(jù)市場增長率為52.4%,市場規(guī)模達(dá)到3.2億元。55%的受訪企業(yè)表示，計(jì)劃在未來一年內(nèi)部署大數(shù)據(jù)應(yīng)用。

隨著大數(shù)據(jù)的發(fā)展，其應(yīng)用場景也越來越多，涵蓋從用戶行為分析到安全監(jiān)控、輿情監(jiān)測等等各方面，計(jì)世資訊計(jì)算機(jī)系統(tǒng)研究部總監(jiān)丁震表示，用戶不僅利用大數(shù)據(jù)獲取更大的數(shù)據(jù)價(jià)值，還利用它整合內(nèi)部的工作流程，提高效率和可控性。

在發(fā)展的過程中，大數(shù)據(jù)的需求已經(jīng)從早期的互聯(lián)網(wǎng)、電商領(lǐng)域轉(zhuǎn)向金融、電信、政府、能源等諸多傳統(tǒng)的行業(yè)。盡管用戶認(rèn)為大數(shù)據(jù)能夠提高決策和數(shù)據(jù)分析的及時(shí)性，但丁震指出，用戶實(shí)際應(yīng)用仍十分謹(jǐn)慎，這其中有用戶認(rèn)識、案例缺乏、引入新技術(shù)的風(fēng)險(xiǎn)和經(jīng)濟(jì)環(huán)境等原因。

解讀Splunk實(shí)時(shí)大數(shù)據(jù)解決方案

Splunk的主要業(yè)務(wù)是向企業(yè)及客戶提供及其數(shù)據(jù)引擎。Splunk可以幫助企業(yè)收集、編索并智能化的分析由網(wǎng)絡(luò)、應(yīng)用程序以及移動(dòng)設(shè)備等產(chǎn)生的機(jī)器數(shù)據(jù)。Splunk的軟件產(chǎn)品讓用戶監(jiān)控、檢索、分析、圖示化實(shí)時(shí)和歷史機(jī)器數(shù)據(jù)流，并最終幫助企業(yè)決策者做出準(zhǔn)確的判斷。Splunk實(shí)現(xiàn)了運(yùn)營智能，商業(yè)和IT人士都可以實(shí)時(shí)地分析數(shù)據(jù)，并且提高運(yùn)營效率?？蛻?、個(gè)人、組織都能夠在各個(gè)方面提高運(yùn)營效率，比如說，可以減少成本，提高服務(wù)質(zhì)量，減少風(fēng)險(xiǎn)，同時(shí)獲得洞察力。

針對中國用戶的上述困擾，Splunk帶來了一個(gè)完整的解決方案。與一些BI(商業(yè)智能)、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘廠商的新解決方案著眼點(diǎn)不一樣，Splunk產(chǎn)品營銷副總裁Sanjay Mehta認(rèn)為，大數(shù)據(jù)的落地，可以從機(jī)器數(shù)據(jù)著手，通過Splunk實(shí)時(shí)的“引擎”,將已有的數(shù)據(jù)組織起來，幫助企業(yè)提高效率，降低成本。

Splunk定義的機(jī)器數(shù)據(jù)，包括了文件或者文件目錄、syslog、Windows事件日志、Windows注冊表、Windows性能指標(biāo)、Unix/Linux日志和指標(biāo)、文件完整性監(jiān)視、配置文件、OPSEC LEA、Cisco設(shè)備日志、IIS日志、Apache日志、WebSphere日志/指標(biāo)和其他數(shù)據(jù)、以及任何其他數(shù)據(jù)。

對企業(yè)來說，設(shè)備數(shù)據(jù)是非常寶貴的資源。設(shè)備數(shù)據(jù)中通常都明確地記錄了所有的用戶交易、客戶行為、設(shè)備行為、安全威脅、欺詐活動(dòng)等各種信息。這些數(shù)據(jù)有著動(dòng)態(tài)、非結(jié)構(gòu)化、非標(biāo)準(zhǔn)化的特性，是構(gòu)成用戶企業(yè)中數(shù)據(jù)的主要部分。

很少有企業(yè)能從設(shè)備數(shù)據(jù)中挖掘出他們所需價(jià)值。對于這種大批量、可變的動(dòng)態(tài)數(shù)據(jù)類型，當(dāng)前鮮有有效的數(shù)據(jù)分析、管理和監(jiān)控解決方案。Splunk作為一款設(shè)備數(shù)據(jù)搜索引擎，正是為解決設(shè)備數(shù)據(jù)帶來的挑戰(zhàn)應(yīng)運(yùn)而生的，Splunk可收集、索引并整理所有非結(jié)構(gòu)化的時(shí)序設(shè)備數(shù)據(jù)。Splunk可實(shí)時(shí)搜索、報(bào)告、監(jiān)測并分析實(shí)時(shí)和歷史數(shù)據(jù)。讓您實(shí)時(shí)了解IT系統(tǒng)和基礎(chǔ)架構(gòu)中正在發(fā)生和已經(jīng)發(fā)生的事件。

使用Splunk可快速瀏覽并掌握IT信息和業(yè)務(wù)狀況，從中獲得有用價(jià)值。而解決應(yīng)用程序問題并調(diào)查安全事故所花費(fèi)的時(shí)間，從幾天或幾小時(shí)縮短到幾分鐘，Splunk將有效幫助您避免服務(wù)降級或中斷，以更低的成本達(dá)到合規(guī)性需求，并贏得寶貴的業(yè)務(wù)前瞻性。

快速獲得信息和價(jià)值 Splunk Hunk測試版

Splunk高級產(chǎn)品副總裁Guido Schroeder表示：“Hunk是Splunk產(chǎn)品系列中新增的重要產(chǎn)品。我們的客戶喜歡Splunk軟件讓他們輕松地分析和可視化數(shù)據(jù)。他們問我們是否也能夠幫助他們處理在Hadoop中大量的低成本數(shù)據(jù)庫。為此，我們利用獲得專利的全新虛擬索引技術(shù)擴(kuò)展了我們的技術(shù)。Hadoop是一項(xiàng)潛力巨大的技術(shù)–如果你能夠獲得數(shù)據(jù)并進(jìn)行處理。我們開發(fā)了一體化軟件Hunk,幫助機(jī)構(gòu)向更廣泛的用戶群提供其數(shù)據(jù)資產(chǎn)的信息，無需定制開發(fā)、成本高昂的數(shù)據(jù)建模或冗長的批處理迭代。通過提供互動(dòng)式數(shù)據(jù)探索、發(fā)現(xiàn)和分析，Hunk讓用戶能夠在Hadoop中從原始數(shù)據(jù)中獲得有價(jià)值的信息。”

Hunk讓組織機(jī)構(gòu)能夠更快速、更簡單地探索、分析、可視化和分享存儲在Hadoop中的數(shù)據(jù)。其主要特性包括：

Splunk虛擬索引(正在申請專利)：Splunk虛擬索引技術(shù)實(shí)現(xiàn)了無縫使用Splunk的所有技術(shù)，包括Splunk搜索處理語言(SPL)，它可以實(shí)現(xiàn)互動(dòng)地探索、分析和可視化存儲在任何地方的數(shù)據(jù)，就像它們存儲在Splunk Index中一樣。Hunk使用這項(xiàng)基礎(chǔ)性技術(shù)，是來自這個(gè)創(chuàng)新的第一款產(chǎn)品。

Hadoop中數(shù)據(jù)的互動(dòng)分析：Hunk能讓使用者進(jìn)行深分析、檢測模式并發(fā)現(xiàn)異常。使用者可以利于相互關(guān)聯(lián)的數(shù)據(jù)找出趨勢并發(fā)現(xiàn)有利的模式。利用Splunk DB Connect連接來自外部關(guān)系數(shù)據(jù)庫的數(shù)據(jù)，從而進(jìn)一步豐富信息。

Splunk解決方案助大數(shù)據(jù)用戶實(shí)現(xiàn)落地

Sanjay Mehta介紹了Splunk的一系列的案例，例如，幫助百事公司實(shí)現(xiàn)了實(shí)時(shí)運(yùn)營可視化，百事公司銷售人員使用Splunk手持終端了解銷售狀況，可以看到銷售實(shí)時(shí)數(shù)據(jù)，以確保其銷售工作的效果和效率，所有的數(shù)據(jù)來源都是通過基礎(chǔ)架構(gòu)而來，而非關(guān)系型數(shù)據(jù)庫;幫助salesforce.com實(shí)現(xiàn)全商務(wù)領(lǐng)域運(yùn)營情報(bào)，將問題解決率提高96%,為其10多萬家客戶提供更好的體驗(yàn)……

此外，Sanjay Mehta還分享了Splunk產(chǎn)品用于從電梯運(yùn)行數(shù)據(jù)監(jiān)控中獲得預(yù)測信息、通過醫(yī)療設(shè)備更好地了解患者狀況以及分析建筑物感應(yīng)器，以降低能源成本等應(yīng)用場景。

國內(nèi)的上海天旦網(wǎng)絡(luò)(Netis)和北京華夏威科軟件技術(shù)有限公司的代表分別在現(xiàn)場介紹了Splunk大數(shù)據(jù)技術(shù)在不同行業(yè)的應(yīng)用。

上海天旦介紹了Splunk在一個(gè)網(wǎng)上支付平臺的運(yùn)維管理工作的支持。華夏威科Splunk產(chǎn)品經(jīng)理王文雅表示，在國內(nèi)某大型銀行，通過單一的Splunk平臺，跨平臺收集不同格式的日志，對每天20G的數(shù)據(jù)進(jìn)行收集、管理、實(shí)時(shí)展示分析，以及建立關(guān)聯(lián)、歷史數(shù)據(jù)比對等等，大大提高了IT人員對企業(yè)環(huán)境的可見性。而這一切的工作，Splunk Index Server僅僅需要使用2臺4個(gè)CPU、4G內(nèi)存的虛擬機(jī)(VM)來支持。

當(dāng)然，Splunk的案例還有很多。截至目前，Splunk的客戶數(shù)量超過了5600家，分布在全球90多個(gè)國家。其中，中移動(dòng)、中電信、招行、交行、廣發(fā)、聯(lián)想、東航、支付寶和國美在線等是Splunk在中國地區(qū)的主要客戶–同樣覆蓋了電信、金融、能源、互聯(lián)網(wǎng)等多個(gè)行業(yè)。

wangxueyang