根據(jù)最新的思科全球云指數(shù)報(bào)告，預(yù)計(jì)到2017年年底，全球數(shù)據(jù)中心年均IP流量將達(dá)到7.7ZB。總體而言，數(shù)據(jù)中心IP流量在2012年到2017年之間將以25%的復(fù)合年均增長率(CAGR)增長。

現(xiàn)在增長的速度更快，而且組織需要依靠大量的數(shù)據(jù)集幫助它們運(yùn)營、量化和發(fā)展業(yè)務(wù)。在過去幾年里，大型數(shù)據(jù)庫經(jīng)歷了從GB到TB再到PB級(jí)的發(fā)展過程。

此外，數(shù)據(jù)也不再是存儲(chǔ)在一個(gè)地方，隨著這些數(shù)據(jù)的增長以及云計(jì)算的發(fā)展，這些數(shù)據(jù)實(shí)現(xiàn)了分布式存儲(chǔ)。

幾乎所有行業(yè)都在發(fā)展大數(shù)據(jù)和數(shù)據(jù)科學(xué)

科學(xué)：大型強(qiáng)子對(duì)撞機(jī)每秒大約進(jìn)行6億次碰撞。因此，只有當(dāng)傳感器流數(shù)據(jù)小于0.001%的時(shí)候才有效，從四個(gè)大型強(qiáng)子對(duì)撞機(jī)實(shí)驗(yàn)中產(chǎn)生的數(shù)據(jù)意味著每年將產(chǎn)生25PB的數(shù)據(jù)(統(tǒng)計(jì)于2012年)，此外備份還會(huì)產(chǎn)生大量數(shù)據(jù)，備份后的數(shù)據(jù)有可能達(dá)到200PB。

研究：美國航空航天局的氣候模擬中心(NCCS)在其超級(jí)計(jì)算機(jī)平臺(tái)上存儲(chǔ)了約32PB的氣候觀測和模擬數(shù)據(jù)。

私有/公共：亞馬遜每天處理的后端操作達(dá)數(shù)百萬，此外還有超過50萬個(gè)第3方賣家的查詢操作。亞馬遜的核心技術(shù)運(yùn)行在基于Linux的數(shù)據(jù)庫系統(tǒng)上，截至2005年，亞馬遜擁有世界上三個(gè)最大的Linux數(shù)據(jù)庫，容量分別達(dá)到了7.8TB、18.5TB、24.7TB。

組織被迫尋找新的創(chuàng)造性方法來管理和控制如此龐大的數(shù)據(jù)，目的不只是為了整理數(shù)據(jù)，而是要分析和挖掘數(shù)據(jù)來進(jìn)一步發(fā)展業(yè)務(wù)，因此，一些開源大數(shù)據(jù)技術(shù)值得考慮：

Apache HBase：這個(gè)大數(shù)據(jù)管理平臺(tái)建立在谷歌強(qiáng)大的BigTable管理引擎基礎(chǔ)上。作為具有開源、Java編碼、分布式多個(gè)優(yōu)勢的數(shù)據(jù)庫，Hbase最初被設(shè)計(jì)應(yīng)用于Hadoop平臺(tái)，而這一強(qiáng)大的數(shù)據(jù)管理工具，也被Facebook采用，用于管理消息平臺(tái)的龐大數(shù)據(jù)。

Apache Storm：用于處理高速、大型數(shù)據(jù)流的分布式實(shí)時(shí)計(jì)算系統(tǒng)。Storm為Apache Hadoop添加了可靠的實(shí)時(shí)數(shù)據(jù)處理功能，同時(shí)還增加了低延遲的儀表板、安全警報(bào)，改進(jìn)了原有的操作方式，幫助企業(yè)更有效率地捕獲商業(yè)機(jī)會(huì)、發(fā)展新業(yè)務(wù)。

Apache Spark：該技術(shù)采用內(nèi)存計(jì)算，從多迭代批量處理出發(fā)，允許將數(shù)據(jù)載入內(nèi)存做反復(fù)查詢，此外還融合數(shù)據(jù)倉庫、流處理和圖計(jì)算等多種計(jì)算范式，Spark用Scala語言實(shí)現(xiàn)，構(gòu)建在HDFS上，能與Hadoop很好的結(jié)合，而且運(yùn)行速度比MapReduce快100倍。

Apache Hadoop：該技術(shù)迅速成為了大數(shù)據(jù)管理標(biāo)準(zhǔn)之一。當(dāng)它被用來管理大型數(shù)據(jù)集時(shí)，對(duì)于復(fù)雜的分布式應(yīng)用，Hadoop體現(xiàn)出了非常好的性能，平臺(tái)的靈活性使它可以運(yùn)行在商用硬件系統(tǒng)，它還可以輕松地集成結(jié)構(gòu)化、半結(jié)構(gòu)化和甚至非結(jié)構(gòu)化數(shù)據(jù)集。

Apache Drill：你有多大的數(shù)據(jù)集?其實(shí)無論你有多大的數(shù)據(jù)集，Drill都能輕松應(yīng)對(duì)。通過支持HBase、Cassandra和MongoDB，Drill建立了交互式分析平臺(tái)，允許大規(guī)模數(shù)據(jù)吞吐，而且能很快得出結(jié)果。

Apache Sqoop：也許你的數(shù)據(jù)現(xiàn)在還被鎖定于舊系統(tǒng)中，Sqoop可以幫你解決這個(gè)問題。這一平臺(tái)采用并發(fā)連接，可以將數(shù)據(jù)從關(guān)系數(shù)據(jù)庫系統(tǒng)方便地轉(zhuǎn)移到Hadoop中，可以自定義數(shù)據(jù)類型以及元數(shù)據(jù)傳播的映射。事實(shí)上，你還可以將數(shù)據(jù)(如新的數(shù)據(jù))導(dǎo)入到HDFS、Hive和Hbase中。

Apache Giraph：這是功能強(qiáng)大的圖形處理平臺(tái)，具有很好可擴(kuò)展性和可用性。該技術(shù)已經(jīng)被Facebook采用，Giraph可以運(yùn)行在Hadoop環(huán)境中，可以將它直接部署到現(xiàn)有的Hadoop系統(tǒng)中。通過這種方式，你可以得到強(qiáng)大的分布式作圖能力，同時(shí)還能利用上現(xiàn)有的大數(shù)據(jù)處理引擎。

Cloudera Impala：Impala模型也可以部署在你現(xiàn)有的Hadoop群集上，監(jiān)視所有的查詢。該技術(shù)和MapReduce一樣，具有強(qiáng)大的批處理能力，而且Impala對(duì)于實(shí)時(shí)的SQL查詢也有很好的效果，通過高效的SQL查詢，你可以很快的了解到大數(shù)據(jù)平臺(tái)上的數(shù)據(jù)。

Gephi：它可以用來對(duì)信息進(jìn)行關(guān)聯(lián)和量化處理，通過為數(shù)據(jù)創(chuàng)建功能強(qiáng)大的可視化效果，你可以從數(shù)據(jù)中得到不一樣的洞察力。Gephi已經(jīng)支持多個(gè)圖表類型，而且可以在具有上百萬個(gè)節(jié)點(diǎn)的大型網(wǎng)絡(luò)上運(yùn)行。Gephi具有活躍的用戶社區(qū)，Gephi還提供了大量的插件，可以和現(xiàn)有系統(tǒng)完美的集成到一起，它還可以對(duì)復(fù)雜的IT連接、分布式系統(tǒng)中各個(gè)節(jié)點(diǎn)、數(shù)據(jù)流等信息進(jìn)行可視化分析。

MongoDB：這個(gè)堅(jiān)實(shí)的平臺(tái)一直被很多組織推崇，它在大數(shù)據(jù)管理上有極好的性能。MongoDB最初是由DoubleClick公司的員工創(chuàng)建，現(xiàn)在該技術(shù)已經(jīng)被廣泛的應(yīng)用于大數(shù)據(jù)管理。MongoDB是一個(gè)應(yīng)用開源技術(shù)開發(fā)的NoSQL數(shù)據(jù)庫，可以用于在JSON這樣的平臺(tái)上存儲(chǔ)和處理數(shù)據(jù)。目前，紐約時(shí)報(bào)、Craigslist以及眾多企業(yè)都采用了MongoDB，幫助他們管理大型數(shù)據(jù)集。(Couchbase服務(wù)器也作為一個(gè)參考)。

在我們這個(gè)DOD(data-on-demand)社會(huì)，每天都有大量的數(shù)據(jù)產(chǎn)生，并且大量的數(shù)據(jù)被收集在主要IT系統(tǒng)中。無論是社交媒體的照片還是國際商店交易信息，大量高質(zhì)量、可量化的數(shù)據(jù)每天都在爆炸性增加，應(yīng)對(duì)的唯一方法就是快速部署一個(gè)高效的管理方案。

切記，除了要對(duì)數(shù)據(jù)進(jìn)行快速的分類和組織，IT管理人員必須具有挖掘信息并將其應(yīng)用到業(yè)務(wù)中的能力。商業(yè)智能和數(shù)據(jù)量化背后的科學(xué)將繼續(xù)發(fā)展和擴(kuò)大，企業(yè)取得競爭優(yōu)勢的關(guān)鍵在于能否對(duì)它們的數(shù)據(jù)進(jìn)行很好的管理。