Hadoop會成存儲第3級嗎？
Hadoop，數(shù)據(jù)存儲和導(dǎo)入
無論是單獨構(gòu)建集群系統(tǒng)，規(guī)模視情況而定？還是選用市場現(xiàn)有的大數(shù)據(jù)一體機，用戶都需要一個單獨平臺進行大數(shù)據(jù)分析處理，系統(tǒng)構(gòu)建完成之后，首先要把數(shù)據(jù)導(dǎo)入。
企業(yè)數(shù)據(jù)如何導(dǎo)入Hadoop系統(tǒng)？系統(tǒng)又如何組織數(shù)據(jù)的呢？為此，我請教百分點大數(shù)據(jù)的專家獲知，可以借助不同的工具，對于數(shù)據(jù)進行導(dǎo)入。
不同數(shù)據(jù)類型，需要采用的不用工具。以數(shù)據(jù)庫數(shù)據(jù)為例，要采用的工具是Sqoop，可以將一個關(guān)系型數(shù)據(jù)庫（例如 ： MySQL、Oracle、PostgreSQL等）中的數(shù)據(jù)導(dǎo)進到Hadoop（Hive）的HDFS中，也可以反過來將HDFS數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。針對非結(jié)構(gòu)化數(shù)據(jù)，例如文本數(shù)據(jù)、IoT（物聯(lián)網(wǎng)）機器數(shù)據(jù)等，需要使用Flume，它是Cloudera提供的一個海量日志采集、聚合和傳輸?shù)南到y(tǒng)，同時Flume也提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）。需要稍加說明的是，圖片大小不同，接入介質(zhì)（這里指MongoDB、Hbase或HDFS）不同，其中，有些介質(zhì)適合小文件數(shù)據(jù)處理，有些適合處理大文件，因此，要根據(jù)非結(jié)構(gòu)化數(shù)據(jù)的特點，分別加以存儲。
“標(biāo)簽”體系是基礎(chǔ)
當(dāng)數(shù)據(jù)就緒之后，接下來就要由具有行業(yè)經(jīng)驗、業(yè)務(wù)經(jīng)驗的專家，結(jié)合業(yè)務(wù)系統(tǒng)和業(yè)務(wù)形態(tài)構(gòu)建數(shù)據(jù)的標(biāo)簽體系。根據(jù)介紹，系統(tǒng)為一個用戶打的各種標(biāo)簽高達近萬種，其顆粒度之細致超乎想象?？梢院敛豢鋸埖恼f，機器甚至比你更加了解你自己。對于人來說，做過事情經(jīng)過一段時間會被遺忘，但機器不會，主要數(shù)據(jù)不刪除，機器永遠不會忘記。
標(biāo)簽體系是用戶業(yè)務(wù)畫像的基礎(chǔ)，通過各種靈活業(yè)務(wù)查詢，就可以演變出千變?nèi)f化的業(yè)務(wù)創(chuàng)新應(yīng)用，可以是解決現(xiàn)有業(yè)務(wù)系統(tǒng)的問題，如性能問題、系統(tǒng)預(yù)警問題；也可以針對業(yè)務(wù)提供創(chuàng)新的業(yè)務(wù)服務(wù)，例如零售行業(yè)的個性化推薦、金融防欺詐和反洗錢等，這些業(yè)務(wù)應(yīng)用有些屬于離線業(yè)務(wù)分析，有些則涉及在線的數(shù)據(jù)處理能力。不同系統(tǒng)，需要采用不同的技術(shù)手段，可以列式數(shù)據(jù)庫，也可以是Spark等。
以某省交管部門為例，隨著數(shù)據(jù)量的不斷增加，他們所采用的關(guān)系數(shù)據(jù)庫就出現(xiàn)了性能不足的問題。對此，他們引入了大數(shù)據(jù)的技術(shù)，通過分布式數(shù)據(jù)處理，成功解決系統(tǒng)存在的問題。
從本質(zhì)上說，大數(shù)據(jù)技術(shù)和關(guān)系型數(shù)據(jù)庫所提供服務(wù)，從方向上是一致的。關(guān)系型數(shù)據(jù)庫也提供了數(shù)據(jù)存儲、數(shù)據(jù)查詢，數(shù)據(jù)倉庫ETL等一系列技術(shù)，提供在線數(shù)據(jù)分析等服務(wù)。與之相比，大數(shù)據(jù)應(yīng)用所提供數(shù)據(jù)顆粒度更細，分布式系統(tǒng)能夠處理的數(shù)據(jù)量更大，數(shù)據(jù)分析技術(shù)和手段更加多樣性。
如今，隨著人工智能，機器學(xué)習(xí)等技術(shù)的成熟，經(jīng)過大量數(shù)據(jù)的訓(xùn)練和矯正，數(shù)據(jù)建模分析的效果愈發(fā)顯現(xiàn)了出來。以零售行業(yè)個性化推薦應(yīng)用為例，已經(jīng)成為了行業(yè)應(yīng)用的標(biāo)配，效果顯著。
小結(jié)
大數(shù)據(jù)應(yīng)用為人類工作生活展示了美麗畫卷，所謂理想豐滿，現(xiàn)實骨干，如今大數(shù)據(jù)應(yīng)用現(xiàn)狀并不令人滿意，問題并不在Hadoop等技術(shù)方向上，方向沒有錯，但與此同時，Hadoop技術(shù)復(fù)雜性成為了應(yīng)用的限制門檻。
必須簡化技術(shù)的復(fù)雜度，為此百分點等廠商推出了像BD-OS這樣的大數(shù)據(jù)平臺，幫助用戶簡化和使用各種分析手段和工具。目前，行業(yè)的龍頭企業(yè)正在積極引入這些技術(shù)，因此，大數(shù)據(jù)技術(shù)和行業(yè)應(yīng)用還在結(jié)合之中，行業(yè)應(yīng)用的爆發(fā)還需要一段時間的積累，所謂不鳴則已，一鳴驚人！
大數(shù)據(jù)普遍爆發(fā)也許真的用不了太長的時間！
“大數(shù)據(jù)，Hadoop，存儲應(yīng)用第三極”將作為沙龍主題，在今年12月“中國存儲峰會”推出，敬請關(guān)注！
