2、大數(shù)據(jù)處理技術復雜

大數(shù)據(jù)的處理技術紛繁復雜，仍然處于產業(yè)變革早期的戰(zhàn)國時代。由于傳統(tǒng)的OLAP和數(shù)倉的延續(xù)性，Hive SQL有很大市場，但Hive的數(shù)據(jù)正確性和Bug仍然比較多。而Hadoop MapReduce又過于復雜靈活，寫出高效Job比較困難。Pig、FlumeJava等分布式編程模型技術的門檻較高，所以推廣起來也比較困難。在數(shù)據(jù)挖掘和圖算法領域雖然涌現(xiàn)出了Mahout、Hama、GoldenOrb等大量開源平臺，但都不夠成熟。至于基于Hadoop的工作流系統(tǒng)Oozie和數(shù)據(jù)傳輸系統(tǒng)Sqoop都需要開發(fā)人員單獨部署。都是各有利弊，還沒有一個很好的完美的解決方案。

3、Hadoop尚難成為公共云服務

為什么說Hadoop很難成為公共云服務呢，原因有以下幾個方面，第一Hadoop的安全體系局限在企業(yè)內網(wǎng)，缺乏多租戶的支持。第二直接暴露HDFS文件系統(tǒng)，MapReduce和Hive很難做到多用戶數(shù)據(jù)安全。第三數(shù)據(jù)文件格式過于復雜多樣，維護成本高，保持數(shù)據(jù)兼容比較困難。

綜上三點目前大數(shù)據(jù)的現(xiàn)狀，我們可以看出，大數(shù)據(jù)處理系統(tǒng)的技術門檻很高，從自備發(fā)電機到公共電網(wǎng)還有很長的路要走。而市場則需要安全性、可用性、數(shù)據(jù)正確性都有保障，并且功能完整的一體化大數(shù)據(jù)處理服務。

大數(shù)據(jù)處理面臨的問題

就目前大數(shù)據(jù)的現(xiàn)狀來看，可以看出大數(shù)據(jù)目前面臨著以下幾個問題。

1、多租戶

如何保證用戶間隔離、數(shù)據(jù)安全和防止有害代碼的威脅?

2、高可用

如何確保服務7*24小時高可用和數(shù)據(jù)永久不丟失?

3、大規(guī)模

如何支撐10000個中型網(wǎng)站的數(shù)據(jù)規(guī)模?

4、編程模型

如何在紛繁的編程模型中選擇并保持高度的擴展性，并支持工作流程?

5、存儲摸型

如何在存儲不斷發(fā)展中報紙數(shù)據(jù)格式的兼容性和互操作性?

6、數(shù)據(jù)正確性

如何確保大數(shù)據(jù)處理的正確性和一致性，尤其對于金融和科學計算應用?

7、資源調度與效率

如何高效調度和使用計算?

8、可運維可管理

如何確保系統(tǒng)可運維和管理，做到遠程維修?

9、數(shù)據(jù)通道

如何處理大數(shù)據(jù)的傳輸以及與在線和實時分析系統(tǒng)的整合?

10、運營平臺

如何為數(shù)據(jù)和應用的提供者和使用者提供一個交易平臺和生態(tài)環(huán)境?

zhaohang