隨著生活的豐富，產(chǎn)生數(shù)據(jù)的設(shè)備也是愈來愈多，同樣需要處理的數(shù)據(jù)體積也是日益激增，各個機構(gòu)也紛紛把眼光投向“大數(shù)據(jù)”這個術(shù)語。在這場數(shù)據(jù)的淘金中許多公司滿載而歸，然而“大數(shù)據(jù)”投資失敗的公司也不可謂不多，所以就有了之前的一篇文章“ Why Big Data Projects Fail”。對此，商業(yè)智能工具研發(fā)總監(jiān)、esProc、esCalc高級顧問Jim King否認(rèn)了這個看法，并以Google為例給大數(shù)據(jù)投資者提出了一些警示。
以下為譯文：
首先看一下大數(shù)據(jù)成功典范Google，看看他們是如何玩轉(zhuǎn)大數(shù)據(jù)的：
1. 收集數(shù)據(jù)，捕捉每個網(wǎng)站、電子郵件、Cookie內(nèi)容，并提取關(guān)鍵信息。
2. 為信息創(chuàng)建復(fù)合索引。不用說，廣告相關(guān)索引是必不可少的。
3. 將目錄和內(nèi)容儲存在分布式服務(wù)器中。
4. 當(dāng)用戶瀏覽網(wǎng)站以及搜索或訪問電子郵件時，Google會對這些請求做復(fù)雜的轉(zhuǎn)換處理，同時幾個索引項會隨之確定。
5. 根據(jù)索引在服務(wù)器中查詢數(shù)據(jù)，返回搜索結(jié)果或者廣告。
在這里不難發(fā)現(xiàn)，與Hadoop有關(guān)的只有3和5，也就是數(shù)據(jù)儲存和查詢。而這兩項也是最容易實現(xiàn)的兩項，比如Hadoop就是個具有良好擴展性及低成本的解決方案。
那么實現(xiàn)3和5就可以像Google一樣發(fā)玩轉(zhuǎn)大數(shù)據(jù)了?很顯然不行，因為關(guān)鍵選項2和4并沒有實現(xiàn)，而2和4就是所謂的業(yè)務(wù)分析算法。這些算法由業(yè)務(wù)專家根據(jù)數(shù)據(jù)、業(yè)務(wù)知識、市場趨勢精心打造，是許多企業(yè)商業(yè)策略制定的重要手段及核心。這才是4V理論中的“Value”。
這也是現(xiàn)下許多大數(shù)據(jù)投資失敗的原因，因為當(dāng)下的大數(shù)據(jù)只提供了數(shù)據(jù)存儲和查詢的策略，缺乏了提高企業(yè)競爭力的業(yè)務(wù)分析解決方案，而恰恰這才是最重要的。事實上，現(xiàn)在的大數(shù)據(jù)工具都是為IT專家打造的，他們可以通過C++或者Java實現(xiàn)MapReduce功能，但是卻無法提供有價值的商業(yè)算法。
因此大數(shù)據(jù)成功的關(guān)鍵不在于Hadoop是否部署成功，而在于對業(yè)務(wù)有幫助算法的制定，而在人才嚴(yán)重缺乏的當(dāng)下，不妨從數(shù)據(jù)工具入手。降低工具使用的門檻，讓業(yè)務(wù)專家可以參與其中，才能發(fā)揮大數(shù)據(jù)真正的作用，對業(yè)務(wù)起到立竿見影的改善。
總結(jié)
工具的部署誰都可以，關(guān)鍵在于業(yè)務(wù)算法的制定，讓業(yè)務(wù)專家無縫的參與數(shù)據(jù)的分析才是成功之始。
