正確運用避免陷入大數(shù)據(jù)的“陷阱”
企業(yè)網(wǎng)D1net 3 發(fā)表于:13年05月29日 13:21 [轉(zhuǎn)載] CIO時代
通常,對于新的IT關鍵詞必定會出現(xiàn)“反對派”。最近,“大數(shù)據(jù)”就成為被攻擊的對象,諸如“大數(shù)據(jù)失敗論”等論調(diào)也明顯增加。
業(yè)界對大數(shù)據(jù)抱著極大的期待,這一點從大量的大數(shù)據(jù)研討會和展示會風潮就足以證明。這些年來,除了云計算浪潮,缺乏熱烈話題的IT業(yè)界而言,大數(shù)據(jù)是期待已久的大型關鍵詞,也許大數(shù)據(jù)會成為恢復業(yè)界活力的強心劑。
與此同時,日本政府提出新的IT戰(zhàn)略--“將行政數(shù)據(jù)向民間開發(fā),以便不斷創(chuàng)造新商務”。也就是說,如何有效利用數(shù)據(jù),推動商業(yè)成功,業(yè)已成為國家戰(zhàn)略的一環(huán)。
雖然筆者既不是強烈的贊成派也不是反對派,但通過以往的采訪經(jīng)驗,對處理數(shù)據(jù)的難度有著清醒的認識。更何況涉及到大數(shù)據(jù),其難度顯而易見。
筆者周邊很多人對大數(shù)據(jù)也有著各種不同的看法,提出各種問題。當然這些對于IT業(yè)界的讀者而言,都是理所當然的事情,筆者說這些也許是班門弄斧了。但是,正是這些眾所周知的道理通常也是非常重要不可忽視的。因此,下面筆者將重新提出大數(shù)據(jù)的“陷阱”,探討如何才能避免運用大數(shù)據(jù)的失敗。
是否真正需要大量的數(shù)據(jù)
首先,必須明確的一點是,是否真正需要大量的數(shù)據(jù)。
在一次活動中,一位統(tǒng)計分析的專家在談到大數(shù)據(jù)時說:“本來統(tǒng)計分析學是如何通過少量的取樣,去了解事務整體的學問。例如,電視的收視率調(diào)查就是一個典型的事例,這類調(diào)查就是通過極少的樣本,來掌握日本全國的收視狀況。如果目的明確,并不需要大量的數(shù)據(jù)。”
由于上述言論出自目前作為“數(shù)據(jù)科學家”備受矚目的統(tǒng)計分析方面的專家之口,讓筆者不禁大吃一驚。這就是說,只要有一定量的數(shù)據(jù),無關數(shù)據(jù)數(shù)量,分析的結(jié)果并不會有很大的差別。如果果真如此,不禁讓人產(chǎn)生懷疑,即到底大數(shù)據(jù)是為何而存在。
聽到上述觀點,使人感到大數(shù)據(jù)所面臨的矛盾的應當不僅僅是筆者一人。本以為通過大數(shù)據(jù)分析,滿懷期待能夠發(fā)現(xiàn)以往沒有認識到的新的東西,但有時其結(jié)果不過是已有所知的事實而已。如果企業(yè)為系統(tǒng)開發(fā)投入數(shù)十億日元,得出的不過是證明資深職員“經(jīng)驗”的結(jié)論,這也未免讓人難以接受。
正因為如此,就有必要重新考慮為何需要大數(shù)據(jù)這一問題。例如,企業(yè)需要明確通過將有交易往來的公司和社交媒體等本企業(yè)外的大量數(shù)據(jù)進行組合,是為達到何種目的等,即有必要事先制定大數(shù)據(jù)的目標。