大數(shù)據(jù)的特點
王偉 吳以四 | 發(fā)表于：12年06月11日 10:34 [來稿] DOIT.com.cn
自古至今，從未有一個時代出現(xiàn)過如此大規(guī)模的數(shù)據(jù)爆炸。如今的商業(yè)世界，已經(jīng)變成了飄浮在數(shù)據(jù)海洋上的巨輪，而那些通過大數(shù)據(jù)能力駛?cè)胨{海的企業(yè)，將會贏得豐厚的回報。
對于大數(shù)據(jù)的特點，業(yè)界通常用Volume、Variety、Value、Velocity這4個V來概括。大數(shù)據(jù)的特點包括：第一，數(shù)據(jù)體量巨大。從TB級別躍升到PB乃至EB級別。要知道目前的數(shù)據(jù)量有多大，我們先來看看一組公式。1024GB=1TB；1024TB=1PB；1024PB=1EB；1024 EB=1ZB；1024ZB=YB。到目前為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB，而歷史上全人類說過的所有的話的數(shù)據(jù)量大約是5EB。
第二，數(shù)據(jù)類型繁多。這種類型的多樣性也讓數(shù)據(jù)被分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。相對于以往便于存儲的以文本為主的結(jié)構(gòu)化數(shù)據(jù)，越來越多的非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生給所有廠商都提出了挑戰(zhàn)。拜互聯(lián)網(wǎng)和通信技術(shù)近年來迅猛發(fā)展所賜，如今的數(shù)據(jù)類型早已不是單一的文本形式，除了網(wǎng)絡日志、音頻、視頻、圖片、地理位置信息等等多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高的要求。
第三，價值密度低。價值密度的高低與數(shù)據(jù)總量的大小成反比。以視頻為例，一部一小時的視頻，在連續(xù)不間斷監(jiān)控過程中，可能有用的數(shù)據(jù)僅僅只有一兩秒。如何通過強大的機器算法更迅速地完成數(shù)據(jù)的價值“提純”是目前大數(shù)據(jù)洶涌背景下亟待解決的難題。
第四，處理速度快。這是大數(shù)據(jù)區(qū)分于傳統(tǒng)數(shù)據(jù)挖掘最顯著的特征。根據(jù)IDC的一份名為“數(shù)字宇宙”的報告，預計到2020年全球數(shù)據(jù)使用量將會達到35.2ZB。在如此海量的數(shù)據(jù)面前，處理數(shù)據(jù)的效率就是企業(yè)的生命。
還記得10年之前風靡一時的美國情景喜劇《六人行》（又名《老友記》）嗎？在這部美國NBC電視臺從1994年開播到2004年落幕的經(jīng)典之作中，6位主人公從姓名、職業(yè)到個人喜好至今都還能被粉絲們津津樂道。
這部美劇中有一個頗受觀注的傳奇謎團，那就是錢德勒到底是干什么的？——雖然他解釋過很多次自己的工作，但是從來沒有人真正弄明白過他所做的那個全稱叫做“an executive specializing in statistical analysis and data reconfiguration”是個什么東西。
在該劇熱播的10多年前，想要跟一個陌生人講清楚這樣一個與數(shù)據(jù)統(tǒng)計分析有關的崗位確實不是一件容易的事情，以至于到了《老友記》的最后兩季，“生不逢時”的錢德勒不得不轉(zhuǎn)行干起了廣告。不過到了今天，錢德勒們的職業(yè)卻正變得炙手可熱。
如今，在數(shù)字方面拿手，對于數(shù)據(jù)分析著迷不僅不會讓一個人再成為社會的另類，相反這意味著無數(shù)條件優(yōu)厚的工作機會正在招手。
根據(jù)麥肯錫旗下研究部門麥肯錫全球?qū)W會(McKinsey Global Institute)2011年發(fā)布的一份報告顯示，預計美國需要14萬-19萬名擁有“深度分析”專長的工作者，以及150萬名更加精通數(shù)據(jù)的經(jīng)理人，無論是已退休人士還是已受聘人士。
造成數(shù)據(jù)人才供不應求的一個顯著的背景就是如今“大數(shù)據(jù)”的爆發(fā)正在得到從企業(yè)界到政府層面越來越多的重視。
今年2月，《紐約時報》撰文稱，“大數(shù)據(jù)”正在對每個領域都造成影響，在商業(yè)、經(jīng)濟和其他領域中，決策行為將日益基于數(shù)據(jù)分析做出，而不是像過去更多憑借經(jīng)驗和直覺。而在公共衛(wèi)生、經(jīng)濟預測等領域，“大數(shù)據(jù)”的預見能力已經(jīng)開始嶄露頭角。
一個最新的例子就是Facebook在5月18日的IPO。在5月18日之前，幾乎沒有人敢說自己有把握去預測Facebook上市當天股價的走勢，但是Twitter卻神奇般地做到了。
社交媒體監(jiān)測平臺DataSift監(jiān)測了Facebook IPO當天Twitter上的情感傾向與Facebook股價波動的關聯(lián)。例如，在Facebook開盤前Twitter上的情感逐漸轉(zhuǎn)向負面，25分鐘之后,Facebook的股價便開始下跌。而當Twitter上的情感轉(zhuǎn)向正面時，F(xiàn)acebook股價在8分鐘之后也開始了回彈。最終，當股市接近收盤時，Twitter上的情感轉(zhuǎn)向負面，10分鐘后Facebook的股價又開始下跌。最終的結(jié)論是：Twitter上每一次情感傾向的轉(zhuǎn)向都會影響Facebook股價的波動，延遲情況只有幾分鐘到20多分鐘。
這僅僅只是基于社交網(wǎng)絡產(chǎn)生的大數(shù)據(jù)進行“預見未來”的眾多案例之一，事實上“大數(shù)據(jù)”所能帶來的巨大商業(yè)價值已經(jīng)被人認為將引領一場足以匹敵20世紀計算機革命的巨大變革。
2012年2月，《華爾街日報》發(fā)表文章《科技變革即將引領新的經(jīng)濟繁榮》，文中罕見地做出大膽預見：“我們再次處于三場宏大技術(shù)變革的開端，他們可能足以匹敵20世紀的那場變革，這三場變革的震中都在美國，他們分別是大數(shù)據(jù)、智能制造和無線網(wǎng)絡革命。”
《華爾街日報》的斷言并非無的放矢。在今年年初的瑞士達沃斯論壇上，一份題為《大數(shù)據(jù)，大影響》(Big Data, Big Impact)的報告宣稱，數(shù)據(jù)已經(jīng)成為一種新的經(jīng)濟資產(chǎn)類別，就像貨幣或黃金一樣。
更加值得關注的則是，奧巴馬政府已經(jīng)把“大數(shù)據(jù)”上升到了國家戰(zhàn)略的層面。根據(jù)美國白宮今年3月29日新聞，奧巴馬政府宣布投資2億美元啟動“大數(shù)據(jù)研究和發(fā)展計劃”。希望增強收集海量數(shù)據(jù)、分析萃取信息的能力。
上一次白宮親自參與推動信息技術(shù)產(chǎn)業(yè)的大手筆還是2010年希拉里提出的“國家寬帶戰(zhàn)略”，“大數(shù)據(jù)研究和發(fā)展計劃”也被認為是1993年時任美國副總統(tǒng)戈爾宣布的“信息高速公路”計劃后美國政府政策層面的一次“狂飆突進”，將“大數(shù)據(jù)”上升到國家意志將在下一個10年帶來深遠影響。
在互聯(lián)網(wǎng)和通信技術(shù)飛速發(fā)展20年后，一個屬于“大數(shù)據(jù)”的時代，真的來了。
