IBM中國開發(fā)中心信息管理總經(jīng)理朱輝在做關(guān)于大數(shù)據(jù)的演講
大數(shù)據(jù)之“大”
IBM認(rèn)為大數(shù)據(jù)信息有三個(gè)特質(zhì),被總結(jié)為三個(gè)“V”:Variety(種類)、Velocity(速度)、Volume(容量)。
首先是種類,數(shù)據(jù)往往來自于業(yè)務(wù)系統(tǒng),這是主要的數(shù)據(jù)來源。社交媒體、客戶信息、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)的產(chǎn)生,越來越多的結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生,大大的擴(kuò)展了數(shù)據(jù)的種類。
其次是速度,企業(yè)如何以最快的速度獲取這些數(shù)據(jù)信息。在從數(shù)據(jù)當(dāng)中進(jìn)行挖掘的時(shí)候,傳統(tǒng)BI的需求能夠做到知道,其過去一年、一個(gè)季度、一個(gè)月做的是什么,但是現(xiàn)在的需求是我需要馬上看到大量實(shí)時(shí)數(shù)據(jù)的分析結(jié)果。根據(jù)以前的數(shù)據(jù)怎么樣盡快分析出來下一步可能出現(xiàn)的情況。這對分析速度的要求是完全不一樣的。
第三就是容量,現(xiàn)在數(shù)據(jù)信息單位已經(jīng)進(jìn)入ZB級了,對于企業(yè)的信息管理人員,所有的數(shù)據(jù)信息量都是以幾何數(shù)據(jù)在增長。
大數(shù)據(jù)時(shí)代的挑戰(zhàn)
所謂的大數(shù)據(jù),從本質(zhì)上主要反映的是現(xiàn)在行業(yè)當(dāng)中的兩個(gè)現(xiàn)象,一方面隨著隨著企業(yè)業(yè)務(wù)的推進(jìn)和演變,企業(yè)業(yè)務(wù)模式正在改變,本身產(chǎn)生的數(shù)據(jù)越來越多,種類越來越多,數(shù)量越來越大,對存儲(chǔ)成本、運(yùn)用成本、查詢成本方面的壓力越來越大。
另一方面,IBM對全球大企業(yè)領(lǐng)導(dǎo)的調(diào)研當(dāng)中非常清晰的能夠看出來,企業(yè)的領(lǐng)導(dǎo)者能夠獲取諸多的信息那,但是并不代表他能夠從信息當(dāng)中得到的參謀價(jià)值,或者這種指導(dǎo)價(jià)值的正確的。
朱輝說道:“對于企業(yè)CIO來說,由于信息量龐大,CIO只知道你看到了什么,你不知道你沒看到什么,有可能沒看到的那部分比你看到的那部分要重要,這個(gè)時(shí)候CIO如何來應(yīng)付?”
一些數(shù)據(jù)也在清晰地體現(xiàn)這些問題,根據(jù)調(diào)查,1/3的領(lǐng)導(dǎo)不信任現(xiàn)在的數(shù)據(jù)分析結(jié)果,1/2的領(lǐng)導(dǎo)抱怨沒有得到自己需要的信息,83%的CIO覺得,BI應(yīng)該成為他們規(guī)劃當(dāng)中的一部分。
數(shù)據(jù)反映的問題實(shí)質(zhì)就是:企業(yè)CIO對于大數(shù)據(jù)有需求,他們需要獲得一種方法去有效地利用好大數(shù)據(jù)。
大數(shù)據(jù)需要整套解決方案
許多人在提到大數(shù)據(jù)的時(shí)候會(huì)想起Hadoop,但是朱輝認(rèn)為大數(shù)據(jù)的挑戰(zhàn)不是基于Hadoop這樣一款產(chǎn)皮都可以解決的。這需要在Hadoop的基礎(chǔ)之上有一整套的解決方案,是一個(gè)平臺(tái)。這個(gè)平臺(tái)當(dāng)中涵蓋了它需要把很多不同的功能模塊和產(chǎn)品融合到一起,搭建一個(gè)全新的數(shù)據(jù)架構(gòu)和平臺(tái)。在Hadoop、Hbase這些開源軟件基礎(chǔ)之上,需要與數(shù)據(jù)倉庫、數(shù)據(jù)庫、數(shù)據(jù)集成、業(yè)務(wù)流程管理等組件充分集成,得以將大數(shù)據(jù)融入企業(yè)。
IBM 大數(shù)據(jù)平臺(tái)是融合IBM各種產(chǎn)品的一整套解決方案
另外,朱輝認(rèn)為在現(xiàn)在這樣一個(gè)階段,傳統(tǒng)的數(shù)據(jù)倉庫在這當(dāng)中仍然扮演一個(gè)非常重要的角色,至少是海量數(shù)據(jù)巨大的產(chǎn)生源。而大數(shù)據(jù)將與傳統(tǒng)數(shù)據(jù)倉庫進(jìn)行有效地互補(bǔ)。