針對(duì)中國(guó)企業(yè)的大數(shù)據(jù)需求旺盛與應(yīng)用落后之間的矛盾，Teradata天睿公司大中華區(qū)大數(shù)據(jù)事業(yè)部總監(jiān)孔宇華日前對(duì)話DOIT記者，基于Teradata在數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)分析領(lǐng)域經(jīng)營(yíng)30多年的領(lǐng)先經(jīng)驗(yàn)，分享了釋放大數(shù)據(jù)大價(jià)值的最佳實(shí)踐，為中國(guó)企業(yè)的大數(shù)據(jù)之路提供了可以借鑒的選擇。

孔宇華表示，隨著非結(jié)構(gòu)化數(shù)據(jù)的引入，把有價(jià)值的東西提煉出來(lái)變成一個(gè)難題，通過(guò)一個(gè)能夠囊括不同數(shù)據(jù)源、數(shù)據(jù)類型和不同分析方法的數(shù)據(jù)探索平臺(tái)，快速整理一些“小數(shù)據(jù)”進(jìn)行分析，不斷試錯(cuò)找到價(jià)值點(diǎn)，能夠以最少的開(kāi)支，讓企業(yè)業(yè)務(wù)人員快速、有效地獲得數(shù)據(jù)的精髓，從而實(shí)現(xiàn)業(yè)務(wù)的創(chuàng)新。

Teradata天睿公司大中華區(qū)大數(shù)據(jù)事業(yè)部總監(jiān)孔宇華

中國(guó)企業(yè)的迷失

大數(shù)據(jù)似乎已成為中國(guó)企業(yè)超越同行或者打翻身仗的秘密武器。湘鄂情毅然決然剝離經(jīng)營(yíng)已久的餐飲業(yè)務(wù)，試圖在陌生的大數(shù)據(jù)領(lǐng)域東山再起;美的空調(diào)揚(yáng)言要斥資150億元，基于云、大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)打造智能家居業(yè)務(wù);王健林宣布豪賭50億元，指望借助大數(shù)據(jù)將萬(wàn)達(dá)電商打造成新的帝國(guó);康師傅也希望耗費(fèi)巨資構(gòu)建大數(shù)據(jù)平臺(tái)實(shí)現(xiàn)集團(tuán)食品業(yè)務(wù)的升級(jí)……

這一串名單還可以列得更長(zhǎng)，但喧囂的背后，卻是大數(shù)據(jù)應(yīng)用的落后。除了互聯(lián)網(wǎng)公司出于自身特質(zhì)具有立足于數(shù)據(jù)價(jià)值運(yùn)營(yíng)的思維和技術(shù)，更多的中國(guó)傳統(tǒng)企業(yè)在數(shù)據(jù)的運(yùn)用方面可謂一塌糊涂，國(guó)外的《經(jīng)濟(jì)學(xué)人》聲稱：中國(guó)的企業(yè)目前遠(yuǎn)沒(méi)有實(shí)現(xiàn)網(wǎng)絡(luò)化和數(shù)字化，更沒(méi)有參與云計(jì)算和大數(shù)據(jù)分析等趨勢(shì)。

客觀地說(shuō)，傳統(tǒng)企業(yè)經(jīng)過(guò)多年的信息化摸索，確實(shí)有了一些數(shù)據(jù)的積累，部分企業(yè)也已經(jīng)開(kāi)始基于數(shù)據(jù)展開(kāi)營(yíng)銷工作，但數(shù)據(jù)開(kāi)放程度低、數(shù)據(jù)共享難、數(shù)據(jù)處理技術(shù)基礎(chǔ)薄弱、大數(shù)據(jù)人才稀缺等，也是不爭(zhēng)的事實(shí)，這些制約了國(guó)內(nèi)大數(shù)據(jù)的發(fā)展。據(jù)中央財(cái)經(jīng)大學(xué)中國(guó)經(jīng)濟(jì)管理研究院博士張永力估算，國(guó)外大數(shù)據(jù)行業(yè)約有1000億美元的市場(chǎng)，而且每年都以10%的速度在增長(zhǎng);我國(guó)2012年大數(shù)據(jù)市場(chǎng)規(guī)模大約4.7億元，2013年達(dá)到11.2億元，更是處在初級(jí)階段的初階階段。

Teradata的行業(yè)應(yīng)用

作為一家全球大數(shù)據(jù)分析和數(shù)據(jù)倉(cāng)庫(kù)解決方案廠商，Teradata已經(jīng)贏得了超過(guò)2,500家客戶的信任，在多個(gè)行業(yè)表現(xiàn)卓越，廣為人知的沃爾瑪“啤酒加尿布”的案例，背后其實(shí)就是得益于Teradata分析工具的驅(qū)動(dòng)。Teradata希望將其國(guó)外的實(shí)踐經(jīng)驗(yàn)引入中國(guó)，幫助中國(guó)企業(yè)更好地利用大數(shù)據(jù)創(chuàng)新業(yè)務(wù)，同時(shí)實(shí)現(xiàn)自身的價(jià)值�？子钊A介紹了Teradata在國(guó)外電商、醫(yī)療、高科技制造、零售供應(yīng)鏈等不同行業(yè)的應(yīng)用案例。

在電商領(lǐng)域，Teradata基于收集的電商客戶行為的半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，包括客戶的瀏覽、搜索和購(gòu)買記錄等，以及產(chǎn)品的關(guān)聯(lián)分析，在客戶最喜歡瀏覽的頁(yè)面做產(chǎn)品推薦，以實(shí)現(xiàn)更好的交易量。這樣的分析過(guò)程，傳統(tǒng)的分析方法很難實(shí)現(xiàn)�？子钊A表示，其中的一些路徑分析、關(guān)聯(lián)分析，需要用到新的分析方法來(lái)實(shí)現(xiàn)，Teradata Aster平臺(tái)里已經(jīng)集成了這個(gè)分析方法和展現(xiàn)的工具。

在醫(yī)療行業(yè)，Teradata通過(guò)數(shù)據(jù)分析幫助美國(guó)醫(yī)院實(shí)現(xiàn)更好的治療效果。針對(duì)同一疾病的不同客戶，按照他們的住院時(shí)間、接受的治療、他們所在的地區(qū)等不同參數(shù)進(jìn)行細(xì)致的分區(qū)，去驗(yàn)證最有效的藥物和療程。這樣的分析，讓醫(yī)生可以有效、更好地調(diào)整自己的治療方法，讓不同地區(qū)的醫(yī)院在醫(yī)療方式、醫(yī)保的方法、護(hù)理的流程等方面相互借鑒，從而讓醫(yī)療系統(tǒng)更加有效地運(yùn)作。

在高科技制造業(yè)，如高精度芯片的制造，可用比受到不同步驟的不同參數(shù)變動(dòng)的影響，如氣溫、濕度、不同的物理元素等。Teradata做了一個(gè)理想的方案，通過(guò)一些統(tǒng)計(jì)方式，用根源識(shí)別方式的自動(dòng)化，針對(duì)整個(gè)流程進(jìn)行可擴(kuò)展性大數(shù)據(jù)的分析。通過(guò)一些程序自動(dòng)化，把大量的時(shí)間序列進(jìn)行數(shù)據(jù)簡(jiǎn)化，最終簡(jiǎn)化到一個(gè)數(shù)字代碼，然后進(jìn)行對(duì)比。通過(guò)這樣的分析，可以把大量的芯片制造的數(shù)據(jù)放在Teradata的平臺(tái)里，去做監(jiān)控、優(yōu)化，然后找出關(guān)鍵的參數(shù)，反饋給生產(chǎn)部門去做監(jiān)控。

針對(duì)零售行業(yè)供應(yīng)鏈，Teradata通過(guò)對(duì)全局供應(yīng)鏈數(shù)據(jù)及不同門店客戶消費(fèi)記錄的整合與分析，配合氣候、天氣等相關(guān)數(shù)據(jù)，去預(yù)測(cè)每一個(gè)商店的產(chǎn)品需求，據(jù)此調(diào)度整個(gè)供應(yīng)鏈，以減輕庫(kù)存和盈利的壓力，不必要的促銷活動(dòng)因此得到減少。

Teradata的技術(shù)特色

如前所述，這些應(yīng)用場(chǎng)景都是在一個(gè)平臺(tái)上實(shí)現(xiàn)的，這就要求Teradata不斷改進(jìn)其技術(shù)，以適應(yīng)不同客戶的更多需求。事實(shí)上，Teradata正在通過(guò)加強(qiáng)自主研發(fā)、吸納開(kāi)源技術(shù)、并購(gòu)、在離客戶最近的地方設(shè)立研發(fā)中心和吸引互聯(lián)網(wǎng)人才等方式，加強(qiáng)大數(shù)據(jù)平臺(tái)和服務(wù)的實(shí)力。

孔宇華介紹，Teradata Aster探索平臺(tái)可以匯集不同的數(shù)據(jù)源、結(jié)構(gòu)化的數(shù)據(jù)、非結(jié)構(gòu)化的數(shù)據(jù)，并匯集很多不同的分析方法，如SQL分析方法、MapReduce、關(guān)聯(lián)分析、路徑分析、文字文本的分析，全部結(jié)合在一起，讓數(shù)據(jù)的價(jià)值更加容易把控，并且能夠很快地完成數(shù)據(jù)分析的流程，從數(shù)據(jù)獲取、數(shù)據(jù)準(zhǔn)備、分析、大數(shù)據(jù)展現(xiàn)，都很快地做迭代。

Teradata Aster大數(shù)據(jù)探索平臺(tái)

能夠做到這一點(diǎn)，得益于Aster與Hadoop不同的架構(gòu)。Hadoop在HDFS 文件系統(tǒng)之上用MapReduce/YARN做運(yùn)算引擎，決定了它的局限。而Aster獨(dú)特的底層數(shù)據(jù)庫(kù)存儲(chǔ)，上面有不同的運(yùn)算引擎，包括SQL、MapReduce、文本、關(guān)聯(lián)分析、圖分析等，再上面是SQL接口，這使得Aster成為一個(gè)分析的“瑞士軍刀”，能以一個(gè)SQL界面支持不同的分析工作�？子钊A強(qiáng)調(diào)，真正分析的時(shí)候，50%-60%會(huì)用到SQL，這就提高了編程速度和運(yùn)算速度。要知道，傳統(tǒng)企業(yè)不可能像互聯(lián)網(wǎng)企業(yè)那樣，有很多既懂編程又懂?dāng)?shù)據(jù)的人。

Teradata Aster新增的一些特性，主要包括一個(gè)SNAP Framework框架，Aster File Store文件存儲(chǔ)系統(tǒng)和Teradata Aster R。其中，SNAP可以理解成存儲(chǔ)的存儲(chǔ)系統(tǒng)和分析系統(tǒng)之間的一個(gè)框架，上層提供一個(gè)統(tǒng)一的SQL接口，用戶可以統(tǒng)一用SQL去訪問(wèn)。下層除了以前數(shù)據(jù)庫(kù)的行存儲(chǔ)之外，加上列存儲(chǔ)，以及一些文件存儲(chǔ)的方式。這就要說(shuō)Aster File Store，它支持根據(jù)不同文件、不同數(shù)據(jù)的模板的需求而分配，需要分析的時(shí)候還可以直接從Hadoop里面去拿數(shù)據(jù)。

最后是Aster和R的整合，增強(qiáng)了Aster的應(yīng)用方式，也規(guī)避了越來(lái)越流行的R的一些缺陷。R原本是一個(gè)單機(jī)的算法，Aster把R的運(yùn)算引擎壓進(jìn)去，然后把數(shù)據(jù)整合也壓到Aster平臺(tái)里面，把它變成了并行式演算算法。因?yàn)锳ster本來(lái)有一個(gè)機(jī)制，能把一些R里面的需要并行的算法自動(dòng)并行。

此外，Teradata最近還收購(gòu)了兩家公司——Revelytix和Hadapt，旨在在Hadoop上面去更好地做整個(gè)大數(shù)據(jù)架構(gòu)。Revelytix有很好的源數(shù)據(jù)管理的技術(shù)，在Hadoop上面做R分析的時(shí)候，會(huì)做很多數(shù)據(jù)的抽樣，這會(huì)產(chǎn)生很多版本的數(shù)據(jù)，一個(gè)數(shù)據(jù)抽樣可能只能做一樣的分析，每次的抽樣都要管理，而Revelytix能夠減少數(shù)據(jù)的重復(fù)。Hadapt則是在Hadoop上面建立一個(gè)數(shù)據(jù)倉(cāng)庫(kù)，利用他們的技術(shù)來(lái)完善可以Aster上面的一些功能，包括和Hadoop的一些結(jié)合。

事實(shí)上，Teradata的統(tǒng)一數(shù)據(jù)架構(gòu)，就是會(huì)用到Hadoop最實(shí)用、最成熟的一些模塊，去做大數(shù)據(jù)的處理平臺(tái)，做數(shù)據(jù)的一些轉(zhuǎn)換和收集，通過(guò)一個(gè)叫做QueryGrid的工具，可以從Teradata或者Aster里面訪問(wèn)其他的平臺(tái)，從而讓客戶可以更好地利用Hadoop和其他的大數(shù)據(jù)平臺(tái)更好地整合起來(lái)，打破數(shù)據(jù)孤島，做到更好的數(shù)據(jù)共享。孔宇華還透露，隨著Storm和Spark開(kāi)始成熟，實(shí)現(xiàn)一些流分析的應(yīng)用，目前Teradata也在做相關(guān)的研究和應(yīng)用。

Teradata的實(shí)施心得

CIO們都知道，好的技術(shù)也需要好的實(shí)施路徑，才能幫助企業(yè)更好、更快地實(shí)現(xiàn)創(chuàng)收。然而企業(yè)的具體業(yè)務(wù)千差萬(wàn)別，通用的路徑并不存在。“在大數(shù)據(jù)要做創(chuàng)新的時(shí)候，很難說(shuō)我這個(gè)題目肯定出一個(gè)結(jié)果，創(chuàng)新是一個(gè)試錯(cuò)的過(guò)程。”孔宇華指出，大數(shù)據(jù)的分布，極少數(shù)有大價(jià)值，大部分有一定的價(jià)值，還有一部分沒(méi)有價(jià)值。

不斷試錯(cuò)找到大價(jià)值，這必然要涉及到系統(tǒng)的搭建、時(shí)間的耗費(fèi)和平臺(tái)的投資等。Teradata的出發(fā)點(diǎn)，就是通過(guò)平臺(tái)、咨詢團(tuán)隊(duì)的經(jīng)驗(yàn)，從一開(kāi)始的大數(shù)據(jù)、非結(jié)構(gòu)化的數(shù)據(jù)，通過(guò)淘金的方式把金子淘出來(lái)，做一些分析，做數(shù)據(jù)分享。Teradata想要做到的，是在Aster平臺(tái)和Hadoop平臺(tái)上面，實(shí)現(xiàn)“大數(shù)據(jù)從小做起”這個(gè)概念，怎么用小量的投資、用很短的時(shí)間，去呈現(xiàn)數(shù)據(jù)里面的價(jià)值。

除了平臺(tái)之外，Teradata認(rèn)為，大數(shù)據(jù)項(xiàng)目也需要適當(dāng)?shù)娜藛T技能和流程制度。技能其實(shí)也和平臺(tái)有關(guān)，例如Teradata Aster，客戶如果本來(lái)有一些SQL或者R的分析人員，可以給他們建立一個(gè)比較小的Aster平臺(tái)，然后用Hadoop做一些比較簡(jiǎn)單的數(shù)據(jù)收集、數(shù)據(jù)存儲(chǔ)的工作，大部分的數(shù)據(jù)挖掘、數(shù)據(jù)價(jià)值的發(fā)現(xiàn)，在他們比較熟悉的平臺(tái)里面去做，不需要另行引進(jìn)新的專業(yè)人才。

從整個(gè)流程方面，Teradata建議，要從業(yè)務(wù)部門開(kāi)始，定一個(gè)哪怕比較模糊的目標(biāo)，而不是脫離業(yè)務(wù)去搭一個(gè)平臺(tái)�？子钊A表示，有了目標(biāo)，雖然不知道中間的路怎么走，但能夠大概知道所需要的數(shù)據(jù)，這就可以從分析層面不斷試錯(cuò)，從簡(jiǎn)單的數(shù)據(jù)分析、到路徑分析、關(guān)聯(lián)分析，將成果展示給業(yè)務(wù)部門，一般不可能一蹴而就，但把框架搭建起來(lái)以后，就可以很快地去調(diào)整每一個(gè)部分的內(nèi)容，從而更快地把一個(gè)大數(shù)據(jù)項(xiàng)目做好。