點(diǎn)擊查看中國大數(shù)據(jù)創(chuàng)新峰會
在上午的大會中,英特爾中國首席工程師苗凱翔先生《大數(shù)據(jù)之,大挑戰(zhàn),大機(jī)遇—英特爾與大數(shù)據(jù)》的主題演講,在大會中,苗凱翔先生首先以個(gè)人的角度看一下大數(shù)據(jù)的現(xiàn)象,其次又談了一下英特爾在大數(shù)據(jù)上到底在干什么。
他談到:大數(shù)據(jù)正在發(fā)生,比如說2011年一年總的數(shù)據(jù)量是1.8ZB,去年每兩天的數(shù)據(jù)相當(dāng)于人類從發(fā)展到2003年所有數(shù)據(jù)的總和,量是相當(dāng)大的,但是大數(shù)據(jù)不僅是因?yàn)榱浚俣鹊脑鲩L也是非??陀^的,比如說剛才朱總談到,從現(xiàn)在開始到2015年,數(shù)據(jù)會是現(xiàn)在的44倍,這是我聽到目前最大的預(yù)計(jì)了,我聽到的是每年以50%、60%的速度增長。
無論怎么說,大數(shù)據(jù)無論是量非常大,而且增長速度非常快。今天提到大數(shù)據(jù)本身,是一場革命性的變化,對IT的信息革命是有很大意義的。很多人把大數(shù)據(jù)比喻成摩爾定律的現(xiàn)象,其實(shí)這是很難比的,有人說大數(shù)據(jù)是每5年翻10倍。無論怎么說,這個(gè)現(xiàn)象是很可觀的。
我這里舉一個(gè)例子,21世紀(jì)信息要成為像現(xiàn)代石油一樣重要,我覺得這種說法是一種非??捎^的說法,有很多人說云在發(fā)生,大數(shù)據(jù)也在發(fā)生,但是很不一樣,云可能是一種計(jì)算資源的優(yōu)化,一個(gè)徹底革命的優(yōu)化,而且是商業(yè)模式突破,目標(biāo)可能最終是節(jié)省資源,但是大數(shù)據(jù)完全不一樣,它是產(chǎn)生價(jià)值,產(chǎn)生一種真正的商業(yè)價(jià)值,各方面的價(jià)值出來。所以這兩樣?xùn)|西雖然同時(shí)在發(fā)生,但是其意義是完全不一樣的,這是我看到的現(xiàn)象。
大家都說到底什么是大數(shù)據(jù)?現(xiàn)在說只要到了TB就是大數(shù)據(jù),還有一種說法就是你的數(shù)據(jù)到一定程度上你就很難搬來搬去,你一定要去找數(shù)據(jù)。無論怎么說,大數(shù)據(jù)它的量是海量的,其次它的增長速度非???,60%、50%,甚至說可能要到90%的增長速度。還有工業(yè)化就談到幾個(gè)V,這個(gè)可能之后還要增長,就是說非結(jié)構(gòu)化這種數(shù)據(jù)的價(jià)值、各種性能、對處理速度的需求是很重要的,當(dāng)然隨之而來的就是對處理數(shù)據(jù)各方面的應(yīng)用,比如說數(shù)據(jù)的挖掘、預(yù)測。所以大數(shù)據(jù)對我們來講意味著產(chǎn)生了一個(gè)新的生態(tài)環(huán)境,像云一樣迅猛的發(fā)展,大數(shù)據(jù)的生態(tài)環(huán)境也會迅猛的發(fā)展,這是我們看到的。
英特爾在干什么?英特爾作為一個(gè)公司,大家都知道它是芯片廠商的公司,但是英特爾公司實(shí)際上干了很多東西大家不知道,提到云的話,現(xiàn)在我們?nèi)蜃钚碌慕y(tǒng)計(jì),全球建云系統(tǒng)94%的市場份額都用的英特爾的服務(wù)器,不僅服務(wù)器方面,最近我們也買了一些公司,怎么樣提高I/O的性能、網(wǎng)絡(luò)的性能,新的存儲模式我們都在搞,這里無疑大家都很清楚,軟件上我們英特爾干的事情。
然后就是硬件層,硬件層之外提供了很多、很多的工具,因?yàn)橛羞@個(gè)平臺了,你如果沒有很好的工具讓人怎么用?所以我們很重視工具方面,云的管理工具、底層監(jiān)視工具等等,所以說軟件、硬件我們有很多。另外,英特爾在全球有廣泛的合作,不僅是硬件廠商,而且和終端用戶也有很多的合作。這樣的話讓我們更好的了解用戶的心聲,知道他在想什么、他的需求是什么、他是怎么用這些技術(shù)的。另外我們有一個(gè)投資團(tuán)隊(duì)。
可能大家不知道的,英特爾大約在4、5個(gè)月以前成立了一個(gè)部門,針對目前工業(yè)界的狀態(tài),云的發(fā)生、數(shù)據(jù)中心的變革以及大數(shù)據(jù)的發(fā)生,我們剛成立了一個(gè)數(shù)據(jù)中心軟件部,這個(gè)部門和其它的部門合作,跟英特爾研究院、數(shù)據(jù)中心部門、英特爾軟件部、英特爾IT部一起合作,從研究到開發(fā),到硬件具體的新平臺怎么集成,開發(fā)出一些新的軟件來甚至搞產(chǎn)品。這個(gè)部門的輸出就是一些商用產(chǎn)品,不僅是為業(yè)界提供一些工具,我們這個(gè)公司是真正能讓用戶用的軟件產(chǎn)品,這是整個(gè)部門的初衷。他具體干的事情有很多,比如說大數(shù)據(jù)搞Hadoop,下一代的存儲技術(shù),云的安全、功耗管理等各方面工作有很多,這個(gè)部門在上海也有團(tuán)隊(duì)。英特爾實(shí)際大家看到它是一個(gè)硬件公司,實(shí)際上英特爾的軟件實(shí)力還是很強(qiáng)的,英特爾在全球有非常多的軟件工程師。
提到這個(gè)部門,苗凱翔先生又為大家舉一個(gè)例子,在這方面一個(gè)具體的產(chǎn)品我們干了將近三年,就是Hadoop,我們跟各個(gè)部門合作、開源部門合作,我們有一個(gè)開源技 術(shù)中心,幾百人一起干了一段時(shí)間,把Hadoop變成一個(gè)商用的產(chǎn)品,綠色和藍(lán)色就是我們做的很多工作,把它變成產(chǎn)品型的東西。我們的重點(diǎn)在哪呢?在高可 用性上做了很多的工作,還在可靠性上等等方面都做了很多的工作。我們現(xiàn)在有一個(gè)平臺跑了一年時(shí)間沒有出現(xiàn)任何的問題,所以說還是一個(gè)非常可靠的系統(tǒng)、平 臺,這個(gè)我們在國內(nèi)也開始推廣,跟很多的客戶干一些工作,看他們的需求。英特爾的平臺是非常廣泛的,基于我們對英特爾硬件平臺的理解和深入的技能,所以我 們對它進(jìn)行了很多優(yōu)化,讓Hadoop的平臺性能更好,比如說把我們的產(chǎn)品跟開源社區(qū)的比較一下,性能方面提高了5-10倍,這樣一個(gè)狀況。
英特爾的優(yōu)勢就是兩頭,一個(gè)是對硬件平臺我們的實(shí)力,不僅是對產(chǎn)品的理解和產(chǎn)品整個(gè)市場份額上,再就是對用戶的需求我們有很多的接觸,英特爾在全球 有很大的市場人員,他們可以直接和很大的生態(tài)環(huán)境里各個(gè)市場里的人接觸,了解他們的需求,了解他們具體的用法,然后把它變成一個(gè)具體的能解決產(chǎn)品方面的需 求,加在一起來優(yōu)化產(chǎn)品,這就是英特爾在軟件開發(fā)上面的優(yōu)勢。
這是我們在國內(nèi)的一些最佳實(shí)踐,等于最近1、2年時(shí)間我們在國內(nèi)也跟很多市場有一些接觸,在大數(shù)據(jù)方面也干了一些東西。第一,跟電信行業(yè)有很多的接 觸、討論,也有一些具體的部署,在金融方面也有,當(dāng)然還有其他各行業(yè)。這個(gè)圖就顯示了英特爾雖然這個(gè)部門叫數(shù)據(jù)中心軟件部門,開發(fā)的是軟件,但是整個(gè)的生 態(tài)環(huán)境是一個(gè)合作的模式,從底層有服務(wù)器和各式各樣的硬件廠商一起干這事情,中間把軟件解決方案放進(jìn)去,然后跟一些本土的軟件廠商、應(yīng)用合作,最終跟客戶 一起把這東西搞好,這是我們的工作模式。
剛才講到電信,電信上我們在廣東搞了一個(gè)項(xiàng)目,比如他們搞一些CDR,像這種打電話的記錄、用戶行為的數(shù)據(jù)以及網(wǎng)絡(luò),三類總量上我們一個(gè)運(yùn)營商就到 了5.1TB的數(shù)據(jù),應(yīng)用上也是各式各樣,這是我們一起合作把平臺建立起來,用英特爾的平臺跑。還有一個(gè)項(xiàng)目,我們很重視的項(xiàng)目,跟很多中國的合作伙伴、 政府在搞智慧城市的方向,當(dāng)然智慧城市很大,里面可能包括電網(wǎng)、醫(yī)療、交通、城市安全、樓宇監(jiān)控等各方面,現(xiàn)在我們也在看重點(diǎn)在哪,目前干了幾個(gè)項(xiàng)目,一 個(gè)是醫(yī)療方面,也是用英特爾很多平臺,醫(yī)療的數(shù)據(jù)也非常復(fù)雜、非常多,大家很清楚,各式各樣的數(shù)據(jù),比如這地面不僅有文字、表格,還有一些諸如X光的數(shù) 據(jù)、影像的數(shù)據(jù)甚至音頻、視頻都有,它的應(yīng)用場景很多,所以這里我們跟他們有很多的討論,怎么樣支持在醫(yī)療行業(yè)里的大數(shù)據(jù),他們怎么樣充分利用數(shù)據(jù)的價(jià) 值,提供更好的服務(wù)或者改進(jìn)目前的服務(wù)。
還有一方面就是視頻,視頻大家很清楚,視頻已經(jīng)很多年了,目前互聯(lián)網(wǎng)里的數(shù)據(jù)60%、70%都是視頻數(shù)據(jù),隨著3G、4G的發(fā)生,這種對視頻的需求 可能會更多,這個(gè)數(shù)據(jù)量也非常大。但是數(shù)據(jù)不僅限于3G、家里的互聯(lián)網(wǎng),它很多也是在城市交通、監(jiān)控、城市安全監(jiān)控,在各個(gè)領(lǐng)域、各個(gè)行業(yè)里視頻都有很多 的應(yīng)用,所以這里我們也在研究。也有一些在各個(gè)城市的具體合作,比如說現(xiàn)在我們正在搞的在交通方面看一下視頻數(shù)據(jù)怎么用起來,干一些真正的事情,比如說交 通方面的監(jiān)控,跟車載的功能聯(lián)系起來,通過各種服務(wù)像GPS,比如說對一些車輛的控制,這方面也在做。
還有一個(gè)應(yīng)用,因?yàn)橛⑻貭朓T是一個(gè)比較典型的企業(yè)的IT部門,英特爾內(nèi)部有很大的開發(fā)團(tuán)隊(duì),有很多、很多的實(shí)驗(yàn)室,上百個(gè)點(diǎn),也有自己的工廠,生 產(chǎn)芯片的工廠、芯片設(shè)計(jì)也會產(chǎn)生大量的數(shù)據(jù),還有整個(gè)企業(yè)的IT系統(tǒng),也有很多的員工,員工也產(chǎn)生數(shù)據(jù),比如任何一個(gè)員工都有多個(gè)終端,他產(chǎn)生的PPT、 文檔等數(shù)據(jù)匯總起來也非??捎^。所以我們也在探討在企業(yè)方面如何利用大數(shù)據(jù)搞一些解決方案,我們做了很多,比如說工廠里面我們在看,諸如對網(wǎng)絡(luò)的監(jiān)控、對 數(shù)據(jù)中心的管理,市場方面的預(yù)測、整個(gè)市場方面的管理以及供應(yīng)鏈的管理,這都是我們在大數(shù)據(jù)方面作為企業(yè)方面一起用力,直接數(shù)據(jù)中心大數(shù)據(jù)的工作和英特爾 IT合作干的事情。
總的來說大數(shù)據(jù)肯定是一個(gè)很重要的方向,我個(gè)人來看,它跟云在一起真正是變革性的大飛躍,它可能會將整個(gè)的信息化社會拔高一層,如果我們現(xiàn)在是生活在信息化社會的1.0的話,信息化大數(shù)據(jù)會把我們帶到2.0,英特爾是有這個(gè)意愿和決心一起與產(chǎn)業(yè)家把這件事做好,謝謝大家。