那么，到底什么是大數(shù)據(jù)呢?根據(jù)IDC的定義，大數(shù)據(jù)是指為了更經(jīng)濟的從高頻率獲取的、大容量的、不同結(jié)構(gòu)和類型的數(shù)據(jù)中獲取價值而設(shè)計的新一代架構(gòu)和技術(shù)。

大數(shù)據(jù)現(xiàn)象描述(點擊查看大圖)

快速發(fā)展的大數(shù)據(jù)市場(圖片來自IDC)

最為重要的是，大數(shù)據(jù)對整個基礎(chǔ)架構(gòu)和軟件、服務帶來巨大商機。根據(jù)IDC對全球大數(shù)據(jù)市場規(guī)模預測，截止2015 年，整個市值將達180億美元。Gartner發(fā)布的數(shù)據(jù)則顯示，預計到2015年大數(shù)據(jù)技術(shù)將在全球增加440萬個就業(yè)崗位?？梢哉f，“大數(shù)據(jù)”是繼 “云計算”之后搶占市場制高點的又一領(lǐng)地。如果說云計算是“平臺+服務”的全新商業(yè)模式內(nèi)容和技術(shù)環(huán)境帶來的市場價值的話，那么大數(shù)據(jù)就是實實在在的價值核心——數(shù)據(jù)。它將直接決定著企業(yè)決策、產(chǎn)業(yè)政策、市場動態(tài)、應用導向，本身就是一個價值體。

一句話：大數(shù)據(jù)已經(jīng)讓人美得窒息!這種窒息來自數(shù)據(jù)帶來的無限價值，也來自對未來市場的你爭我搶……

大數(shù)據(jù)既是社會經(jīng)濟高度發(fā)展的結(jié)果，也是信息技術(shù)發(fā)展的必然。數(shù)據(jù)是人類行為過程中產(chǎn)生的符號和特征標識，大數(shù)據(jù)已經(jīng)突破了原有的數(shù)據(jù)范疇，從傳統(tǒng)的關(guān)系型數(shù)據(jù)已經(jīng)發(fā)展到了更為復雜而又海量的結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)。

也正是如此，大數(shù)據(jù)給企業(yè)的差異化發(fā)展帶來了歷史性機遇。在基礎(chǔ)設(shè)施平臺上，涌現(xiàn)出了新一輪的基礎(chǔ)架構(gòu)和平臺資源爭奪戰(zhàn)。

眾所周知，大數(shù)據(jù)的挖掘和分析雖然更有賴于上層的分布式系統(tǒng)和應用軟件，但在最底層的硬件設(shè)施層面，還是扮演著中流砥柱的作用。那么，在大數(shù)據(jù)面前我們需要何種硬件設(shè)施呢?它們與傳統(tǒng)的有何區(qū)別?

大數(shù)據(jù)的特征

Hadoop和MapReduce等專門針對大數(shù)據(jù)的技術(shù)，要求基礎(chǔ)設(shè)施能夠?qū)崿F(xiàn)：

1、靈活擴展。支持大型、分布式數(shù)據(jù)密集型工作負載，工作負載在服務器集群中進行處理和分析;

2、存儲經(jīng)濟高效。經(jīng)濟高效地方式滿足海量數(shù)據(jù)存儲，而且還需要支持數(shù)據(jù)壓縮、自動數(shù)據(jù)分層和重復數(shù)據(jù)刪除等智能功能;

3、更快帶寬。大數(shù)據(jù)的傳輸和處理，對帶寬提出了更高要求;

4、更高的安全性和管理性。

英特爾Hadoop發(fā)行版能在x86平臺上提供進一步優(yōu)化

就目前來說，基礎(chǔ)設(shè)施還是以開放而又標準的x86平臺為主。在該平臺上，我們可以著重從計算設(shè)備、存儲和網(wǎng)絡三大層面來進行分析。計算有賴于服務器設(shè)施，包括服務器性能、能效和擴展。具體來說，就是指服務器所采用的CPU架構(gòu)和內(nèi)存頻率及容量、I/O帶寬和集群或者分布式計算體現(xiàn)出來的整體能效。存儲方面，大數(shù)據(jù)對存儲架構(gòu)提出挑戰(zhàn)。并要求擁有更高的數(shù)據(jù)傳輸通道和更低的網(wǎng)絡延遲。萬兆和Infiniband網(wǎng)絡互聯(lián)也將得到更多應用。

英特爾在大數(shù)據(jù)時代的角色定位

在這方面，我們尤為關(guān)注服務器廠商之間的競爭。比如百年老店IBM、甲骨文、EMC、NetApp、戴爾，當然，也包括我們國內(nèi)華為、曙光、浪潮等優(yōu)秀企業(yè)推出的完整解決方案。不過我們需要了解的是，由于在前兩次的IT技術(shù)革命中，我們國家并未掌握核心自主的東西，相比之下，更應該注重生態(tài)系統(tǒng)和應用軟件的投入。

由于IT基礎(chǔ)架構(gòu)在高性能計算、大規(guī)模數(shù)據(jù)中心、乃至近年興起的云計算發(fā)展熱潮中，都能提供靈活高效的彈性平臺支撐。技術(shù)上的成熟、產(chǎn)品上的多樣化，在這片市場上的競爭已經(jīng)陷入了白熾化的程度。因此，平臺競爭，已容不下其他新角色，唯有誰強、誰弱的問題，而沒有誰先誰后的擔憂。

前面介紹的是傳統(tǒng)意義上的基礎(chǔ)架構(gòu)平臺之爭，各個競爭對手都來自老牌的服務器、存儲廠商。然而，大數(shù)據(jù)帶來的市場更多的還是來自應用和軟件層面。因此，不少傳統(tǒng)的硬件設(shè)備廠商，在提供服務器、存儲設(shè)備的同時，還專門推出面向海量數(shù)據(jù)處理、存儲的一體化解決方案。

比如藍色巨人IBM，曾在去年5月推出了InfoSphere大數(shù)據(jù)分析平臺。該平臺主要由BigInsights和Streams構(gòu)成，前者基于Hadoop分布式文件系統(tǒng)，可對大規(guī)模靜態(tài)數(shù)據(jù)進行分析，利用多節(jié)點進行分布式計算;后者利用內(nèi)存計算技術(shù)對實時數(shù)據(jù)進行分析。

而甲骨文則推出了集成了硬件、存儲和軟件的大數(shù)據(jù)一體機Exadata X3。該產(chǎn)品被設(shè)計為能夠與甲骨文Database 11g、Oracle Exadata數(shù)據(jù)庫云服務器，以及針對商業(yè)智能應用的新的Oracle Exalytics商業(yè)智能云服務器一起協(xié)同工作。

甲骨文 Exadata X3大數(shù)據(jù)一體機(圖片來自互聯(lián)網(wǎng)，下同)

存儲巨頭EMC， 推出大數(shù)據(jù)Greenplum統(tǒng)一分析平臺(UAP)。它與甲骨文和IBM一體機或者一體化解決方案不同的是，它可對大數(shù)據(jù)的認知和分享貫穿整個分析過程，實現(xiàn)比以往更高的商業(yè)價值。

同時，我們還注意到該領(lǐng)域出現(xiàn)一種專有化的解決方案，專門針對大數(shù)據(jù)進行分析的創(chuàng)新產(chǎn)品。最具代表性比如有 Sybase IQ，它是一款面向大數(shù)據(jù)的高級分析平臺，使用了列式存儲方式對數(shù)據(jù)進行分析和查詢。另外，隨著大數(shù)據(jù)而出現(xiàn)的“內(nèi)存 計算”也逐漸進入了人們的視野。這方面頗具代表性的要數(shù)HANA和甲骨文的Exalytics，通過將大量數(shù)據(jù)裝載在內(nèi)存模塊中，以更高的內(nèi)存壓縮技術(shù)和更快的實時處理，實現(xiàn)對海量數(shù)據(jù)的更高性能支撐。

內(nèi)存數(shù)據(jù)倉庫Exalytics結(jié)構(gòu)示意圖

從這里我們可以看出，不妨將大數(shù)據(jù)的解決方案看成是“一體化”和“專有化”兩個維度，這兩個維度又分別體現(xiàn)著廠商所各自代表的產(chǎn)業(yè)生態(tài)鏈：一體化往往蘊含著廠商在服務器、存儲、網(wǎng)絡硬件層面的技術(shù)實力和成熟產(chǎn)品的基礎(chǔ)上，通過與合作伙伴或者整合基于該硬件平臺之上的數(shù)據(jù)分析工具，實現(xiàn)大數(shù)據(jù)的“打包式”解決方案。專有化延續(xù)著數(shù)據(jù)庫廠商在該領(lǐng)域的獨特優(yōu)勢，并通過對海量非結(jié)構(gòu)化數(shù)據(jù)的智能分析，通過授權(quán)硬件平臺或者單獨以數(shù)據(jù)倉庫形式呈現(xiàn)給用戶。

“一體化”和“專有化”互相補充相得益彰，也是當今大數(shù)據(jù)市場競爭中，表現(xiàn)最為激烈也是最為直接的領(lǐng)域。相比之前談論過的硬件平臺領(lǐng)域，專門針對大數(shù)據(jù)的解決方案在影響力上來的更加直接。而我們也發(fā)現(xiàn)，這種解決方案在目前國內(nèi)也涌現(xiàn)出了包括聯(lián)想和華為等一批優(yōu)秀廠商的產(chǎn)品，尤其是華為今年最新推出的UDS海量存儲系統(tǒng)、HVS高端存儲以及一體機等系列產(chǎn)品，專門針對大數(shù)據(jù)應用特點提供解決方案。

大數(shù)據(jù)，顧名思義其核心是“數(shù)據(jù)”，如果說基礎(chǔ)架構(gòu)和解決方案是針對大數(shù)據(jù)的“大”而提出的，那么“數(shù)據(jù)”則直接體現(xiàn)著的是大數(shù)據(jù)的精髓和價值所在。

利用“數(shù)據(jù)”包裹并進行有價值的投送，就成為了目前我們最為常見的各種應用和服務。君不見“天氣預報”、“行為分析”、“銷售統(tǒng)計”等等，都是利用海量數(shù)據(jù)進行處理、分析、提煉并以服務打包的形式呈現(xiàn)給用戶。圍繞數(shù)據(jù)做文章，在產(chǎn)業(yè)鏈中是直接面向用戶并最終產(chǎn)生價值的一環(huán)，在大數(shù)據(jù)的整個生態(tài)系統(tǒng)中，也可以說是屬于“金字塔”的頂層。

在大數(shù)據(jù)具體應用和服務提供商方面，就目前來說，主要有亞馬遜、谷歌、阿里巴巴、沃爾瑪?shù)染揞^和大數(shù)據(jù)服務公司。尤其是亞馬遜，它在2009年的時候就開始推出了亞馬遜彈性MapReduce(Amazon Elastic MapReduce)。這是一項能夠迅速擴展的Web服務，運行在亞馬遜彈性計算云(Amazon EC2)和亞馬遜簡單存儲服務(Amazon S3)上大數(shù)據(jù)服務平臺。與此同時，亞馬遜還提供了數(shù)據(jù)分析的服務，通過Karmasphere Analyst可視化工作區(qū)模塊，可實現(xiàn)數(shù)據(jù)分析和提取。

亞馬遜Amazon Elastic MapReduce服務套餐(圖片截自亞馬遜)

搜索引擎巨擘谷歌，則更是與海量數(shù)據(jù)打交道的“老手”了。谷歌針對大數(shù)據(jù)推出了BigQuery的Web服務，可實現(xiàn)在云端就對大數(shù)據(jù)進行處理。該服務可為用戶提供高達70TP未經(jīng)壓縮的數(shù)據(jù)掃描，并快速提交分析結(jié)果。從而實現(xiàn)在沒有數(shù)據(jù)中心和數(shù)據(jù)倉庫的情況下，用戶也可以通過該平臺來實現(xiàn)對海量數(shù)據(jù)的處理和分析。

谷歌BigQuery支持一鍵分析TB級數(shù)據(jù)(圖片截自谷歌)

作為中國最大的電子商務公司阿里巴巴，其實也在利用大數(shù)據(jù)為用戶提供各種服務，其服務內(nèi)容主要包括阿里信用貸款與淘寶數(shù)據(jù)魔方這兩部分業(yè)務。淘寶數(shù)據(jù)魔方是淘寶平臺的大數(shù)據(jù)應用方案。通過這一服務，商家可以了解淘寶平臺上的行業(yè)宏觀情況、品牌市場狀況、消費者行為情況等，并可以據(jù)此作出經(jīng)營決策。

除此之外，華為、聯(lián)想、沃爾瑪也是或者即將是大數(shù)據(jù)的服務提供商。尤其是對于華為來說，近幾年迅猛發(fā)展，已經(jīng)構(gòu)筑起完整的IT架構(gòu)平臺，推出了專門針對海量數(shù)據(jù)的存儲系統(tǒng)和高端存儲系統(tǒng)，也有一體機和IT網(wǎng)絡通信產(chǎn)品、方案。在不久的將來，華為勢必能擔當起大數(shù)據(jù)服務商的重擔。

相比前面介紹的大數(shù)據(jù)解決方案，這里的服務內(nèi)容或者說大數(shù)據(jù)方案，其實更是一種定制化、甚至可在云端提供大數(shù)據(jù)處理、分析并最終以視覺化界面呈現(xiàn)最終結(jié)果，從而為用戶的決策提供參考的一個服務流程。

在這個層面的競爭，更多的是基于對市場需求進行服務的競爭，不過這種服務多以現(xiàn)有的架構(gòu)來執(zhí)行。雖然目前國內(nèi)涌現(xiàn)出不少基于大數(shù)據(jù)服務內(nèi)容的企業(yè)，但相比整個市場而言，大部分還是由國外的幾大巨頭和一些極具成長活力的初創(chuàng)企業(yè)構(gòu)成。在我們欣喜地看到大數(shù)據(jù)這塊巨大蛋糕的同時，我們也要認識到自己的差距，并充分以市場為導向，挖掘大數(shù)據(jù)的各種應用需求，并抓住這些需求點搶占商機。

前面我們分別介紹了從底層的硬件平臺、基于軟硬件的解決方案和面向最終需求的應用服務，其實我們回過頭來整體來看，大數(shù)據(jù)的出現(xiàn)并不是偶然的——大數(shù)據(jù)是因為人在經(jīng)濟社會中的各種行為特征和基于對世界的認識和改造而產(chǎn)生的各式各類的符號。

然而，信息技術(shù)越發(fā)達，利用智能設(shè)備的人也越來越多，也就是有越來越多的PC、平板、手機等智能設(shè)備，而通過這些設(shè)備產(chǎn)生的數(shù)據(jù)和處理的數(shù)據(jù)，在整個經(jīng)濟社會中的比例會隨之增長。根據(jù)統(tǒng)計數(shù)據(jù)，2015年的互聯(lián)設(shè)備數(shù)量將達到驚人的150億臺!也就是說，全球平均人手2個智能互聯(lián)設(shè)備。而在這150億臺設(shè)備中，人機交互式的(比如PC、平板電腦、筆記本電腦、超極本等等)僅有30億臺，更多的是(120億臺)機對機連接。

2015年將有150億臺互聯(lián)設(shè)備

在這種情況下，人機“大戰(zhàn)”的規(guī)模就更為客觀了。交通信號的對各個路道信息的采集、智能城市和社區(qū)的視頻監(jiān)控收集的信息、物流、氣象、科研等等海量數(shù)據(jù)，都在通過RFID電子標簽和氣象衛(wèi)星、傳感器來收集數(shù)據(jù)，這些數(shù)據(jù)最終通過數(shù)據(jù)中心進行數(shù)據(jù)分析、處理，將結(jié)果呈現(xiàn)給不同用戶。

大數(shù)據(jù)來源

而作為用戶來說，在大數(shù)據(jù)的產(chǎn)生方面，主要體現(xiàn)在社交應用(包括博客、微博、社交站點等等)。進一步的，在人們的業(yè)務應用中，也會涌現(xiàn)出一批批海量數(shù)據(jù)集，這些數(shù)據(jù)集有來自于商業(yè)目的的行為本身，也有來自教育、科研、公益等行為。因此，從大數(shù)據(jù)來源的角度來看，人、機、業(yè)務都是大數(shù)據(jù)的重要源頭。

自然而然的，人們很早就擔心的一個問題“人機大戰(zhàn)”不可避免。當然，這種“人機大戰(zhàn)”并不是人與機器設(shè)備之間的生死較量，而是在未來大數(shù)據(jù)市場上，誰更占據(jù)主體、誰對大數(shù)據(jù)的影響更大的問題。這種問題，勢必會導致“眼球經(jīng)濟”和注意力資源更加稀缺的出現(xiàn)。這樣下去的結(jié)果就是，全球的人類和互聯(lián)設(shè)備，都被淹沒在“大數(shù)據(jù)的海洋”中，“大數(shù)據(jù)的海洋”上方的“天氣”，并不是取決于“大數(shù)據(jù)”，而是取決于解決大數(shù)據(jù)問題的“設(shè)備”——基于底層架構(gòu)和大數(shù)據(jù)分析處理平臺的設(shè)備。而“人機”PK將直接演變成大數(shù)據(jù)與這種“設(shè)備”的PK。它們之間力量和地位的對比，直接體現(xiàn)著人類社會的智能化程度的高與低。這種對比走向，儼然成為了一個時代的命脈。而目前來看，時代命脈之爭正不斷升級……

大數(shù)據(jù)與誰共舞?你，準備好了嗎?

zhaohang