天下武功，唯快不破。武俠世界的金科玉律，同樣適用于當(dāng)前日趨激烈的商業(yè)競爭，不敗的秘訣，就在于洞悉并快速響應(yīng)市場需求的變化，小米董事長雷軍的互聯(lián)網(wǎng)思維，就是“專注、極致、口碑、快”。

要快，又要做到極致，大數(shù)據(jù)的力量被寄予厚望。如何高效地從每分每秒產(chǎn)生海量的、多樣的、紛繁復(fù)雜的數(shù)據(jù)中挖掘出蘊藏的巨大價值，轉(zhuǎn)化為先進的信息服務(wù)成就敏捷企業(yè)，這是擺在企業(yè)管理者面前的一個重大難題，也是英特爾、SAP、IBM、Teradata等跨國IT巨頭努力重構(gòu)系統(tǒng)的一個目標。

構(gòu)建一個實時的大數(shù)據(jù)分析平臺，是巨頭給出的破題關(guān)鍵。唯有實時，才能又快又好。巨頭的實踐告訴我們，這一個實時分析平臺，需要多方面的融合，譬如業(yè)務(wù)與技術(shù)的融合，OLTP與OLAP的融合，存儲與計算的融合，硬件與軟件的融合，開源平臺與商業(yè)套件的融合等。當(dāng)然，這種融合不是說簡單地把軟硬件捆綁到一個盒子里，而是要處處體現(xiàn)了分工與協(xié)作相統(tǒng)一的經(jīng)濟學(xué)理論。

業(yè)務(wù)與技術(shù)的融合

業(yè)務(wù)與技術(shù)的融合其實沒有什么可以爭議的。IBM全球企業(yè)咨詢服務(wù)部也曾在一份報告中指出：實現(xiàn)業(yè)務(wù)和IT融合成為一個統(tǒng)一的、互相交織的整體，能夠創(chuàng)造更高的用戶價值和盈利能力，并可使IT支出為企業(yè)帶來成倍的回報。

大數(shù)據(jù)處理平臺的構(gòu)建，就是為了解決某些業(yè)務(wù)問題，帶來更強的盈利能力，同時降低運營成本。務(wù)實的企業(yè)CIO們不會為了大數(shù)據(jù)而大數(shù)據(jù)，通常是希望通過數(shù)據(jù)處理平頭來促進客戶消費，越快越好。

為了實現(xiàn)實時分析，快速響應(yīng)業(yè)務(wù)的需求，在內(nèi)存能夠低成本大規(guī)模部署的情況下，用更接近CPU的內(nèi)存計算平臺替代硬盤是一個不錯的主意，能夠打破磁盤的瓶頸。IBM、SAP、Oracle、微軟、SAS、Teradata等都已經(jīng)在干這樣的事情。SAP HANA更是已經(jīng)獲得了3600多個HANA客戶，包括超過1200個SAP Suite powered by SAP HANA客戶。華為公司IT產(chǎn)品線總裁鄭葉來表示，部署SAP HANA平臺之后，華為全球供應(yīng)鏈系統(tǒng)的平均查詢時間從一個半小時，縮短到了5秒鐘左右，這對華為的業(yè)務(wù)可視化和迅速決策帶來很大幫助。

OLTP和OLAP平臺的融合

OLTP(聯(lián)機事務(wù)處理)的發(fā)展得益于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，基于能夠查詢一個記錄的所有列的行式數(shù)據(jù)庫，處理如插入、修改或查詢一條銷售訂單這樣的作業(yè)得心應(yīng)手，但OLAP(聯(lián)機分析處理)就非行式數(shù)據(jù)庫所長，數(shù)據(jù)倉庫領(lǐng)域的數(shù)據(jù)分析、海量存儲和商業(yè)智能更適合采用列式數(shù)據(jù)庫，這就需要用ETL工具把數(shù)據(jù)放到另一套系統(tǒng)來做。

數(shù)據(jù)量小、時效性要求不高的時候，這種模式也能夠應(yīng)對用戶的需求，但在大數(shù)據(jù)時代，這個流程就無法滿足實時分析的需求了。但SAP HANA加上了內(nèi)存計算和列式存儲的技術(shù)，既可以為 OLAP 應(yīng)用提供列存儲，又能為 OLTP 應(yīng)用提供行存儲，同時提供基于自然語言的文本分析、內(nèi)置的預(yù)測性算法等，就能夠避開這種尷尬。

目前，SAP已經(jīng)著手把它的商業(yè)套件都遷移到HANA平臺上，同時支持云和本地部署的模式，為客戶的OLTP和OLAP平臺的融合提供了基礎(chǔ)。

SAP的老對手、關(guān)系型數(shù)據(jù)庫的老大Oracle也已經(jīng)支持這種融合，其最新推出的Oracle Database In-Memory，通過在同一張表在內(nèi)存中同時支持行和列兩種格式，同時激活并保持事務(wù)一致性，對分析和報表采用列格式，OLTP則采用久經(jīng)考驗的行格式運行，這就允許客戶突破Oracle自己的傳統(tǒng)數(shù)據(jù)庫圍墻，可以在OLTP數(shù)據(jù)庫中直接做實時分析。

存儲與計算的融合

我們知道，存儲系統(tǒng)的功能主要集中在提供對數(shù)據(jù)存放空間的管理，它與計算并不是割裂的，只是在計算機發(fā)展的當(dāng)前階段，存儲與計算采用了相互獨立的方式發(fā)展，但它們的融合順理成章。

當(dāng)TB級數(shù)據(jù)出現(xiàn)之后，傳統(tǒng)的架構(gòu)，即RISC小型機加上集中式存儲，外接光纖存儲，局限性非常大，可擴展的存儲方案呼之欲出。在英特爾(中國)有限公司數(shù)據(jù)中心及云計算業(yè)務(wù)產(chǎn)品市場總監(jiān)賀曉東看來，支持數(shù)據(jù)處理的數(shù)據(jù)中心需要重構(gòu)，需要更快、支持更大的數(shù)據(jù)量和更高的性價比的解決方案。

Hadoop、Spark等架構(gòu)能夠滿足這樣的需求。它們提供節(jié)點通信，實現(xiàn)計算任務(wù)的分配，以及容錯擴展等等問題，最終實現(xiàn)對分布式系統(tǒng)中各個節(jié)點計算能力的聚合。尤其是Hadoop，在節(jié)點間傳遞計算過程，而不是傳遞數(shù)據(jù)，能夠用更少的帶寬更快地推進大數(shù)據(jù)的處理。這其實是保存算法的存儲，是計算與存儲的一種融合。

賀曉東表示，英特爾通過至強E5的平臺、開源社區(qū)Hadoop與合作伙伴一起更好地支持Hadoop。而采用x86硬件，也會使得大數(shù)據(jù)處理的成本變得更加低廉。在此之前，英特爾已經(jīng)和Cloudera達成戰(zhàn)略合作關(guān)系，為用戶提供更易于部署和使用、比開源版本更完善的Hadoop技術(shù)。

硬件與軟件的融合

從英特爾與SAP的合作，很容易理解軟件與硬件的融合。賀曉東指出，在業(yè)界有這樣的趨勢，就是做一體機，把硬件、軟件(包括分析軟件)全集成在一起來作為一攬子的方案交付給用戶。當(dāng)然，英特爾也會提供相應(yīng)的計算、存儲的解決方案，例如，英特爾已經(jīng)和OEM廠商合作推出了面向醫(yī)療行業(yè)的英特爾大數(shù)據(jù)一體機。當(dāng)然國內(nèi)的浪潮、曙光等也推出了大數(shù)據(jù)一體機，而華為、惠普、戴爾、IBM等也和SAP合作打造HANA一體機以支持海量數(shù)據(jù)的處理。

軟件應(yīng)用和硬件畢竟是術(shù)業(yè)有專攻，這就需要軟硬件廠商的合作才能實現(xiàn)這樣的融合。對于內(nèi)存分析的理念，英特爾在最新發(fā)布的E7 v2中也做出了回應(yīng)，允許單臺四路服務(wù)器最多支持6TB內(nèi)存，能夠直接把很多數(shù)據(jù)加載到內(nèi)存中進行實時分析。

“英特爾和SAP在總部已經(jīng)合作了20多年，HANA作為一個內(nèi)存計算環(huán)境每次推出的時候，它的版本研發(fā)一定是跟英特爾的工程師在做一些底層的優(yōu)化。芯片上的態(tài)勢、具體的指令等，都作了很多拓展。”SAP公司數(shù)據(jù)庫及技術(shù)平臺部售前總監(jiān)、數(shù)據(jù)管理技術(shù)首席架構(gòu)師宋一平說。他認為，共同搭建一個大數(shù)據(jù)處理平臺很重要。

開源平臺與商業(yè)套件的融合

因為數(shù)據(jù)的復(fù)雜性、分析的復(fù)雜性和業(yè)務(wù)的復(fù)雜性，我們還無法打造一個萬能的系統(tǒng)，譬如Hadoop能夠輕易實現(xiàn)PB級數(shù)據(jù)存儲，卻短于實時分析，SAP HANA擅長于做實時分析，但內(nèi)存還達不到PB級，而且這個對硬件要求相對苛刻的系統(tǒng)用于對實時性要求不高的歷史數(shù)據(jù)的挖掘來說，有大炮打蚊子的感覺，太過浪費。

然而，開源平臺與商業(yè)軟件的融合能夠為我們帶來更簡單、更高效、更智能、更敏捷的解決方案。事實上，SAP正在研究內(nèi)存數(shù)據(jù)管理與Hadoop的結(jié)合。宋一平表示，HANA+Hadoop，也是一種平臺和存儲的模式，再借助具體的芯片和具體的服務(wù)器，就能夠打造一個更強的大數(shù)據(jù)處理平臺。

怎么從Hadoop中提煉一些屬性數(shù)據(jù)，以同時實現(xiàn)海量存儲和秒級甚至毫秒級分析性能，是SAP的目標。宋一平介紹，Hadoop和HANA的結(jié)合，和SAP的數(shù)據(jù)管理、數(shù)據(jù)庫結(jié)合有很多種方式，有在線、離線方式、聯(lián)邦方式，就是透過前端應(yīng)用直接訪問Hadoop和HANA里面的數(shù)據(jù)，或者先透過HANA后面再去訪問Hadoop的方式，都可以去實現(xiàn)這樣一個目標。

其實，除了SAP，IBM、微軟、Teradata、Oracle等公司無不在研究如何打通Hadoop與自家解決方案，以形成大數(shù)據(jù)處理技術(shù)的閉環(huán)。

而從英特爾的角度來看，通過相同的x86架構(gòu)，以全面的產(chǎn)品線滿足傳統(tǒng)的核心業(yè)務(wù)系統(tǒng)、實時分析系統(tǒng)、可擴展存儲系統(tǒng)、甚至可視化展現(xiàn)系統(tǒng)的不同需求，提供了整個數(shù)據(jù)生命周期的支撐。這其實能夠為這種融合掃清了硬件架構(gòu)差異的障礙。

小結(jié)

總體來看，在大數(shù)據(jù)時代，我們需要一個融合架構(gòu)的解決方案。融合是老生常談，但這里更注重分工與協(xié)作的統(tǒng)一。具體而言，融合的核心是數(shù)據(jù)，融合的本質(zhì)是讓不同特征不同價值的數(shù)據(jù)得到最經(jīng)濟、最高效的方式存儲、處理和分析，我們要盡可能地用一個系統(tǒng)完成這些數(shù)據(jù)任務(wù)，當(dāng)采用同一平臺的ROI不能接受的時候，需要靈活地考慮綜合的解決方案，但應(yīng)當(dāng)兼具實時子系統(tǒng)和存儲子系統(tǒng)，而且要保證數(shù)據(jù)或者計算力能夠便捷地在不同的子系統(tǒng)中自由流動，以便靈活地滿足業(yè)務(wù)需求的不斷變化。只有這樣，我們才能做到快+極致。英特爾和SAP的合作，為我們展示了一個新融合的很好的樣板。