OLTP和OLAP平臺的融合

OLTP(聯(lián)機(jī)事務(wù)處理)的發(fā)展得益于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，基于能夠查詢一個(gè)記錄的所有列的行式數(shù)據(jù)庫，處理如插入、修改或查詢一條銷售訂單這樣的作業(yè)得心應(yīng)手，但OLAP(聯(lián)機(jī)分析處理)就非行式數(shù)據(jù)庫所長，數(shù)據(jù)倉庫領(lǐng)域的數(shù)據(jù)分析、海量存儲和商業(yè)智能更適合采用列式數(shù)據(jù)庫，這就需要用ETL工具把數(shù)據(jù)放到另一套系統(tǒng)來做。

數(shù)據(jù)量小、時(shí)效性要求不高的時(shí)候，這種模式也能夠應(yīng)對用戶的需求，但在大數(shù)據(jù)時(shí)代，這個(gè)流程就無法滿足實(shí)時(shí)分析的需求了。但SAP HANA加上了內(nèi)存計(jì)算和列式存儲的技術(shù)，既可以為 OLAP 應(yīng)用提供列存儲，又能為 OLTP 應(yīng)用提供行存儲，同時(shí)提供基于自然語言的文本分析、內(nèi)置的預(yù)測性算法等，就能夠避開這種尷尬。

目前，SAP已經(jīng)著手把它的商業(yè)套件都遷移到HANA平臺上，同時(shí)支持云和本地部署的模式，為客戶的OLTP和OLAP平臺的融合提供了基礎(chǔ)。

SAP的老對手、關(guān)系型數(shù)據(jù)庫的老大Oracle也已經(jīng)支持這種融合，其最新推出的Oracle Database In-Memory，通過在同一張表在內(nèi)存中同時(shí)支持行和列兩種格式，同時(shí)激活并保持事務(wù)一致性，對分析和報(bào)表采用列格式，OLTP則采用久經(jīng)考驗(yàn)的行格式運(yùn)行，這就允許客戶突破Oracle自己的傳統(tǒng)數(shù)據(jù)庫圍墻，可以在OLTP數(shù)據(jù)庫中直接做實(shí)時(shí)分析。

存儲與計(jì)算的融合

我們知道，存儲系統(tǒng)的功能主要集中在提供對數(shù)據(jù)存放空間的管理，它與計(jì)算并不是割裂的，只是在計(jì)算機(jī)發(fā)展的當(dāng)前階段，存儲與計(jì)算采用了相互獨(dú)立的方式發(fā)展，但它們的融合順理成章。

當(dāng)TB級數(shù)據(jù)出現(xiàn)之后，傳統(tǒng)的架構(gòu)，即RISC小型機(jī)加上集中式存儲，外接光纖存儲，局限性非常大，可擴(kuò)展的存儲方案呼之欲出。在英特爾(中國)有限公司數(shù)據(jù)中心及云計(jì)算業(yè)務(wù)產(chǎn)品市場總監(jiān)賀曉東看來，支持?jǐn)?shù)據(jù)處理的數(shù)據(jù)中心需要重構(gòu)，需要更快、支持更大的數(shù)據(jù)量和更高的性價(jià)比的解決方案。

Hadoop、Spark等架構(gòu)能夠滿足這樣的需求。它們提供節(jié)點(diǎn)通信，實(shí)現(xiàn)計(jì)算任務(wù)的分配，以及容錯擴(kuò)展等等問題，最終實(shí)現(xiàn)對分布式系統(tǒng)中各個(gè)節(jié)點(diǎn)計(jì)算能力的聚合。尤其是Hadoop，在節(jié)點(diǎn)間傳遞計(jì)算過程，而不是傳遞數(shù)據(jù)，能夠用更少的帶寬更快地推進(jìn)大數(shù)據(jù)的處理。這其實(shí)是保存算法的存儲，是計(jì)算與存儲的一種融合。

賀曉東表示，英特爾通過至強(qiáng)E5的平臺、開源社區(qū)Hadoop與合作伙伴一起更好地支持Hadoop。而采用x86硬件，也會使得大數(shù)據(jù)處理的成本變得更加低廉。在此之前，英特爾已經(jīng)和Cloudera達(dá)成戰(zhàn)略合作關(guān)系，為用戶提供更易于部署和使用、比開源版本更完善的Hadoop技術(shù)。

硬件與軟件的融合

從英特爾與SAP的合作，很容易理解軟件與硬件的融合。賀曉東指出，在業(yè)界有這樣的趨勢，就是做一體機(jī)，把硬件、軟件(包括分析軟件)全集成在一起來作為一攬子的方案交付給用戶。當(dāng)然，英特爾也會提供相應(yīng)的計(jì)算、存儲的解決方案，例如，英特爾已經(jīng)和OEM廠商合作推出了面向醫(yī)療行業(yè)的英特爾大數(shù)據(jù)一體機(jī)。當(dāng)然國內(nèi)的浪潮、曙光等也推出了大數(shù)據(jù)一體機(jī)，而華為、惠普、戴爾、IBM等也和SAP合作打造HANA一體機(jī)以支持海量數(shù)據(jù)的處理。

軟件應(yīng)用和硬件畢竟是術(shù)業(yè)有專攻，這就需要軟硬件廠商的合作才能實(shí)現(xiàn)這樣的融合。對于內(nèi)存分析的理念，英特爾在最新發(fā)布的E7 v2中也做出了回應(yīng)，允許單臺四路服務(wù)器最多支持6TB內(nèi)存，能夠直接把很多數(shù)據(jù)加載到內(nèi)存中進(jìn)行實(shí)時(shí)分析。

“英特爾和SAP在總部已經(jīng)合作了20多年，HANA作為一個(gè)內(nèi)存計(jì)算環(huán)境每次推出的時(shí)候，它的版本研發(fā)一定是跟英特爾的工程師在做一些底層的優(yōu)化。芯片上的態(tài)勢、具體的指令等，都作了很多拓展。”SAP公司數(shù)據(jù)庫及技術(shù)平臺部售前總監(jiān)、數(shù)據(jù)管理技術(shù)首席架構(gòu)師宋一平說。他認(rèn)為，共同搭建一個(gè)大數(shù)據(jù)處理平臺很重要。

開源平臺與商業(yè)套件的融合

因?yàn)閿?shù)據(jù)的復(fù)雜性、分析的復(fù)雜性和業(yè)務(wù)的復(fù)雜性，我們還無法打造一個(gè)萬能的系統(tǒng)，譬如Hadoop能夠輕易實(shí)現(xiàn)PB級數(shù)據(jù)存儲，卻短于實(shí)時(shí)分析，SAP HANA擅長于做實(shí)時(shí)分析，但內(nèi)存還達(dá)不到PB級，而且這個(gè)對硬件要求相對苛刻的系統(tǒng)用于對實(shí)時(shí)性要求不高的歷史數(shù)據(jù)的挖掘來說，有大炮打蚊子的感覺，太過浪費(fèi)。

然而，開源平臺與商業(yè)軟件的融合能夠?yàn)槲覀儙砀唵?、更高效、更智能、更敏捷的解決方案。事實(shí)上，SAP正在研究內(nèi)存數(shù)據(jù)管理與Hadoop的結(jié)合。宋一平表示，HANA+Hadoop，也是一種平臺和存儲的模式，再借助具體的芯片和具體的服務(wù)器，就能夠打造一個(gè)更強(qiáng)的大數(shù)據(jù)處理平臺。

怎么從Hadoop中提煉一些屬性數(shù)據(jù)，以同時(shí)實(shí)現(xiàn)海量存儲和秒級甚至毫秒級分析性能，是SAP的目標(biāo)。宋一平介紹，Hadoop和HANA的結(jié)合，和SAP的數(shù)據(jù)管理、數(shù)據(jù)庫結(jié)合有很多種方式，有在線、離線方式、聯(lián)邦方式，就是透過前端應(yīng)用直接訪問Hadoop和HANA里面的數(shù)據(jù)，或者先透過HANA后面再去訪問Hadoop的方式，都可以去實(shí)現(xiàn)這樣一個(gè)目標(biāo)。

其實(shí)，除了SAP，IBM、微軟、Teradata、Oracle等公司無不在研究如何打通Hadoop與自家解決方案，以形成大數(shù)據(jù)處理技術(shù)的閉環(huán)。

而從英特爾的角度來看，通過相同的x86架構(gòu)，以全面的產(chǎn)品線滿足傳統(tǒng)的核心業(yè)務(wù)系統(tǒng)、實(shí)時(shí)分析系統(tǒng)、可擴(kuò)展存儲系統(tǒng)、甚至可視化展現(xiàn)系統(tǒng)的不同需求，提供了整個(gè)數(shù)據(jù)生命周期的支撐。這其實(shí)能夠?yàn)檫@種融合掃清了硬件架構(gòu)差異的障礙。

小結(jié)

總體來看，在大數(shù)據(jù)時(shí)代，我們需要一個(gè)融合架構(gòu)的解決方案。融合是老生常談，但這里更注重分工與協(xié)作的統(tǒng)一。具體而言，融合的核心是數(shù)據(jù)，融合的本質(zhì)是讓不同特征不同價(jià)值的數(shù)據(jù)得到最經(jīng)濟(jì)、最高效的方式存儲、處理和分析，我們要盡可能地用一個(gè)系統(tǒng)完成這些數(shù)據(jù)任務(wù)，當(dāng)采用同一平臺的ROI不能接受的時(shí)候，需要靈活地考慮綜合的解決方案，但應(yīng)當(dāng)兼具實(shí)時(shí)子系統(tǒng)和存儲子系統(tǒng)，而且要保證數(shù)據(jù)或者計(jì)算力能夠便捷地在不同的子系統(tǒng)中自由流動，以便靈活地滿足業(yè)務(wù)需求的不斷變化。只有這樣，我們才能做到快+極致。英特爾和SAP的合作，為我們展示了一個(gè)新融合的很好的樣板。

zhoujianding