IBM Platform Computing產(chǎn)品體系架構(gòu)

他認(rèn)為，無論是Platform Computing過去的開發(fā)軟件的核心思想還是未來的技術(shù)開發(fā)與產(chǎn)品發(fā)展戰(zhàn)略，都與中國市場的對高性能、分布式計(jì)算以及尖端設(shè)計(jì)、制造等方面的需求有極其緊密的結(jié)合之處，而在進(jìn)入IBM之后，Platform Computing不僅所有的客戶、產(chǎn)品和開發(fā)思路都被保留，更能夠與IBM的其它產(chǎn)品——硬件、軟件或是服務(wù)——實(shí)現(xiàn)更好的集成：“我們進(jìn)入IBM以后，其他的各個部門都需要我們，所以說是非常好的結(jié)合。”

IBM Platform Computing 全球開發(fā)總監(jiān)王敬文博士

IBM系統(tǒng)與科技部大中華區(qū)新興業(yè)務(wù)銷售總經(jīng)理陳伸一

王敬文：保持核心思想 開拓發(fā)展思路

“IBM Platform Computing軟件的核心思想。概念很簡單，就是把成千上萬臺計(jì)算機(jī)能夠當(dāng)作一臺來使用，而且能夠當(dāng)作一臺來管理?！蓖蹙次谋硎?，單臺計(jì)算機(jī)的性能存在瓶頸，對于很多大型企業(yè)來說，企業(yè)內(nèi)部都有成百上千，甚至上萬臺計(jì)算設(shè)備，這些設(shè)備每個都有獨(dú)立的操作系統(tǒng)、硬件架構(gòu)和軟件環(huán)境，“每個操作系統(tǒng)都不會主動的和其他的計(jì)算機(jī)進(jìn)行聯(lián)合計(jì)算，調(diào)度、協(xié)調(diào)的去完成應(yīng)用(的性能需求)”，因此企業(yè)需要在分散的資源之間，建立起一個管理系統(tǒng)層來實(shí)現(xiàn)統(tǒng)一的管理。

“重要的是，可以讓你把全部的機(jī)器當(dāng)做一臺計(jì)算機(jī)來使用和管理。”王敬文表示，IBM Platform Computing在這一概念上的三個層次中做到的都是行業(yè)內(nèi)最出色的技術(shù)，無論是在資源整合——把分散的計(jì)算資源從邏輯上整合起來，資源分配——按需分配和按照優(yōu)先級來配置，資源訪問——通過軟件層面的解決方式讓應(yīng)用可以在不同計(jì)算機(jī)上運(yùn)行，IBM Platform Computing所做的都是行業(yè)領(lǐng)先的，他表示，“把多臺計(jì)算機(jī)整合起來為企業(yè)打造高效的計(jì)算、分析和管理平臺”就是IBM Platform Computing的價值所在。

王敬文表示：“如果把很多計(jì)算機(jī)組合起來很高效的使用就必須使用IBM Platform Computing技術(shù)。”

但他也表示，隨著高性能計(jì)算、分布式計(jì)算技術(shù)的使用范圍越來越廣，IBM Platform Computing的發(fā)展思路也有了進(jìn)一步的拓寬，現(xiàn)在該公司的發(fā)展思路概括說來包括三個部分：1、推動HPC的商用，推動技術(shù)運(yùn)算在主流行業(yè)的普及;2、提供支持HPC的云管理模式;3、為新興商業(yè)分析和大數(shù)據(jù)分析應(yīng)用提供支持。

王敬文表示，尤其是第三點(diǎn)是當(dāng)下最熱門的話題，也是IBM Platform Computing和IBM在不斷創(chuàng)新的領(lǐng)域，他認(rèn)為大數(shù)據(jù)與實(shí)時的數(shù)據(jù)分析是未來資源密集型計(jì)算的重要領(lǐng)域和價值增長點(diǎn)，因此，像IBM IBM Platform Symphony這樣創(chuàng)新的并行SOA架構(gòu)將在未來——包括MapReduce——上有很大的發(fā)展。

“IBM Platform Computing的產(chǎn)品不一定都用在高性能計(jì)算上，但關(guān)鍵是要接受分布式計(jì)算的理念，是需要分布式的計(jì)算的環(huán)境?！蓖蹙次谋硎?，IBM Platform Computing現(xiàn)在的主要工作，是把原本在技術(shù)上計(jì)算上的經(jīng)驗(yàn)、技術(shù)和知識產(chǎn)權(quán)，進(jìn)一步的商業(yè)化、通用化，“從傳統(tǒng)HPC到各行各業(yè)”中去。

而在行業(yè)領(lǐng)域，王敬文表示，金融服務(wù)、制造、電子、石油、科研、政府/情報(bào)、生物學(xué)和藥品研究上，都有IBM Platform Computing發(fā)揮其技術(shù)和產(chǎn)品優(yōu)勢的領(lǐng)域。

產(chǎn)品全面 解決計(jì)算融合問題

在產(chǎn)品方面，IBM Platform Computing的產(chǎn)品一直被認(rèn)為與HPC息息相關(guān)，或者說，都是“有關(guān)高性能計(jì)算的產(chǎn)品”，但王敬文認(rèn)為，IBM Platform Computing的產(chǎn)品更重要的是產(chǎn)生一種“紐帶和接合”作用，把應(yīng)用與硬件設(shè)備、虛擬化系統(tǒng)、操作系統(tǒng)結(jié)合在一起，發(fā)揮基礎(chǔ)平臺的最大價值。因此，IBM Platform Computing的產(chǎn)品實(shí)際上的定位是“應(yīng)用管理中間件”和“動態(tài)集群管理軟件”。

據(jù)王敬文介紹，IBM Platform Computing目前的產(chǎn)品主要分為三大類五個產(chǎn)品線，其中包括：

1、 集群管理，其中提供動態(tài)集群管理、自助云服務(wù)界面和調(diào)度以及Platform Cluster Manager Advanced Edition等功能和產(chǎn)品。

2、 Platform LSF分布式批處理應(yīng)用管理平臺，主要面向工程計(jì)算，與之相的有Platform MPI、Platform 作業(yè)流等產(chǎn)品

3、 Platform Symphony 并行SOA，作為分析類應(yīng)用管理平臺(如隨機(jī)模型計(jì)算，并行計(jì)算)提供對并行SOA API(經(jīng)濟(jì)模型的管理)、Hadoop API(大數(shù)據(jù))等的支持。

如果從產(chǎn)品方面來看，其主要是五個產(chǎn)品系列：

1、 IBM Platform LSF，工作負(fù)載管理平臺，用于要求苛刻的分布式 HPC 環(huán)境。

2、 IBM Platform HPC，IBM Platform Computing最著名的產(chǎn)品，是在單一產(chǎn)品中提供的完整的高性能計(jì)算管理解決方案。它包含廣泛的即取即用的集群和工作負(fù)載管理功能。

3、 IBM Platform Symphony，企業(yè)級管理，用于在可擴(kuò)展的共享網(wǎng)格上運(yùn)行計(jì)算和數(shù)據(jù)密集型分布式應(yīng)用程序。它可加速數(shù)十個并行應(yīng)用程序，以加快實(shí)現(xiàn)成果并更好地利用所有可用資源——這是IBM Platform Computing目前與大數(shù)據(jù)、商業(yè)實(shí)時分析結(jié)合最緊密的產(chǎn)品之一。

4、 IBM Platform MPI，消息傳遞接口 (MPI) 的高性能實(shí)現(xiàn)，旨在加速分布式計(jì)算環(huán)境中的應(yīng)用程序。

5、 IBM Platform Cluster Manager：通過基于 Web 的直觀界面支持管理員快速輕松地供應(yīng)、管理和監(jiān)控 HPC 集群和云。各種廣泛的功能支持多樣化的客戶環(huán)境。

王敬文表示，總的來說IBM Platform Computing的產(chǎn)品致力于解決三類問題：1、減少復(fù)雜性，推進(jìn)高性能計(jì)算、分布式計(jì)算在主流市場的普及;2、開拓對新型應(yīng)用的支持，加速商業(yè)分析和大數(shù)據(jù)計(jì)算——Symphony與之息息相關(guān);3、支持資源動態(tài)化，實(shí)現(xiàn)云管理模式——這也是IBM Platform Computing將其之前在分布式系統(tǒng)上的統(tǒng)一管理經(jīng)驗(yàn)下移到商用計(jì)算的實(shí)現(xiàn)。

“新興應(yīng)用需要全新的軟件結(jié)構(gòu)，有限元計(jì)算已經(jīng)不夠，經(jīng)濟(jì)、商業(yè)都是隨機(jī)的，很多是不可確定的，但是，在這其中也有規(guī)律，規(guī)律是可以被發(fā)現(xiàn)的。”王敬文認(rèn)為，現(xiàn)在的計(jì)算環(huán)境、商業(yè)環(huán)境都非常復(fù)雜，很多時候只是看性能，“性能要好，但是要強(qiáng)調(diào)其它方面，比如說應(yīng)用集成、資源共享，同樣是這個環(huán)境的一部分。”此外，還要開拓對新型應(yīng)用的支持;要有分析模型、數(shù)據(jù)模型;云的支持也同樣重要，也需要IBM Platform Computing去推動。

在談到IBM Platform Computing與云計(jì)算的相關(guān)性時，王敬文談到了Platform Cluster Manager Advanced Edition：“(Platform Cluster Manager Advanced Edition)就是在集群的管理，但它是動態(tài)化的，能夠把它動態(tài)的按需分配，提供不同類型的應(yīng)用，有汽車設(shè)計(jì)的、有金融分析的、有生物醫(yī)學(xué)研究的等等。能夠動態(tài)的分割兩個整體的資源，用完以后再回收回來，這就可以實(shí)現(xiàn)云計(jì)算的目的?！?/p>

王敬文也談到，在大數(shù)據(jù)和商業(yè)實(shí)時分析上，IBM Platform Computing同樣也具有極強(qiáng)的前瞻性，甚至于像IBM Platform Symphony這樣的產(chǎn)品，已經(jīng)是十年前就存在的解決方案，現(xiàn)在通過對其子集與不同功能的擴(kuò)充，IBM Platform Computing能夠把這些長期領(lǐng)先的技術(shù)與產(chǎn)品，放置到像是大數(shù)據(jù)分析這樣的環(huán)境中，創(chuàng)造價值。

大數(shù)據(jù)時代的IBM Platform Computing

“我們Symphony是十年前發(fā)明的，實(shí)現(xiàn)了Parallel SOA結(jié)構(gòu)。其實(shí)很簡單，就是有一個客戶端不斷的給它喂數(shù)據(jù)，然后服務(wù)器端有成千上萬的服務(wù)在接收數(shù)據(jù)，最后把數(shù)據(jù)匯總起來，應(yīng)用結(jié)果就出來了?！蓖蹙次膶BM Platform Symphony的輕描淡寫，并不能蓋過這個并行SOA架構(gòu)所實(shí)現(xiàn)的高性能，這是可以讓“一個應(yīng)用包含數(shù)以萬計(jì)的服務(wù)器端調(diào)用的”Parallel SOA架構(gòu)。

據(jù)王敬文介紹，IBM Platform Symphony目前在一個機(jī)群內(nèi)可以架構(gòu)多達(dá)四萬個核心，300個并行SOA應(yīng)用共享，1毫秒的任務(wù)延遲時間，17000秒任務(wù)調(diào)用吞吐量，每個應(yīng)用可以驅(qū)動多達(dá)一萬個服務(wù)器端程序調(diào)用，在大數(shù)據(jù)時代之前，就已經(jīng)是“金融行業(yè)公認(rèn)的最強(qiáng)大的風(fēng)險分析應(yīng)用支持平臺”。

IBM Platform Symphony并行SOA架構(gòu)

而隨著大數(shù)據(jù)時代的到來，IBM Platform Symphony在幾年前推出了一個新的MapReduce子集，王敬文表示，IBM Platform Symphony是當(dāng)下大數(shù)據(jù)時代非常有效的一個MapReduce應(yīng)用加速平臺，它可加速數(shù)十個并行應(yīng)用程序，以加快實(shí)現(xiàn)成果并更好地利用所有可用資源。

我們知道，對于支持網(wǎng)格的應(yīng)用程序，最大化性能和規(guī)模是關(guān)鍵。但某些網(wǎng)格產(chǎn)品強(qiáng)制限制架構(gòu)，要求特定的操作系統(tǒng)或者特定的開發(fā)者工具。面對嚴(yán)峻的經(jīng)濟(jì)壓力，企業(yè)用戶都希望有更好的方式來改善 IT 性能、減少基礎(chǔ)架構(gòu)成本和開支，并滿足更快找到答案的需求。而利用優(yōu)先級更改時靈活的適應(yīng)性，IBM Platform Symphony 可以依據(jù)您定義的策略和優(yōu)先級，每秒將 1000 余個計(jì)算引擎重新分配到不同的工作負(fù)載。

而在Advanced Edition中，IBM Platform Symphony包含兼容 Apache Hadoop 的 MapReduce 實(shí)施，針對低延遲、可靠性和資源共享進(jìn)行優(yōu)化。開放源碼解決方案不具備自動重新啟動失敗的服務(wù)的功能，與之不同的是，該功能內(nèi)置于 Platform Symphony 的 MapReduce 實(shí)施中，從而提高了可靠性。

另一方面，IBM Platform Symphony支持各種類型的數(shù)據(jù)，與開源的MapReduce只支持開源的HDFS不同，IBM Platform Symphony支持包括IBM GPFS、HDFS、數(shù)據(jù)倉庫以及其他數(shù)據(jù)來源和輸出端，甚至“數(shù)據(jù)的輸入端和輸出目標(biāo)的類型可以不同”。

而談到與Hadoop的關(guān)系，王敬文表示，“Hadoop的MapReduce不是競爭關(guān)系”，他表示，Hadoop的 MapReduce現(xiàn)在是一個實(shí)際上的編程標(biāo)準(zhǔn)，IBM Platform Symphony與之是相兼容的，在Hadoop上已經(jīng)寫好了的程序代碼，在IBM Platform Symphony的加速環(huán)境中“根本不需要改一行的代碼”。

“(IBM Platform Symphony)并不是和Hadoop競爭，是實(shí)現(xiàn)了更好的Hadoop。IBM我們的大數(shù)據(jù)也是用的Hadoop，現(xiàn)在只是用了Symphony把Hadoop加速了，沒有競爭關(guān)系?！蓖蹙次谋硎?，IBM Platform Symphony與Hadoop是一種加速與被加速的和協(xié)同關(guān)系。

對于處理“大數(shù)據(jù)”來說，最有發(fā)展前景的技術(shù)之一是Apache Hadoop軟件和MapReduce框架。然而，現(xiàn)有的Hadoop軟件還缺少金融服務(wù)企業(yè)大規(guī)模部署MapReduce應(yīng)用時所需的企業(yè)級魯棒性。IBM Platform Symphony MapReduce是一款擁有增強(qiáng)版MapReduce框架的企業(yè)級產(chǎn)品，其功能與Apache Hadoop的功能完全兼容，解決了組織機(jī)構(gòu)在目前可用的ApacheHadoop環(huán)境里部署MapReduce應(yīng)用所面臨的主要運(yùn)行風(fēng)險。

除此以外，根據(jù)資料顯示，IBM Platform Symphony MapReduce采用開放式架構(gòu)，支持多種MapReduce應(yīng)用，確保Hadoop應(yīng)用與基于Java的MapReduce作業(yè)之間百分之百的兼容性。與此同時，其為Hadoop文件系統(tǒng)提供了在Hadoop分布式文件系統(tǒng)里自動實(shí)現(xiàn)故障切換的功能，并提供了文件系統(tǒng)恢復(fù)和相關(guān)作業(yè)恢復(fù)功能。

在談到IBM Platform Computing的中國發(fā)展時，IBM系統(tǒng)與科技部大中華區(qū)新興業(yè)務(wù)銷售總經(jīng)理陳伸一表示，受限于原來的銷售體系和銷售團(tuán)隊(duì)的規(guī)模，IBM Platform Computing原來在中國主要是固守在傳統(tǒng)的高性能計(jì)算領(lǐng)域，即便是在石油石化、航空航天領(lǐng)域已經(jīng)銷售了十年，但銷售范圍仍然十分有限，在進(jìn)入IBM之后，技術(shù)計(jì)算商用化、普及化的速度將快速提高。

“進(jìn)入IBM以后，IBM的銷售隊(duì)伍非常強(qiáng)大，覆蓋非常廣闊。舉個例子來講，在中國，我們進(jìn)入了半導(dǎo)體行業(yè)，進(jìn)入了生命科學(xué)基因研究領(lǐng)域，進(jìn)入汽車制造業(yè)領(lǐng)域。另外兩個領(lǐng)域是金融、電信，還有剛才講的政務(wù)?！标惿煲槐硎?，除了高性能計(jì)算中心，IBM Platform Computing將在IBM的集團(tuán)優(yōu)勢下，繼續(xù)發(fā)展高端制造、金融電信、航空航天等行業(yè)，并將業(yè)務(wù)拓展到精密仿真、數(shù)據(jù)實(shí)時分析等等領(lǐng)域中去。

cuihao

<tfoot id="jg0ln"></tfoot>