SGI中國(guó)區(qū)總經(jīng)理梁巖

那么，SGI將如何切入到大數(shù)據(jù)的市場(chǎng)?又如何借助自身在高性能計(jì)算領(lǐng)域的優(yōu)勢(shì)在競(jìng)爭(zhēng)激烈的大數(shù)據(jù)市場(chǎng)中爭(zhēng)奪一席之地? 近日，筆者采訪了SGI中國(guó)區(qū)總經(jīng)理梁巖。采訪中，梁巖分享了他對(duì)于高性能計(jì)算市場(chǎng)趨勢(shì)的理解，以及SGI如何將高性能計(jì)算領(lǐng)域的優(yōu)勢(shì)和積累切入到大數(shù)據(jù)領(lǐng)域。

高性能計(jì)算市場(chǎng)和技術(shù)走向

談到高性能計(jì)算，這位高性能計(jì)算領(lǐng)域的老兵顯得頗為激動(dòng)，他談到，隨著人們生活、國(guó)家安全、自然環(huán)境的探索等方面對(duì)于計(jì)算能力的需求不斷增大，高性能計(jì)算未來(lái)的市場(chǎng)需求是非常大的。

從技術(shù)角度而言，梁巖認(rèn)為，高性能計(jì)算未來(lái)幾年的發(fā)展趨勢(shì)也將表現(xiàn)出一些特點(diǎn)，SGI公司未來(lái)也會(huì)針對(duì)這些方向不斷推出自己的產(chǎn)品和方案。梁巖主要介紹了四個(gè)方面的技術(shù)方向：

首先，單個(gè)處理器的核數(shù)將會(huì)不斷增加，最近幾年CPU的核數(shù)已經(jīng)從2核、4核到6核到8核，現(xiàn)在也有12核16核的產(chǎn)品，在未來(lái)2年左右的時(shí)間里，單個(gè)處理器的核數(shù)可能會(huì)超過(guò)20核。

第二點(diǎn)，由于核數(shù)的增加，每個(gè)核分配到的I/O能力以及系統(tǒng)其他的資源，包括網(wǎng)絡(luò)能力、內(nèi)存等等，都會(huì)受到非常大的制約。因?yàn)楹藬?shù)發(fā)展太快，I/O能力和其他相關(guān)資源的發(fā)展沒(méi)有那么快的時(shí)候，就會(huì)對(duì)機(jī)器均衡的能力的產(chǎn)生影響。

第三點(diǎn)，由于系統(tǒng)核數(shù)、計(jì)算能力的增加，引發(fā)的功耗問(wèn)題，對(duì)于一個(gè)規(guī)模非常大的高性能計(jì)算系統(tǒng)，每個(gè)機(jī)器的功耗上升一點(diǎn)點(diǎn)，整個(gè)大的系統(tǒng)功耗就會(huì)增加非常多。

還有一點(diǎn)，混合編程的模式，也就是GPGPU的編程方式逐漸會(huì)進(jìn)入到高性能計(jì)算領(lǐng)域。今年開始，我們看到Intel公司也推出了一個(gè)類似于GPGPU的一個(gè)模式加入到混合計(jì)算的領(lǐng)域，這樣的話，通過(guò)NVIDIA、AMD和Intel這三家大的公司積極地推動(dòng)的混合編程模式肯定是未來(lái)比較熱的一個(gè)方向。

不同類型的應(yīng)用需要不同的系統(tǒng)架構(gòu)

SGI在高性能計(jì)算領(lǐng)域最牛的一點(diǎn)是它的NUMA架構(gòu)，基于NUMA架構(gòu)SGI可以在一個(gè)系統(tǒng)中將512個(gè)連在CPU連接在一起，相比集群架構(gòu)而言，這種架構(gòu)能夠大大提升I/O密集型應(yīng)用的運(yùn)行效率，這也是許多其他的高性能計(jì)算解決方案提供商難以企及的。

梁巖介紹到，大部分高性能計(jì)算應(yīng)用可以分為兩類，一類是計(jì)算密集型的應(yīng)用，另一類是I/O密集型應(yīng)用，也就是通訊密集型的應(yīng)用。

他舉例介紹道，假如要在一堆稻草里面找兩根針，這個(gè)算法就是要拿起一根稻草看如果不是針就放一邊去，直到找到針。我們可以用一個(gè)更簡(jiǎn)單的方法，把稻草分成兩堆，讓兩個(gè)人來(lái)數(shù)，這樣可以節(jié)省一半的時(shí)間，進(jìn)一步，還有更簡(jiǎn)單的方法，可以把這兩堆稻草中的每一堆再分成兩堆，性能就可以提升四倍。當(dāng)然，這一切的前提都是在數(shù)稻草的時(shí)候不用和其他數(shù)稻草的人說(shuō)話，每個(gè)人只要埋頭數(shù)好自己的稻草，最后把所有人的加在一起就可以了。這種就是純粹計(jì)算密集型的，這種并行計(jì)算非常好，適合今天的集群應(yīng)用架構(gòu)，每臺(tái)機(jī)器的處理性能不是很強(qiáng)，但可以用很多機(jī)器一起計(jì)算。

但還有另外一種可能，做一件事情的時(shí)候需要和另外一個(gè)人說(shuō)一句話。例如SGI曾經(jīng)承接過(guò)美國(guó)國(guó)防的一個(gè)項(xiàng)目，要找全世界各個(gè)地方10年以內(nèi)大城市出現(xiàn)的一些恐怖分子的蹤跡。如果要搜尋10年的情況，首先會(huì)想到按照城市來(lái)分和計(jì)算，但這里會(huì)遇到一個(gè)問(wèn)題，每次算這個(gè)城市的時(shí)候，他可能在這個(gè)城市給另一個(gè)城市打電話，這時(shí)就要算另一個(gè)城市，所以如果劃分的越細(xì)，所產(chǎn)生的交差通訊就會(huì)越多，這就屬于I/O密集型的應(yīng)用。I/O密集型應(yīng)用在超大集群上實(shí)現(xiàn)是一個(gè)非常難的事情，而恰恰今天大量的應(yīng)用都是I/O密集型的計(jì)算，機(jī)器之間的通訊太多會(huì)大幅度降低效率。

梁巖強(qiáng)調(diào)，針對(duì)IO密集型的應(yīng)用，采用集群是非常不適合的，SGI的方案是UV系列的產(chǎn)品。UV是一個(gè)基于SGI獨(dú)有的NUMA架構(gòu)，可以把很多的CPU通過(guò)NUMA架構(gòu)連接到一起，在一個(gè)操作系統(tǒng)下去運(yùn)行，也就是說(shuō)你可以看到一臺(tái)超大的機(jī)器，一個(gè)操作系統(tǒng)，所有的通訊都在內(nèi)部完成，而不需要通過(guò)外面的網(wǎng)絡(luò)完成，這樣整個(gè)性能大幅提高，目前，可以做到一臺(tái)機(jī)器中將512個(gè)CPU在一起，如果使用Intel的8核CPU的話，一個(gè)機(jī)器中就可以有4096個(gè)核，并且可以放64TB的內(nèi)存，在一個(gè)操縱系統(tǒng)下去跑這個(gè)機(jī)器，這樣的話遍歷所有的數(shù)據(jù)就會(huì)非?？?。

當(dāng)然，針對(duì)計(jì)算密集型的應(yīng)用，SGI也提供了相應(yīng)的解決方案——基于SGI的刀片服務(wù)器集群。例如全球排名第11位的美國(guó)政府的NASA合作的系統(tǒng)，以及今年2月份SGI為法國(guó)道達(dá)爾石油提供的系統(tǒng)都是基于SGI刀片集群的。

尋求高性能計(jì)算與大數(shù)據(jù)的結(jié)合點(diǎn)

梁巖表示，大數(shù)據(jù)將會(huì)帶來(lái)文件系統(tǒng)的基礎(chǔ)架構(gòu)的改變，以及數(shù)據(jù)處理方式的改變。SGI相信，未來(lái)高性能計(jì)算與大數(shù)據(jù)領(lǐng)域會(huì)有一定的融合，SGI將把高性能計(jì)算領(lǐng)域的積累和沉淀轉(zhuǎn)化到大數(shù)據(jù)領(lǐng)域來(lái)。

回到稻草里找針這個(gè)例子，如果把這個(gè)稻草分成分成非常細(xì)的小堆的話，那么可能就不需要那么高性能的存儲(chǔ)了，因?yàn)槊颗_(tái)機(jī)器的性能都很差的話就沒(méi)有必要配一個(gè)高性能的存儲(chǔ)了，在機(jī)器里塞幾個(gè)硬盤就可以了。并且，如果這個(gè)機(jī)器壞了也不影響，因?yàn)樗且粋€(gè)非常小的一堆稻草，我們還可以在其他機(jī)器上做一個(gè)容錯(cuò)的處理。

這種思想的出現(xiàn)就帶來(lái)了我們經(jīng)常談?wù)摰?，關(guān)于文件系統(tǒng)的基礎(chǔ)架構(gòu)的改變，也就是現(xiàn)在的基于Lustre的高性能文件系統(tǒng)慢慢變成了hadoop的文件系統(tǒng)。

還有一點(diǎn)就是處理數(shù)據(jù)方面，需要一種處理非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)在一起的一種方式。比如在做風(fēng)險(xiǎn)分析的時(shí)候，像證券行業(yè)、金融行業(yè)、保險(xiǎn)行業(yè)等，傳統(tǒng)的是看這個(gè)人的家庭收入、學(xué)歷背景、現(xiàn)在有多少貸款等，但是未來(lái)會(huì)考慮到其他的因素，例如這個(gè)人所處的行業(yè)、國(guó)家的政策、這個(gè)行業(yè)薪金的發(fā)展趨勢(shì)等，所有這些信息都來(lái)自外界的新聞、國(guó)家政策、網(wǎng)絡(luò)消息、微博等，這些信息全是非結(jié)構(gòu)化的，如何把這些數(shù)據(jù)進(jìn)行處理并作為判斷依據(jù)，就需要一種能夠處理非結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)在一起的方式。

國(guó)內(nèi)這方面的需求是非常大的，例如電信行業(yè)，現(xiàn)在只是一些漫游費(fèi)、手機(jī)費(fèi)，但未來(lái)3G業(yè)務(wù)、基于微博等對(duì)客戶行為進(jìn)行分析等，遠(yuǎn)遠(yuǎn)不是一個(gè)關(guān)系型數(shù)據(jù)庫(kù)能處理的，需要一個(gè)大數(shù)據(jù)的方案。

梁巖表示，SGI做的很多高性能計(jì)算的應(yīng)用其實(shí)就是一種大數(shù)據(jù)，只是涉及到的領(lǐng)域都太專業(yè)了，例如石油圖像勘探方面的應(yīng)用中大量的地圖和油層數(shù)據(jù)、氣象方面的數(shù)據(jù)、工廠CAD的數(shù)據(jù)等等。

SGI正在把傳統(tǒng)高性能領(lǐng)域的積累轉(zhuǎn)化到大數(shù)據(jù)領(lǐng)域來(lái)。SGI今年基于Hadoop推出了一個(gè)StartKit，如果客戶想在hadoop上面做一些轉(zhuǎn)變，SGI會(huì)給客戶提供一整套的軟件、硬件安裝方案，并且所有的系統(tǒng)安裝都在SGI的工廠里完成。與此同時(shí)，SGI還提供6個(gè)基于hadoop上開發(fā)的應(yīng)用，客戶可以利用這些應(yīng)用做一些開發(fā)、測(cè)試、評(píng)估等工作。

事實(shí)上，SGI在全球已經(jīng)提供了超過(guò)2萬(wàn)臺(tái)hadoop系統(tǒng)，為美國(guó)的政府、軍方、ebay、amazon等很多客戶提供了基于hadoop的系統(tǒng)。

“SGI相信，在高性能計(jì)算方面的積累會(huì)慢慢進(jìn)入到大數(shù)據(jù)領(lǐng)域，從今年到未來(lái)的一段時(shí)間里大家會(huì)看到，SGI公司在大數(shù)據(jù)方面的方案出現(xiàn)，我們也相信，未來(lái)的某個(gè)時(shí)間高性能計(jì)算和大數(shù)據(jù)會(huì)有一定的融合。”

tangrong