IBM Smart Analytics System 5600的solid-state storage選項(xiàng)整合了Fusion-io ioDrive Duo,提供在PCI Express擴(kuò)展卡上的固態(tài)存儲(chǔ)。
筆者:我看到EMC的Project Lightning宣稱具備分布式緩存的技術(shù),也就是多臺(tái)服務(wù)器后端可以同時(shí)連接一臺(tái)共享存儲(chǔ)。IBM的情況如何?
Vincent Hsu:(ISAS)當(dāng)然是多個(gè)節(jié)點(diǎn)的(SSD緩存)。目前還只有Read-only,但下一步我們正在研發(fā)DAS的clustering(集群),把它們的數(shù)據(jù)存儲(chǔ)(捆綁)在一起,這樣寫(xiě)入數(shù)據(jù)(temp data)也是可以的。
筆者:IBM這些技術(shù)暫時(shí)還沒(méi)有和外部存儲(chǔ)來(lái)做結(jié)合?
Vincent Hsu:目前正在做這方面的事情。因?yàn)镮BM現(xiàn)在有Easy Tier(自動(dòng)分層存儲(chǔ)技術(shù))將冷數(shù)據(jù)和熱數(shù)據(jù)分開(kāi)放在不同層級(jí)存儲(chǔ)里的功能,(服務(wù)器上的SSD緩存)對(duì)我們來(lái)說(shuō)只是另外一種層級(jí)的存儲(chǔ)而已。
GPFS整合Hadoop,IBM的大數(shù)據(jù)分析野心
媒體提問(wèn):剛才說(shuō)到了IBM的存儲(chǔ)是和數(shù)據(jù)分析結(jié)合在一起的。你說(shuō)的Netezza這個(gè)產(chǎn)品,是幫助存儲(chǔ)業(yè)務(wù)大幅度的增長(zhǎng),但是Netezza這個(gè)產(chǎn)品是軟件產(chǎn)品。從硬件角度來(lái)看你們的大數(shù)據(jù)戰(zhàn)略有哪些呢?
Douglas M.Balog:大數(shù)據(jù)是IBM非常全面的戰(zhàn)略是面向整個(gè)市場(chǎng)的戰(zhàn)略,除了Netezza軟件,還有系統(tǒng)分析解決方案,它包括了很多面對(duì)市場(chǎng)的不同需求,像入門級(jí)的需求都是包括的,還有一些更多的軟件產(chǎn)品Cognos等等也是我們的存儲(chǔ)軟件,都是為了滿足客戶的需求,可以看到我們這個(gè)大數(shù)據(jù)解決方案其實(shí)是我們的一些設(shè)備加上客戶解決方案一起來(lái)滿足客戶需求的。
媒體提問(wèn):大數(shù)據(jù)包括很多方面,其他的競(jìng)爭(zhēng)對(duì)手都在做,EMC有一個(gè)Greenplum,甲骨文有自己大數(shù)據(jù)的解決方案,他們都有自己的分析業(yè)務(wù),比較之下IBM的優(yōu)勢(shì)在哪里?
Douglas M.Balog:IBM收購(gòu)了上百個(gè)專門做分析的軟件公司,我們既能夠提供基礎(chǔ)的架構(gòu)這一層面的業(yè)務(wù)分析的能力,也能提供更多的行業(yè)的業(yè)務(wù)分析能力,我們的產(chǎn)品組合和業(yè)務(wù)分析能力,以及我們收購(gòu)的上百家公司的能力是競(jìng)爭(zhēng)對(duì)手不能對(duì)比的。
媒體提問(wèn):Hadoop是大數(shù)據(jù)方面較有影響力的開(kāi)源技術(shù),各廠商也在Hadoop方面各自提供自己的支持,請(qǐng)問(wèn)IBM將如何支持Hadoop?
Douglas M.Balog:IBM具有很強(qiáng)的分析組合產(chǎn)品,比如說(shuō)我們有一個(gè)中間件產(chǎn)品Big insight,可以與Hadoop一起使用,在Hadoop的基礎(chǔ)上使用InforSpere BigInsights產(chǎn)品,就可以把Hadoop的文檔系統(tǒng)和IBM的基礎(chǔ)架構(gòu)很好的結(jié)合,就可以生成GPFS。這樣IBM就把它的硬件和文檔系統(tǒng)以及軟件以及Hadoop很好的結(jié)合在一起。
下面是半年前的采訪:
筆者:目前談到云存儲(chǔ)和大數(shù)據(jù),Hadoop(包括HDFS文件系統(tǒng))是一個(gè)關(guān)注的焦點(diǎn)。開(kāi)源是Hadoop的一大優(yōu)勢(shì),比如EMC收購(gòu)的Greenplum就在與Hadoop 結(jié)合,NetApp也在研究相關(guān)方案。IBM對(duì)Hadoop持何種態(tài)度?Netezza可能會(huì)和Hadoop產(chǎn)生某種聯(lián)系嗎?
Vincent Hsu:Hadoop是一個(gè)大的趨勢(shì),非常適合做大數(shù)據(jù)分析的。IBM有一個(gè)很有亮點(diǎn)的技術(shù)叫做GPFS(通用并行文件系統(tǒng)),我們正在做GPFS和Hadoop的整合,將來(lái)你會(huì)看到IBM有針對(duì)Hadoop優(yōu)化環(huán)境的(存儲(chǔ)/設(shè)備)來(lái)運(yùn)行相應(yīng)的工作負(fù)載。
去年的SNW2011大會(huì)上,在SNIA(全球網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì))的一個(gè)演講中,我們看到IBM GPFS可以替代HDFS作為Hadoop架構(gòu)的底層文件系統(tǒng)/數(shù)據(jù)存儲(chǔ)。而在上面的應(yīng)用開(kāi)發(fā)層,商業(yè)方案/接口(Commercial Project / Interface,相對(duì)于Hadoop開(kāi)源方案而言)中第一個(gè)列出的就是IBM Bigsheets(大數(shù)據(jù)表)。
GPFS和SONAS在有些觀念上是不一樣的,SONAS雖然也是Scale-out,但它所有的存儲(chǔ)還是以共享式的存儲(chǔ)為主;而 Hadoop(也包括HDFS)本身是分開(kāi)的。我們現(xiàn)在讓GPFS也能處理這些分散的、分布式的數(shù)據(jù)存儲(chǔ),與SONAS使用同樣的技術(shù),但支持的工作負(fù)載和架構(gòu)是完全不一樣的。
點(diǎn)評(píng):GPFS與Hadoop的結(jié)合是一種分布式文件系統(tǒng)的形式,專門針對(duì)大數(shù)據(jù)分析的應(yīng)用;而作為集群NAS產(chǎn)品的IBM SONAS則具備更多的適應(yīng)性,主要面向高性能計(jì)算、海量媒體(音/視頻)數(shù)據(jù)的存儲(chǔ)。
Vincent Hsu:IBM在過(guò)去這5年收購(gòu)了一些做分析工作負(fù)載的軟件(包括Netezza?筆者注),現(xiàn)在我們正在做分析軟件和Hadoop環(huán)境的結(jié)合。
DS8000:未來(lái)基于Power的Scale-out?
媒體提問(wèn):英特爾的E5處理器平臺(tái)很快會(huì)發(fā)布,而且在這個(gè)E5處理器平臺(tái)中包括了很多存儲(chǔ)特性,是不是從英特爾的這種觀點(diǎn)來(lái)說(shuō),認(rèn)為存儲(chǔ)從硬件上會(huì)越來(lái)越趨近,存儲(chǔ)和服務(wù)器在性能上越來(lái)越像,主要差異體現(xiàn)在軟件,不知道IBM如何看待這種趨勢(shì),在研發(fā)中有沒(méi)有相應(yīng)的調(diào)整?
Laura Guio:我不能對(duì)其他公司未來(lái)要公布的產(chǎn)品進(jìn)行評(píng)價(jià)。如果你仔細(xì)看一下我們的存儲(chǔ)產(chǎn)品組合的話,現(xiàn)在存儲(chǔ)行業(yè)確實(shí)是以軟件為導(dǎo)向的行業(yè),現(xiàn)在有很多行業(yè)標(biāo)準(zhǔn)使用的硬盤,比如說(shuō)硬盤、閃存,不管是英特爾的處理器還是POWER處理器等其他的計(jì)算的模板,可以看到這些都是行業(yè)標(biāo)準(zhǔn)的?,F(xiàn)在對(duì)于存儲(chǔ)系統(tǒng)來(lái)說(shuō)有一個(gè)革命性的變化,就是把行業(yè)內(nèi)應(yīng)用的這些軟件都拿來(lái),同時(shí)匹配上差異化的軟件,同時(shí)體現(xiàn)差異化的體系。英特爾會(huì)給全世界帶來(lái)一種想法,讓大家覺(jué)得一切都是在英特爾的界面基礎(chǔ)上運(yùn)行。對(duì)于IBM,我們自己也有我們自己的POWER芯片,現(xiàn)在POWER5、POWER6都應(yīng)用在DS8000上了,POWER7很快會(huì)應(yīng)用在DS8000上了,對(duì)于我們來(lái)說(shuō),我們其實(shí)是把行業(yè)中這些最優(yōu)秀的組件都拿來(lái)用在我們的產(chǎn)品上,不管是Power還是英特爾,所以我們比英特爾有著更寬泛的視角。
下面是半年前的采訪:
筆者:我們看到目前多核x86 CPU性能越來(lái)越強(qiáng)、4插槽MP系統(tǒng)的內(nèi)存已經(jīng)可以支持到1~2TB。那么,IBM DS8000系列將來(lái)還有必要繼續(xù)使用自己的Power處理器嗎?
Vincent Hsu:存儲(chǔ)器不光是一個(gè)性能的問(wèn)題,特別是高端存儲(chǔ)最重要的關(guān)鍵就是數(shù)據(jù)完整性。所以事實(shí)上我們有很多和Power整合的技術(shù),我想將來(lái)(IBM)高端產(chǎn)品還是會(huì)用Power。具體到x86的性能現(xiàn)在也比較強(qiáng),但是對(duì)數(shù)據(jù)的可靠性和一致性來(lái)講,Power在這方面還是有比較多的優(yōu)點(diǎn)。
將來(lái)你會(huì)看到不一樣的地方,DS8000系列中會(huì)有Scale-out和Scale-up的設(shè)計(jì)?,F(xiàn)在DS8800和DS8300就有很大的不同,DS8800的每一個(gè)矩陣節(jié)點(diǎn)(I/O擴(kuò)展柜)Adapter和Power之間都是PCIe點(diǎn)對(duì)點(diǎn)的連接。
IBM DS8000(DS8700/8800)系列架構(gòu)圖
點(diǎn)評(píng):DS8700、DS8800使用的CPU分別為4.7GHz的P6 570和5.0GHz的P6+ 570,前者的后端驅(qū)動(dòng)器連接為2Gb/s FC-AL(光纖通道仲裁環(huán)路),而后者通過(guò)交換式的8Gb/s FC-AL連接到支持2.5英寸6Gb/s SAS驅(qū)動(dòng)器的擴(kuò)展柜。
除了這些,IBM DS8700和8800在系統(tǒng)I/O架構(gòu)上的設(shè)計(jì)基本相同。兩臺(tái)Power 6服務(wù)器中各有兩個(gè)CPU插槽(支持單核或雙核處理器),它們通過(guò)P5ioc2芯片轉(zhuǎn)接出的PCIe Cable分別連接到8個(gè)I/O擴(kuò)展柜。而兩臺(tái)P6服務(wù)器之間的通信則由專用的RIO-G(remote I/O)環(huán)路來(lái)實(shí)現(xiàn),一種高性能、帶有自我恢復(fù)功能的內(nèi)部連接技術(shù)。