在中科院計(jì)算所國(guó)家高性能計(jì)算機(jī)工程技術(shù)研究中心(以下簡(jiǎn)稱(chēng)“工程中心”)的機(jī)房,記者看到一排排嗡嗡作響的機(jī)柜和顯示著數(shù)據(jù)的屏幕正在高速地運(yùn)轉(zhuǎn)。正是這些存儲(chǔ)數(shù)量達(dá)幾十個(gè)TB的“黑匣子”???網(wǎng)絡(luò)存儲(chǔ)支持著遙感測(cè)算、石油勘探等行業(yè)對(duì)海量數(shù)據(jù)的大規(guī)模、分布式、并行訪問(wèn)的需求。在863計(jì)劃的支持下,工程中心相繼研發(fā)出適合我國(guó)國(guó)情的藍(lán)鯨系列網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品,并已廣泛應(yīng)用于國(guó)防、軍隊(duì)、科研、教育等眾多領(lǐng)域。
推進(jìn)我國(guó)信息化深度
網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)到底是什么?中國(guó)科學(xué)院計(jì)算技術(shù)研究所總工程師徐志偉解釋說(shuō),網(wǎng)絡(luò)存儲(chǔ)就是將存儲(chǔ)設(shè)備直接連接到網(wǎng)絡(luò)上,網(wǎng)絡(luò)存儲(chǔ)技術(shù)就是對(duì)這種直接連接到網(wǎng)上的存儲(chǔ)設(shè)備進(jìn)行組織與管理,形成網(wǎng)絡(luò)存儲(chǔ)系統(tǒng),并管理和控制網(wǎng)絡(luò)硬盤(pán)的使用。
他介紹說(shuō),網(wǎng)絡(luò)計(jì)算機(jī)平臺(tái)有4類(lèi)系統(tǒng)???服務(wù)器、存儲(chǔ)系統(tǒng)、路由器等網(wǎng)絡(luò)設(shè)備以及微機(jī)等客戶(hù)端設(shè)備。其中,存儲(chǔ)系統(tǒng)不是通常所說(shuō)的微機(jī)和服務(wù)器中的硬盤(pán),而是盤(pán)陣和網(wǎng)絡(luò)存儲(chǔ)之類(lèi)的系統(tǒng)。服務(wù)器和存儲(chǔ)系統(tǒng)通常又被稱(chēng)為服務(wù)器端系統(tǒng),它們通過(guò)網(wǎng)絡(luò)與微機(jī)等客戶(hù)端設(shè)備互聯(lián)起來(lái)。
存儲(chǔ)系統(tǒng)是近年來(lái)增長(zhǎng)最快的網(wǎng)絡(luò)計(jì)算技術(shù),其全球市場(chǎng)銷(xiāo)售額已經(jīng)超過(guò)了服務(wù)器市場(chǎng),尤其在北美和日本等發(fā)達(dá)地區(qū)更是如此。這種趨勢(shì)在今后還會(huì)繼續(xù),因?yàn)椴徽撌蔷钟蚓W(wǎng)還是廣域網(wǎng)系統(tǒng)中,數(shù)據(jù)量增長(zhǎng)都還在提速。
“一個(gè)國(guó)家的信息化廣度可以粗略地用客戶(hù)端設(shè)備量來(lái)表示,客戶(hù)端設(shè)備越多,在一定程度上也反映了用戶(hù)越多;一個(gè)國(guó)家的信息化深度則可用服務(wù)器端設(shè)備量來(lái)表示,這是因?yàn)橐粋€(gè)國(guó)家的信息化程度越深,聯(lián)網(wǎng)程度就越高,服務(wù)器端的應(yīng)用數(shù)據(jù)和應(yīng)用程序就越多,應(yīng)用水平也就越先進(jìn)?!?nbsp;
來(lái)自IDC的一組數(shù)據(jù)顯示,中國(guó)在信息化廣度方面已經(jīng)有了長(zhǎng)足的進(jìn)步,微機(jī)市場(chǎng)銷(xiāo)售額已經(jīng)超過(guò)了日本。但是,我國(guó)信息化的深度不僅與發(fā)達(dá)國(guó)家有較大的差距,甚至低于世界平均水平。我國(guó)在存儲(chǔ)系統(tǒng)的銷(xiāo)售額只占全球市場(chǎng)的1.5%,比近鄰韓國(guó)還低許多?!凹涌齑鎯?chǔ)市場(chǎng)的高速發(fā)展是推進(jìn)信息化深度的前提和要求?!毙熘緜ト缡钦f(shuō)。
為此,2001年,計(jì)算所面向網(wǎng)絡(luò)計(jì)算的發(fā)展趨勢(shì),通過(guò)中科院“百人計(jì)劃”引進(jìn)了國(guó)外優(yōu)秀人才許魯博士,開(kāi)始了網(wǎng)絡(luò)存儲(chǔ)技術(shù)及其產(chǎn)品的研究工作,工程中心成為當(dāng)時(shí)國(guó)內(nèi)進(jìn)行僅有的幾家國(guó)產(chǎn)存儲(chǔ)技術(shù)研究的機(jī)構(gòu)之一。
力挺自主創(chuàng)新存儲(chǔ)產(chǎn)品
數(shù)據(jù)表明,今天我國(guó)的存儲(chǔ)市場(chǎng),僅占全球的1.5%,而服務(wù)器市場(chǎng)占到了4%,網(wǎng)絡(luò)和通訊設(shè)備市場(chǎng)也在4%以上,存儲(chǔ)行業(yè)發(fā)展嚴(yán)重失衡。
徐志偉分析說(shuō),造成我國(guó)存儲(chǔ)系統(tǒng)落后的主要原因是國(guó)產(chǎn)化程度很低,因而成本仍然很高。過(guò)去幾年里,我國(guó)的微機(jī)產(chǎn)業(yè)和服務(wù)器產(chǎn)業(yè)有了很大的發(fā)展。但是,我國(guó)幾乎還沒(méi)有存儲(chǔ)系統(tǒng)的品牌產(chǎn)品,更缺乏自主創(chuàng)新的存儲(chǔ)系統(tǒng)技術(shù)。
深諳信息技術(shù)發(fā)展之道的許魯告訴記者,從歷史上來(lái)講,信息技術(shù)有三個(gè)大的技術(shù)發(fā)展階段,分別是計(jì)算技術(shù)浪潮,網(wǎng)絡(luò)技術(shù)浪潮和存儲(chǔ)技術(shù)浪潮。計(jì)算技術(shù)浪潮發(fā)生在上世紀(jì)80年代中期,以CPU為主要目標(biāo),包括PC和服務(wù)器方面的發(fā)展。在國(guó)際上,形成了英特爾和AMD兩大巨頭。同時(shí),中國(guó)本土產(chǎn)業(yè)也形成了聯(lián)想和浪潮等廠商。網(wǎng)絡(luò)技術(shù)浪潮形成于90年代中期,它提供一般的PC機(jī)與服務(wù)器之間的通路。在國(guó)際上形成了思科等國(guó)際巨頭,與之相應(yīng)國(guó)內(nèi)形成了中興、華為等廠商。在2000年后形成的存儲(chǔ)技術(shù)浪潮,其主要目標(biāo)是提供數(shù)據(jù)內(nèi)容。在國(guó)際上造就了EMC等廠商,而在國(guó)內(nèi)其產(chǎn)業(yè)幾乎還是一片空白。
目前,我國(guó)的存儲(chǔ)市場(chǎng)多數(shù)集中在IBM、惠普、EMC這些國(guó)際知名品牌手里。國(guó)內(nèi)自主品牌在存儲(chǔ)領(lǐng)域,只占8.7%的市場(chǎng)份額。其中有80%以上為國(guó)外貼牌加工或生產(chǎn)瀕臨淘汰的低端產(chǎn)品。
“如果把8.7%與20%這兩個(gè)數(shù)字相乘的話,你可以發(fā)現(xiàn)真正的自有技術(shù)的產(chǎn)品,只占到不足2%的市場(chǎng)份額。在這不足2%的市場(chǎng)份額內(nèi),具有市場(chǎng)競(jìng)爭(zhēng)力的核心存儲(chǔ)產(chǎn)品幾乎是少之又少?!痹S魯痛心地說(shuō),我們可以一輩子用國(guó)外的舶來(lái)品,但是不僅要為之付出高額的成本,更重要的是用戶(hù)在需求上沒(méi)有任何發(fā)言權(quán)。
許魯?shù)挠^點(diǎn)在市場(chǎng)上得到印證。據(jù)有關(guān)機(jī)構(gòu)預(yù)測(cè),5年內(nèi)我國(guó)網(wǎng)絡(luò)存儲(chǔ)市場(chǎng)規(guī)模將達(dá)到近100億人民幣。從市場(chǎng)需求角度,對(duì)于國(guó)有品牌及自主技術(shù),用戶(hù)需求強(qiáng)烈,渴望得到符合國(guó)情的產(chǎn)品、解決方案和專(zhuān)業(yè)化服務(wù)。這無(wú)疑為自主創(chuàng)新的存儲(chǔ)產(chǎn)品在中國(guó)的應(yīng)用和發(fā)展提供了重要的契機(jī)。
藍(lán)鯨做到4個(gè)“最”
“存儲(chǔ)系統(tǒng)不是我們?nèi)粘J褂玫腢盤(pán)或電子盤(pán),更不是人們常見(jiàn)的磁盤(pán)陣列,而是由多個(gè)網(wǎng)絡(luò)智能化的存儲(chǔ)控制器/設(shè)備和管理系統(tǒng)構(gòu)成的?!痹S魯打比喻說(shuō),如果把U盤(pán)和電子盤(pán)作為PC,磁盤(pán)陣列則相當(dāng)于我們計(jì)算角度上的服務(wù)器,那么存儲(chǔ)系統(tǒng)就是高性能的計(jì)算機(jī)。由此可見(jiàn),存儲(chǔ)是計(jì)算機(jī)系統(tǒng)中比較難的領(lǐng)域,技術(shù)門(mén)檻高,屬于計(jì)算機(jī)的核心技術(shù)。
網(wǎng)絡(luò)存儲(chǔ)難在既要存儲(chǔ)數(shù)據(jù),又要有效管理和調(diào)度數(shù)據(jù)的使用。幾年來(lái),許魯帶領(lǐng)他的團(tuán)隊(duì)開(kāi)展了網(wǎng)絡(luò)存儲(chǔ)研究、開(kāi)發(fā)和產(chǎn)品化等一系列的工作,解決了包括以存儲(chǔ)為核心的系統(tǒng)管理,計(jì)算資源、存儲(chǔ)資源和數(shù)據(jù)資源的按需部署,數(shù)據(jù)資源的備份、恢復(fù)、容災(zāi)和共享等關(guān)鍵技術(shù)。
在863計(jì)劃“海量存儲(chǔ)系統(tǒng)技術(shù)與集成???以海量存儲(chǔ)為核心的網(wǎng)絡(luò)服務(wù)器系統(tǒng)”和“虛擬化網(wǎng)絡(luò)存儲(chǔ)功能軟件”等課題的大力支持,工程中心已經(jīng)設(shè)計(jì)并實(shí)現(xiàn)了四個(gè)以網(wǎng)絡(luò)存儲(chǔ)為核心的大型系統(tǒng)平臺(tái)。這四個(gè)系統(tǒng)包括藍(lán)鯨虛擬存儲(chǔ)系統(tǒng)、藍(lán)鯨服務(wù)部署系統(tǒng)、藍(lán)鯨集群存儲(chǔ)系統(tǒng)和藍(lán)鯨數(shù)據(jù)備份系統(tǒng)。其中,藍(lán)鯨虛擬存儲(chǔ)系統(tǒng)為資源的分離提供了基礎(chǔ)平臺(tái);在分離的基礎(chǔ)上,藍(lán)鯨服務(wù)部署系統(tǒng)可以將計(jì)算資源和系統(tǒng)數(shù)據(jù)動(dòng)態(tài)合成,按需構(gòu)成用戶(hù)所需的計(jì)算環(huán)境;而多計(jì)算機(jī)間的數(shù)據(jù)共享則由藍(lán)鯨集群存儲(chǔ)系統(tǒng)支持。這幾個(gè)系統(tǒng)數(shù)據(jù)都可由藍(lán)鯨數(shù)據(jù)備份系統(tǒng)來(lái)提供數(shù)據(jù)備份支持,共同構(gòu)成大型存儲(chǔ)系統(tǒng)。
在這四大系統(tǒng)的基礎(chǔ)上,工程中心成功開(kāi)發(fā)出藍(lán)鯨網(wǎng)絡(luò)存儲(chǔ)系列產(chǎn)品。這些產(chǎn)品填補(bǔ)了國(guó)內(nèi)在網(wǎng)絡(luò)存儲(chǔ)行業(yè)的產(chǎn)品空白,實(shí)現(xiàn)了具有自主特色的虛擬化和按需服務(wù)等先進(jìn)技術(shù),不僅在性能、可靠性、可擴(kuò)展性、可管理性達(dá)到了國(guó)際同類(lèi)產(chǎn)品的先進(jìn)水平,而且成本降到了1/3。藍(lán)鯨存儲(chǔ)系統(tǒng)能夠有效地管理512TB的存儲(chǔ)資源,并能按照用戶(hù)的需求動(dòng)態(tài)劃分資源,藍(lán)鯨服務(wù)部署系統(tǒng)能夠在1分鐘之內(nèi)提供用戶(hù)所需要的操作系統(tǒng)和應(yīng)用軟件服務(wù)。
更令人欣喜的是,藍(lán)鯨存儲(chǔ)產(chǎn)品投入應(yīng)用到國(guó)防、軍隊(duì)、教育、政府、科研、能源、遙感、旅游、廣電、視頻監(jiān)控等多個(gè)行業(yè)和領(lǐng)域使用后,得到了國(guó)內(nèi)外同行和用戶(hù)的認(rèn)可與好評(píng),在大型存儲(chǔ)系統(tǒng)的應(yīng)用中成為國(guó)內(nèi)產(chǎn)品系統(tǒng)規(guī)模最大、產(chǎn)品技術(shù)成熟度最高、實(shí)際應(yīng)用領(lǐng)域是最寬、潛在覆蓋領(lǐng)域最廣泛的國(guó)內(nèi)網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品。
2006年9月,全球最具權(quán)威的IT研究與咨詢(xún)機(jī)構(gòu)Gartner對(duì)藍(lán)鯨集群存儲(chǔ)系統(tǒng)在石油物探領(lǐng)域的應(yīng)用情況進(jìn)行研究。這是該機(jī)構(gòu)首次對(duì)中國(guó)國(guó)產(chǎn)存儲(chǔ)產(chǎn)品做出客觀的評(píng)價(jià)。報(bào)告稱(chēng),用戶(hù)非常滿(mǎn)意藍(lán)鯨集群存儲(chǔ)的使用,它支持4個(gè)主要的計(jì)算工作,甚至可支持4個(gè)工作同時(shí)運(yùn)行。到目前為止,系統(tǒng)還未遇到任何系統(tǒng)性能瓶頸問(wèn)題。
“明年我們將要研發(fā)出PB(1PB相當(dāng)于1024TB)級(jí)存儲(chǔ)容量的產(chǎn)品,把相應(yīng)的應(yīng)用成功移植上去。”展望未來(lái),許魯充滿(mǎn)希望地說(shuō)。
數(shù)字863
藍(lán)鯨網(wǎng)絡(luò)存儲(chǔ)產(chǎn)品的應(yīng)用
藍(lán)鯨部署系統(tǒng)應(yīng)用在政府、科研和軍隊(duì)等領(lǐng)域,如肇慶市人民政府信息中心、深圳先進(jìn)技術(shù)研究院、總裝某部、海軍某部等單位,主要用于普通和保密辦公環(huán)境,方便了辦公環(huán)境中的計(jì)算機(jī)系統(tǒng)維護(hù),使系統(tǒng)管理員對(duì)計(jì)算機(jī)的管理能力由之前平均每人50?100臺(tái)計(jì)算機(jī)增長(zhǎng)到200臺(tái),另一方面是通過(guò)基于PCSAN的保密辦公環(huán)境解決方案,有效地防止了網(wǎng)絡(luò)泄密事件的發(fā)生。
藍(lán)鯨部署系統(tǒng)在能源領(lǐng)域里,如新疆油田公司勘探開(kāi)發(fā)研究院,主要用于大型計(jì)算機(jī)集群的系統(tǒng)部署,目前最大支持計(jì)算節(jié)點(diǎn)達(dá)到260個(gè)。同時(shí)部署190個(gè)計(jì)算節(jié)點(diǎn)時(shí),部署時(shí)間從之前使用傳統(tǒng)的網(wǎng)絡(luò)分發(fā)方式時(shí)所需的6?12小時(shí)縮短為不到1個(gè)小時(shí),大大提高了集群系統(tǒng)的部署效率,也方便了計(jì)算資源的靈活調(diào)度。
藍(lán)鯨集群存儲(chǔ)系統(tǒng)在軍隊(duì)和國(guó)防領(lǐng)域,主要應(yīng)用在核模擬、數(shù)字風(fēng)洞、文獻(xiàn)檢索、遙感數(shù)據(jù)處理等應(yīng)用中。在國(guó)防領(lǐng)域某研究所的數(shù)字風(fēng)洞應(yīng)用中,該系統(tǒng)已經(jīng)穩(wěn)定運(yùn)行一年半,其表現(xiàn)出的性能是傳統(tǒng)網(wǎng)絡(luò)文件系統(tǒng)的10倍。
藍(lán)鯨集群存儲(chǔ)系統(tǒng)在科研和能源等領(lǐng)域,如深圳先進(jìn)技術(shù)研究院、新疆油田公司等應(yīng)用單位,主要應(yīng)用在集群計(jì)算方面,最長(zhǎng)應(yīng)用時(shí)間已經(jīng)超過(guò)兩年半。目前該系統(tǒng)在新疆油田的地震數(shù)據(jù)處理中,最大支持計(jì)算節(jié)點(diǎn)已達(dá)到289個(gè),計(jì)算效率提高了1?3倍。