• 首先，x86及其兼容的處理器在過去的發(fā)展中不斷占有更大的市場份額，逐漸形成了壓倒性優(yōu)勢；


• Linux操作系統(tǒng)不斷蠶食其它操作系統(tǒng)的市場，已經(jīng)成為HPC中的“標準”系統(tǒng)選擇；


• 工業(yè)應(yīng)用已經(jīng)成為主體應(yīng)用，這表明了HPC應(yīng)用需求和應(yīng)用技術(shù)越來越旺盛和成熟。其中，數(shù)據(jù)處理成為核心問題，如在地球物理、大氣氣象、生物信息等領(lǐng)域。微軟在HPC領(lǐng)域的推動是這方面的明證，值得充分重視；


• 經(jīng)過長時間的發(fā)展，集群系統(tǒng)結(jié)構(gòu)已經(jīng)成為主流結(jié)構(gòu)，具有壓倒性優(yōu)勢；


• 千兆以太網(wǎng)技術(shù)已經(jīng)成為發(fā)展互聯(lián)技術(shù)的首選，占有了近于一半的市場份額。隨著萬兆以太網(wǎng)的推廣，以太網(wǎng)作為互聯(lián)技術(shù)值得密切關(guān)注；


• 隨著硬件成本的迅速降低，系統(tǒng)規(guī)模越來越大，數(shù)百個計算節(jié)點的系統(tǒng)已經(jīng)司空見慣。

    二、存儲技術(shù)的發(fā)展趨勢
  
    由于高性能計算依然會持續(xù)發(fā)展，這些發(fā)展趨勢在一定時間內(nèi)也依然會不斷持續(xù)。在應(yīng)用需求和應(yīng)用技術(shù)日益成熟的今天，這些發(fā)展趨勢對于中高端存儲技術(shù)的發(fā)展，提出了重要的影響和更高的需求。下面，我們針對相關(guān)發(fā)展趨勢，分析其影響所在。
   
    應(yīng)用領(lǐng)域日趨廣泛，特別是在各種工業(yè)應(yīng)用領(lǐng)域，發(fā)展尤為迅速。其中，在地球物理、半導(dǎo)體、大氣氣象等以數(shù)據(jù)處理為核心的應(yīng)用領(lǐng)域迅速崛起。高性能計算的日益成熟與數(shù)據(jù)處理的巨大需求，直接推動了面向高性能計算的存儲系統(tǒng)發(fā)展。在應(yīng)用技術(shù)日益成熟的今天，應(yīng)用系統(tǒng)與存儲系統(tǒng)的持續(xù)、可集成性需求也日益強烈。IP/以太網(wǎng)絡(luò)技術(shù)的開放性和可集成性成為IP網(wǎng)絡(luò)存儲技術(shù)發(fā)展的直接推動力。
   
    集群系統(tǒng)：針對集群系統(tǒng)技術(shù)日益成熟，并成為主流的現(xiàn)狀，對于集群文件系統(tǒng)的需求日益強勁。集群文件系統(tǒng)應(yīng)該具備可以支持大規(guī)模數(shù)據(jù)的有效傳輸，支持多計算節(jié)點間的數(shù)據(jù)有效共享。此外，計算節(jié)點的重復(fù)安裝、配置等管理工作降低了集群系統(tǒng)的使用效率。因此，以存儲為中心的集群系統(tǒng)高效管理技術(shù)已經(jīng)成為研發(fā)熱點。
   
    以太網(wǎng)技術(shù)作為互聯(lián)技術(shù)已經(jīng)成為高性能計算的主流技術(shù)（占49.8%），而且其比例仍然在擴大。一方面，說明了以太網(wǎng)技術(shù)的日益成熟（包括聚合帶寬、單端口帶寬和成本、技術(shù)集成度等）；另一方面，說明了即使在高性能計算領(lǐng)域，用戶對于系統(tǒng)成本（包括采購、管理和運營）也是較為敏感的。這同樣將會影響存儲技術(shù)的選擇，特別是在存儲系統(tǒng)成本，在整個系統(tǒng)成本中的所占比例日漸提高的今天。若將互聯(lián)網(wǎng)絡(luò)技術(shù)與存儲網(wǎng)絡(luò)技術(shù)統(tǒng)一，勢必將大大降低系統(tǒng)總體成本，提高整體系統(tǒng)的集成度。IP/以太網(wǎng)絡(luò)技術(shù)的成熟程度，特別是其開放性和可集成性使得IP網(wǎng)絡(luò)存儲技術(shù)具有特殊的誘惑力。
   
    大規(guī)模系統(tǒng)：隨著軟、硬件成本的下降，計算設(shè)備數(shù)量日益增加，動輒數(shù)十乃至于數(shù)百臺服務(wù)器的計算環(huán)境已為常見。由此出現(xiàn)以下一些問題：

• 計算機數(shù)量的增加，不僅導(dǎo)致計算系統(tǒng)本身能耗過高，而且相應(yīng)機房制冷設(shè)備的能耗也同比例增長。與數(shù)量的增加相反，計算機的利用效率反而不斷降低。這種高昂成本和低利用率，不僅限制了現(xiàn)有規(guī)模系統(tǒng)應(yīng)用領(lǐng)域的進一步拓展，而且限制了計算機系統(tǒng)規(guī)模的持續(xù)增加。這直接引發(fā)了存儲與計算分離技術(shù)，和以此為基礎(chǔ)的計算資源部署技術(shù)的發(fā)展。通過兩者的分離，有效地將計算設(shè)備資源化，并且按照需求調(diào)度計算資源，從而大大提高計算資源的利用率，降低對計算資源總體數(shù)量的需求。


• 計算機管理問題越發(fā)嚴重。計算機的安裝、配置、維護成本，已經(jīng)成為不可忽視的成本組成部分。為了解決系統(tǒng)管理與維護問題，以存儲與計算分離技術(shù)為基礎(chǔ)的層疊式快照和虛擬共享存儲卷管理等多種存儲核心技術(shù)，以及相關(guān)的備份和恢復(fù)技術(shù)迅速崛起。


• 數(shù)據(jù)通道已經(jīng)成為瓶頸。數(shù)量眾多的計算節(jié)點、高并發(fā)的數(shù)據(jù)訪問，勢必給存儲系統(tǒng)帶來極高的壓力，從而要求存儲網(wǎng)絡(luò)及存儲系統(tǒng)可以滿足聚合高效率、高帶寬的數(shù)據(jù)訪問需求。高聚合帶寬的需求，直接推動了集群存儲技術(shù)的發(fā)展。此外，IP/以太網(wǎng)絡(luò)技術(shù)的成熟程度和其高聚合帶寬的優(yōu)勢，使能了IP存儲技術(shù)的發(fā)展。隨著萬兆以太網(wǎng)絡(luò)的普及，將一定程度上解決以太網(wǎng)絡(luò)單端口帶寬低的問題，并進一步強化IP網(wǎng)絡(luò)高聚合帶寬的優(yōu)勢。


• 數(shù)據(jù)量日漸龐大。眾多的計算節(jié)點具有巨大的數(shù)據(jù)處理能力，如地球物理、大氣氣象、遙感信息等相關(guān)應(yīng)用領(lǐng)域，數(shù)據(jù)量巨大。這些需求，要求存儲系統(tǒng)能夠提供巨大的存儲容量和豐富的數(shù)據(jù)管理功能，以此將推動PB級存儲系統(tǒng)的研究熱潮。大容量、高性能的存儲與優(yōu)異的性價比形成反差，進一步強化了存儲與數(shù)據(jù)分離的趨勢。在分離的基礎(chǔ)上，使能存儲和數(shù)據(jù)的資源化，基于存儲對象技術(shù)和層次化存儲技術(shù)，增強存儲系統(tǒng)的層次化，推動數(shù)據(jù)的集中管理和數(shù)據(jù)的按需部署等技術(shù)的發(fā)展。

    三、存儲技術(shù)的遠景展望
  
    為了滿足各種應(yīng)用需求，存儲系統(tǒng)已經(jīng)開始向高速發(fā)展的階段邁進。目前主要分為以下幾個發(fā)展方向：虛擬存儲系統(tǒng)、服務(wù)部署系統(tǒng)、集群文件系統(tǒng)和數(shù)據(jù)管理系統(tǒng)。
  
    （一）虛擬存儲系統(tǒng)：國外的IBM、HP、StoreAge、VERITAS、EMC和StorageTek等廠商，已把虛擬存儲（虛擬磁盤存儲、共享虛擬磁盤陣列和虛擬存儲管理）作為其核心技術(shù)。
  
    （二）服務(wù)部署系統(tǒng)：現(xiàn)已有IBM實驗室研發(fā)的Oceano、Purdue大學研究的SODA和Duke大學提出的COD系統(tǒng)。
  
    （三）集群文件系統(tǒng)：在國外，已呈現(xiàn)出由Lustre（Linux Cluster）設(shè)計并實現(xiàn)的一個基于存儲區(qū)域網(wǎng)的集群文件系統(tǒng)、IBM公司的Storage Tank以及基于Storage Tank的TotalStorage SAN File System和Panasas公司的PanFS系統(tǒng)。
  
    （四）數(shù)據(jù)管理系統(tǒng)：EMC和國外廠商基于ILM理念推出了各種管理系統(tǒng)。此外，數(shù)據(jù)搜索和數(shù)據(jù)索引技術(shù)發(fā)展迅速。Google和微軟都推出了桌面搜索工具。
  
    然而，作為國內(nèi)的權(quán)威研發(fā)機構(gòu)的中國科學院計算技術(shù)研究所國家高性能計算機工程技術(shù)研究中心，在上述發(fā)展方向上，相繼研發(fā)出具有自主知識產(chǎn)權(quán)的藍鯨虛擬存儲系統(tǒng)、藍鯨服務(wù)部署系統(tǒng)、藍鯨集群文件系統(tǒng)和藍鯨數(shù)據(jù)備份系統(tǒng)。
  
    在社會的迅速發(fā)展中，伴隨著各行業(yè)中數(shù)據(jù)量的不斷地增加，存儲技術(shù)的研究和開發(fā)熱潮也將迅速升溫。面向未來，以高性能計算為龍頭牽引，在iSCSI和SATA/SAS等技術(shù)的作用下，存儲系統(tǒng)將朝著IP存儲技術(shù)、部署技術(shù)、虛擬化技術(shù)、集群技術(shù)、對象化技術(shù)、數(shù)據(jù)管理技術(shù)等多個方面迅速發(fā)展。

    本文為中科院計算所工程中心供DoSTOR專稿，版權(quán)歸作者及DoSTOR所有，如需轉(zhuǎn)載請與本站聯(lián)系。

多易