目前,計(jì)算機(jī)業(yè)正在進(jìn)入一場(chǎng)新的革命?SAN。這場(chǎng)革命被新的光纖通道技術(shù)(Fibre Channel)催進(jìn)著飛快發(fā)展。其中包括光纖集線器,交換機(jī)技術(shù),全新的存儲(chǔ)區(qū)域網(wǎng)(Storage Area Network: SAN)概念。

    在某種意義上，這些技術(shù)可以被簡(jiǎn)單地想象成一個(gè)與目前流行的網(wǎng)絡(luò)結(jié)構(gòu)沒有什么本質(zhì)的區(qū)別,不過是通過光纖通道提高了系統(tǒng)訪問磁盤陣列的速度。但是，如果從另一個(gè)角度來看，這項(xiàng)技術(shù)給海量衛(wèi)星圖像、遙感數(shù)據(jù)存儲(chǔ)與分析提供了新的解決方案??SAN智能存儲(chǔ)解決方案。

    科研行業(yè)應(yīng)用，特別是衛(wèi)星圖像、遙感數(shù)據(jù)存儲(chǔ)與分析的基礎(chǔ)是，存儲(chǔ)系統(tǒng)能夠提供海量數(shù)據(jù)的文件存儲(chǔ)和管理，同時(shí)能夠解決多臺(tái)服務(wù)器并發(fā)訪問和分析同一份數(shù)據(jù)的問題。SAN集中存儲(chǔ)平臺(tái)為海量數(shù)據(jù)的存儲(chǔ)與管理提供了基礎(chǔ)架構(gòu)平臺(tái)，包括光纖交換機(jī)、海量磁盤陣列、智能磁帶庫等硬件存儲(chǔ)設(shè)備，而實(shí)現(xiàn)智能存儲(chǔ)還需要SAN存儲(chǔ)軟件系統(tǒng)，主要包括兩部分SAN共享文件系統(tǒng)、分層存儲(chǔ)管理系統(tǒng)。下面的章節(jié)，我們將詳細(xì)介紹如何為科研行業(yè)應(yīng)用建立一個(gè)智能存儲(chǔ)系統(tǒng)，包括存儲(chǔ)硬件平臺(tái)和軟件存儲(chǔ)管理平臺(tái)。

智能存儲(chǔ)架構(gòu)

    智能存儲(chǔ)架構(gòu)包括如下內(nèi)容：光纖交換機(jī)、海量磁盤陣列、智能磁帶庫等硬件存儲(chǔ)設(shè)備，能夠?qū)崿F(xiàn)SAN文件系統(tǒng)共享和分層存儲(chǔ)管理的存儲(chǔ)軟件管理系統(tǒng)。智能存儲(chǔ)架構(gòu)如下圖所示。

    負(fù)責(zé)衛(wèi)星圖像遙感數(shù)據(jù)存儲(chǔ)和分析的服務(wù)器，可以共享存儲(chǔ)和訪問磁盤陣列上的同一個(gè)文件。磁盤陣列上存儲(chǔ)著應(yīng)用經(jīng)常訪問的文件數(shù)據(jù)，不經(jīng)常訪問的數(shù)據(jù)由存儲(chǔ)軟件“透明”遷移到磁帶庫上存儲(chǔ)，同時(shí)存儲(chǔ)軟件還能實(shí)現(xiàn)數(shù)據(jù)備份的功能。

SAN存儲(chǔ)架構(gòu)的實(shí)現(xiàn)

    SAN是目前最成熟的集中存儲(chǔ)系統(tǒng)，通過使用光纖存儲(chǔ)交換機(jī)將存儲(chǔ)設(shè)備（磁盤陣列、磁帶庫等）和主機(jī)系統(tǒng)通過光纖連接起來，SAN和傳統(tǒng)的SCSI存儲(chǔ)架構(gòu)相比能夠?yàn)閼?yīng)用、數(shù)據(jù)庫和文件訪問均提供更高的性能，具有更強(qiáng)的擴(kuò)展性。一直以來，SAN系統(tǒng)的投資較高問題成為很多中小企業(yè)采用SAN的阻礙，但是現(xiàn)在SAN的投資成本已大幅降低，近兩年，越來越多的企業(yè)開始轉(zhuǎn)向使用SAN系統(tǒng)。

    SAN存儲(chǔ)架構(gòu)包括：光纖通道交換機(jī)、高性能海量磁盤陣列、智能磁帶庫。

    在SAN系統(tǒng)中，各服務(wù)器、磁帶庫、磁盤陣列通過兩個(gè)光纖交換機(jī)連接成一個(gè)SAN的結(jié)構(gòu)。通過為每個(gè)服務(wù)器配置一個(gè)光纖主機(jī)適配器（HBA卡），可以將應(yīng)用服務(wù)器和備份服務(wù)器通過不同的光纖交換機(jī)連接到SAN環(huán)境。關(guān)鍵的應(yīng)用服務(wù)器需要考慮使用冗余通道，通道的冗余不僅提高了應(yīng)用服務(wù)器訪問存儲(chǔ)設(shè)備的性能，同時(shí)也提高了對(duì)存儲(chǔ)在SAN存儲(chǔ)設(shè)備上關(guān)鍵數(shù)據(jù)的可訪問性。所有需要實(shí)現(xiàn)冗余路徑的應(yīng)用服務(wù)器通過配置兩個(gè)光纖主機(jī)適配器，分別連接到兩個(gè)不同的交換機(jī)。新的服務(wù)器也可以采用同樣的方式連接到SAN環(huán)境。

光纖通道交換機(jī)

    光纖通道交換機(jī)是構(gòu)架SAN存儲(chǔ)網(wǎng)絡(luò)的關(guān)鍵設(shè)備，其數(shù)據(jù)交換性能、產(chǎn)品的安全性和可靠性直接決定著SAN存儲(chǔ)架構(gòu)的安全性和可靠性。應(yīng)該選擇主流光纖交換機(jī)產(chǎn)品，Brocade或Mcdata交換機(jī)在SAN架構(gòu)中的市場(chǎng)占用率較高，技術(shù)比較成熟，因此建議選用Brocade或Mcdata交換機(jī)構(gòu)架存儲(chǔ)局域網(wǎng)。方案推薦使用兩臺(tái)交換機(jī)，兩臺(tái)交換機(jī)互相作冗余備份。對(duì)于冗余要求不高的主機(jī)，也可以僅連接單臺(tái)交換機(jī)，不使用冗余路徑。

    主機(jī)光纖通道卡（HBA卡）是主機(jī)和SAN光纖交換機(jī)的連接器件，按照標(biāo)書要求，光纖陣列卡的選型由系統(tǒng)集成商和用戶商定。根據(jù)我們的經(jīng)驗(yàn)，可以選擇QLOGIC、ADEPTEC、JNI、EMULEX等廠商的產(chǎn)品，也可以選擇服務(wù)器配套的HBA（光纖通道卡）。所選擇的HBA卡必須與主機(jī)、磁盤陣列、光纖交換機(jī)等完全兼容。同時(shí)應(yīng)該選擇2Gb/s產(chǎn)品以保證性能。

高性能海量磁盤陣列

    在SAN存儲(chǔ)架構(gòu)中，磁盤陣列系統(tǒng)是關(guān)鍵的數(shù)據(jù)集中存儲(chǔ)系統(tǒng)，磁盤陣列本身的數(shù)據(jù)吞吐量、存儲(chǔ)容量及其擴(kuò)展性，直接決定著貴單位系統(tǒng)的整體性能。方案應(yīng)選取高速的光纖結(jié)構(gòu)的磁盤陣列，提供數(shù)據(jù)的海量存儲(chǔ)，形成SAN存儲(chǔ)架構(gòu)，通過光纖交換機(jī)，使得各主機(jī)可以跨平臺(tái)的共享存儲(chǔ)設(shè)備。磁盤陣列選型應(yīng)著重考慮以下幾個(gè)方面：

（1）可靠性、可用性、可維護(hù)性

（2）高性能、和容量可擴(kuò)展性

（3）開放性和兼容性

智能磁帶庫

    磁帶庫產(chǎn)品的開放型和兼容性、性能和存儲(chǔ)容量及其擴(kuò)展性，和磁盤存儲(chǔ)系統(tǒng)具有同樣的重要性，它直接決定著智能存儲(chǔ)系統(tǒng)的性能和容量，簡(jiǎn)單的說，就是智能存儲(chǔ)系統(tǒng)可以在多長(zhǎng)時(shí)間內(nèi)完成不經(jīng)常使用的數(shù)據(jù)從磁盤遷移到磁帶，能夠存儲(chǔ)多大的數(shù)據(jù)量。這就要求磁帶庫系統(tǒng)的設(shè)計(jì)，必須符合實(shí)際應(yīng)用環(huán)境數(shù)據(jù)磁帶存儲(chǔ)速度和數(shù)據(jù)量的需求，磁帶庫系統(tǒng)的存儲(chǔ)量在滿足當(dāng)前需求的同時(shí)還要隨應(yīng)用系統(tǒng)數(shù)據(jù)量的增長(zhǎng)而平滑擴(kuò)展，磁帶庫系統(tǒng)的讀寫速度也需符合具體業(yè)務(wù)環(huán)境的需求，既不能低于環(huán)境需求也不能過高，速度慢不能在有限的時(shí)間里完成數(shù)據(jù)存儲(chǔ)，速度過快是以較高的投資為代價(jià)的，不利于合理的利用IT投資。

    在選擇具體磁帶庫產(chǎn)品廠家時(shí)，方案推薦使用美國先進(jìn)數(shù)字信息公司（ADIC）公司的磁帶庫產(chǎn)品。ADIC是一家世界領(lǐng)先的專門提供數(shù)據(jù)保護(hù)、數(shù)據(jù)管理和數(shù)據(jù)訪問的開放系統(tǒng)智能化存儲(chǔ)解決方案供應(yīng)商。ADIC公司提供滿足SAN要求的高性能磁帶庫、磁盤和磁帶庫管理軟件等產(chǎn)品。

軟件存儲(chǔ)管理平臺(tái)

    負(fù)責(zé)科研、衛(wèi)星圖像、遙感數(shù)據(jù)存儲(chǔ)和分析的服務(wù)器，可以共享存儲(chǔ)和訪問磁盤陣列上的同一個(gè)文件。磁盤陣列上存儲(chǔ)著應(yīng)用經(jīng)常訪問的文件數(shù)據(jù)，不經(jīng)常訪問的數(shù)據(jù)由存儲(chǔ)軟件“透明”遷移到磁帶庫上存儲(chǔ)，同時(shí)還需實(shí)現(xiàn)數(shù)據(jù)備份的功能。下面就將介紹存儲(chǔ)軟件系統(tǒng)。包括三方面內(nèi)容：SAN共享文件系統(tǒng)、分層存儲(chǔ)管理系統(tǒng)和數(shù)據(jù)備份系統(tǒng)。SAN共享文件系統(tǒng)，實(shí)現(xiàn)SAN存儲(chǔ)架構(gòu)下的文件多主機(jī)共享；分層存儲(chǔ)管理系統(tǒng)，則實(shí)現(xiàn)不經(jīng)常訪問的文件遷移到磁帶和數(shù)據(jù)多版本備份的功能。

SAN共享文件系統(tǒng)

    SAN共享文件系統(tǒng)能夠使多個(gè)主機(jī)服務(wù)器通過SAN同時(shí)對(duì)數(shù)據(jù)進(jìn)行訪問，實(shí)現(xiàn)了數(shù)據(jù)訪問的高性能。SAN共享文件系統(tǒng)使得存儲(chǔ)管理服務(wù)器可以與應(yīng)用服務(wù)器運(yùn)行在不同的服務(wù)器上，甚至可以運(yùn)行在不同操作系統(tǒng)平臺(tái)的服務(wù)器上，當(dāng)應(yīng)用需要增加服務(wù)器的性能時(shí)，可以在原有服務(wù)器的基礎(chǔ)上進(jìn)行擴(kuò)容，也可以增加新的服務(wù)器運(yùn)行新的應(yīng)用，提高了整個(gè)系統(tǒng)的可伸縮性。

目前主流的SAN共享文件系統(tǒng)軟件有三種：

（1）VERITAS Cluster File System；

（2）IBM SANergy；

（3）ADIC StorNext File System（FS）；

上述三種文件系統(tǒng)，各有各的優(yōu)勢(shì)：

    VERITAS Cluster File System是群集文件系統(tǒng)，保證主機(jī)群集中的各個(gè)主機(jī)節(jié)點(diǎn)可以共享訪問同一個(gè)存儲(chǔ)空間或同一個(gè)文件。但它的局限性也很高，必須要求所有共享節(jié)點(diǎn)為同一操作系統(tǒng)平臺(tái)，安裝統(tǒng)一版本群集軟件，此外還有很多限制，另外，支持的操作系統(tǒng)有限，目前僅支持Solaris和HP-UX。但是由于其和存儲(chǔ)管理軟件結(jié)合的較緊密，文件共享讀寫性能較高，穩(wěn)定性較好。

    SANergy對(duì)底層文件系統(tǒng)依賴較高，支持傳統(tǒng)的NTFS、UFS、EXT2等，產(chǎn)品發(fā)展受上述產(chǎn)品的制約，產(chǎn)品未來發(fā)展不明朗。SANergy采用現(xiàn)有DAS文件系統(tǒng)管理硬件，視主機(jī)平臺(tái)而定（如是Windows就是NTFS、Solaris就是UFS、Linux就是EXT2等）技術(shù)依賴其他廠商，在混合平臺(tái)之間共享數(shù)據(jù)需要采用NFS協(xié)議處理，不能滿足混合平臺(tái)、大量主機(jī)并發(fā)工作環(huán)境中的性能要求。SANergy不是日志型文件系統(tǒng)，系統(tǒng)可靠性較差。

    ADIC StorNext File System （FS） 是64位日志型文件系統(tǒng)，ADIC掌握所有技術(shù)和知識(shí)產(chǎn)權(quán)，具有廣泛的發(fā)展?jié)摿?。StorNext FS是真正的64位文件系統(tǒng)，可以保證管理巨大的磁盤空間和文件數(shù)量，不同類型的主機(jī)可以同時(shí)以FC Direct I/O方式訪問數(shù)據(jù)，中間不需要任何協(xié)議轉(zhuǎn)換。因此，StorNext FS可以充分利用和發(fā)揮SAN體系結(jié)構(gòu)的所有優(yōu)點(diǎn)，完全擺脫現(xiàn)有文件系統(tǒng)產(chǎn)品的結(jié)構(gòu)束縛（現(xiàn)有文件系統(tǒng)是為DAS存儲(chǔ)結(jié)構(gòu)設(shè)計(jì)的，不能充分發(fā)揮SAN的優(yōu)勢(shì)），特別是在混合平臺(tái)、大量主機(jī)并發(fā)工作環(huán)境中優(yōu)勢(shì)非常突出。采用日志型文件系統(tǒng)的設(shè)計(jì),保證了系統(tǒng)的可靠性、健壯性和快速恢復(fù)能力。StorNext FS目前支持Solaris、Aix、IRIX、Linux和Windows。

    綜上所述，從異構(gòu)混合平臺(tái)的支持能力、文件系統(tǒng)體系結(jié)構(gòu)、性能和可靠性等方面，ADIC StorNext FS會(huì)是一個(gè)很好的選擇。

分層存儲(chǔ)管理系統(tǒng)

    科研行業(yè)數(shù)據(jù)系統(tǒng)多擁有海量數(shù)據(jù)，未來幾年數(shù)據(jù)量還將飛速增長(zhǎng)。這些海量數(shù)據(jù)中只有少量的數(shù)據(jù)是經(jīng)常被應(yīng)用訪問的部分，而大量的數(shù)據(jù)都具有較低的訪問頻率，如果將這些數(shù)據(jù)都存儲(chǔ)在價(jià)格很高的磁盤上，則所需要的投資是巨大的。

    分層存儲(chǔ)管理系統(tǒng)，需要實(shí)現(xiàn)的最主要的功能就是將大量不經(jīng)常使用的數(shù)據(jù)存儲(chǔ)到較低性能，但價(jià)格低廉的存儲(chǔ)設(shè)備上，通常是磁帶庫系統(tǒng)。

    在選擇分層存儲(chǔ)管理軟件時(shí)，除了考慮其本身是否能夠滿足需求外，我們重點(diǎn)還考慮了實(shí)現(xiàn)SAN共享文件系統(tǒng)的軟件與實(shí)現(xiàn)數(shù)據(jù)遷移的存儲(chǔ)管理軟件是否有機(jī)的集成在一起，以及選擇的存儲(chǔ)管理軟件是否支持大數(shù)據(jù)量、高訪問量的要求。

    智能存儲(chǔ)系統(tǒng)需要保證關(guān)鍵數(shù)據(jù)始終可以訪問，并具有可靠的數(shù)據(jù)完整性，而不管有任何資源限制。方案推薦使用ADIC StorNext Storage Manager軟件，通過用戶定義的策略，StorNext SM 能夠?qū)㈥P(guān)鍵數(shù)據(jù)存儲(chǔ)在高性能介質(zhì)上，將低優(yōu)先級(jí)數(shù)據(jù)存儲(chǔ)在較慢的介質(zhì)上，從而在訪問需求和可用容量之間實(shí)現(xiàn)平衡。對(duì)于數(shù)據(jù)完整性，StorNext SM 提供了關(guān)鍵的數(shù)據(jù)保護(hù)選項(xiàng)，例如版本確定、文件復(fù)制和介質(zhì)復(fù)制。

    隨著數(shù)據(jù)量不斷增長(zhǎng)，要求企業(yè)更好地利用存儲(chǔ)資源的壓力也在增長(zhǎng)。通過使用 StorNext SM 的策略,根據(jù)隨時(shí)間推移所需的服務(wù)質(zhì)量 (QoS) 級(jí)別管理磁盤和磁帶系統(tǒng)之間的數(shù)據(jù)移動(dòng)，用戶可以規(guī)劃不同數(shù)據(jù)類別的整個(gè)生命周期，其結(jié)果是提供了一個(gè)可輕松地?cái)U(kuò)展，并能讓用戶以最大的靈活性和最小的中斷處理不斷增長(zhǎng)的數(shù)據(jù)量的系統(tǒng)。

    特別是，StorNext Storage Manager (StorNext SM) 能夠與 StorNext File System 配合工作，提供自動(dòng)化的數(shù)據(jù)放置和保護(hù)。StorNext SM 具有一個(gè)實(shí)時(shí)策略引擎，能使企業(yè)為不同的數(shù)據(jù)類別設(shè)置預(yù)定義的服務(wù)級(jí)別。這些策略能夠隨時(shí)間推移確定將數(shù)據(jù)存儲(chǔ)在什么地方（RAID、ATA 磁盤或磁帶上）。具有文件復(fù)制、版本確定和離線介質(zhì)管理等功能，提供增加的數(shù)據(jù)保護(hù)。結(jié)果是一個(gè)可靠的自動(dòng)化系統(tǒng)，能夠?yàn)橛脩魩砣缦潞锰帲?/P>

（1）釋放管理員時(shí)間

（2）優(yōu)化存儲(chǔ)資源利用率

（3）保護(hù)數(shù)據(jù)完整性

（4）提高數(shù)據(jù)安全性

軟件存儲(chǔ)平臺(tái)選型

    實(shí)現(xiàn)SAN共享文件系統(tǒng)與數(shù)據(jù)遷移有多種相應(yīng)的存儲(chǔ)管理軟件，但將具有兩種功能的存儲(chǔ)管理軟件實(shí)現(xiàn)有機(jī)集成卻不是每一種產(chǎn)品都能夠滿足的，有些還是相互排斥的。

    采用日志型文件系統(tǒng)是實(shí)現(xiàn)故障快速恢復(fù)的基礎(chǔ)，是數(shù)據(jù)中心海量文件系統(tǒng)的最基本的要求，如IBM SANergy就不是日志型文件系統(tǒng)，因此我們不予采用。另外，海量數(shù)據(jù)的遷移，對(duì)數(shù)據(jù)保護(hù)的要求也很高，例如，分層存儲(chǔ)系統(tǒng)是否支持離線介質(zhì)管理、支持磁帶拷貝和存儲(chǔ)介質(zhì)遷移、文件可以同時(shí)復(fù)制到多盤磁帶中、文件可以保留多種版本，這些都是需要考慮的問題。有的文件系統(tǒng)配合使用的數(shù)據(jù)遷移軟件本身不具備數(shù)據(jù)保護(hù)的功能或者數(shù)據(jù)保護(hù)的功能不能完全滿足需求，需要其它的產(chǎn)品配合等，也不能采用。

    考慮到上述問題，方案推薦使用ADIC StorNext Management Suite（SNMS）智能存儲(chǔ)管理系統(tǒng)。ADIC StorNext Management Suite（SNMS）包括兩個(gè)組件：StorNext File System（SAN共享文件系統(tǒng)）；StorNext™ Storage Manager（基于策略控制的數(shù)據(jù)存儲(chǔ)管理）。ADIC StorNext Management Suite（SNMS）將SAN共享文件系統(tǒng)與數(shù)據(jù)遷移，特別是數(shù)據(jù)保護(hù)技術(shù)有機(jī)的結(jié)合在一起，實(shí)現(xiàn)了智能存儲(chǔ)系統(tǒng)所需的各個(gè)需求的有機(jī)整合。

解決方案特點(diǎn)

¨         各SAN主機(jī)高速共享訪問大型多媒體文件

¨         優(yōu)化組合各種磁盤資源，并發(fā)訪問多個(gè)磁盤設(shè)備，使系統(tǒng)充分利用SAN的高性能

¨         同時(shí)支持不同的主機(jī)平臺(tái)（UNIX，Linux，Windows）

¨         支持XDSM數(shù)據(jù)管理規(guī)范

¨         可以存儲(chǔ)和管理海量大型多媒體文件

¨         支持大量SAN主機(jī)以本地I/O方式，同時(shí)訪問同一個(gè)文件

¨         快速訪問可移動(dòng)存儲(chǔ)介質(zhì)（磁帶）當(dāng)中的數(shù)據(jù)：充分發(fā)揮高速磁帶機(jī)和SAN存儲(chǔ)網(wǎng)絡(luò)的能力。

¨         管理多級(jí)存儲(chǔ)空間的能力（昂貴磁盤陣列、廉價(jià)磁盤組、磁帶庫和磁帶架）

¨         支持多種類型的磁帶機(jī)驅(qū)動(dòng)器技術(shù)（LTO、AIT、3590、9×40等）

¨         兼容IEEE MSRM V4標(biāo)準(zhǔn)

¨         提供以下服務(wù)：

o        虛擬磁盤空間（擴(kuò)展系統(tǒng)存儲(chǔ)空間）

o        數(shù)據(jù)復(fù)制（保證數(shù)據(jù)安全）

o        數(shù)據(jù)恢復(fù)（多版本保存、反刪除、反破壞）

o        歸檔備份（滿足一次寫，很少讀的應(yīng)用）

¨         提供訪問共享的磁帶庫和磁帶機(jī)的機(jī)制

¨         支持不同控制類型的磁帶庫（FC、SCSI或網(wǎng)絡(luò)控制的ADIC Scalar和AML系列磁帶庫，以及STK公司的磁帶庫）。可以同時(shí)管理多臺(tái)磁帶庫。

¨         在同一個(gè)磁帶庫中管理不同類型的磁帶機(jī)和磁帶介質(zhì)

¨         支持磁帶庫的條形碼掃描功能

¨         支持對(duì)拿出磁帶庫的磁帶介質(zhì)的跟蹤和管理

    綜上所述，StorNext Management Suite將SAN文件系統(tǒng)和HSM遷移系統(tǒng)在SAN環(huán)境下透明地結(jié)合在了一起，對(duì)存儲(chǔ)管理科研數(shù)據(jù)資料?要求長(zhǎng)期保存、不變的數(shù)據(jù)，提供一個(gè)高效、完整的解決方案。用戶不必再拿不同廠商的產(chǎn)品拼湊一個(gè)有很多潛在問題的解決方案（各產(chǎn)品間的兼容、升級(jí)、性能等等）。

同有科研行業(yè)客戶案例

1.       中國科學(xué)院地理科學(xué)與資源數(shù)據(jù)中心

2.       中國科學(xué)院電子研究所

3.       電子科技集團(tuán)第38研究所

4.       電子科技集團(tuán)第28研究所

5.       電子科技集團(tuán)第29研究所

多易