作為一個(gè)能夠?qū)崟r(shí)為使用者提供大量信息的多媒體信息系統(tǒng)，我社多媒體信息數(shù)據(jù)庫(kù)系統(tǒng)包括了大型服務(wù)器SUN E10000、Oracle數(shù)據(jù)庫(kù)、EMC存儲(chǔ)磁盤(pán)陣列、ADIC磁帶庫(kù)、App Servers和Web Server環(huán)境及其應(yīng)用等一系列軟硬件設(shè)備，系統(tǒng)結(jié)構(gòu)相當(dāng)復(fù)雜；同時(shí)本系統(tǒng)的數(shù)據(jù)量也非常龐大，用戶訪問(wèn)量不斷增加。如何實(shí)施安全高效的數(shù)據(jù)存儲(chǔ)與全局管理，讓用戶隨時(shí)都可以合理、高效、安全、可靠地利用這些數(shù)據(jù)資料，避免因突發(fā)事件導(dǎo)致系統(tǒng)不可用或數(shù)據(jù)毀壞丟失，是我們建設(shè)數(shù)據(jù)存儲(chǔ)系統(tǒng)時(shí)要解決的關(guān)鍵問(wèn)題。
 
    為確保這些數(shù)據(jù)的萬(wàn)無(wú)一失，主機(jī)擴(kuò)容和備份項(xiàng)目組本著著眼應(yīng)用需求、注重開(kāi)放性及可擴(kuò)展性、避免投資浪費(fèi)等標(biāo)準(zhǔn)，基于不斷擴(kuò)展、穩(wěn)步推進(jìn)的實(shí)施策略，從眾多廠商中選擇與VERITAS公司合作，分三個(gè)階段實(shí)施了數(shù)據(jù)保護(hù)及高可用性解決方案。

    在整個(gè)項(xiàng)目實(shí)施的第一階段，我們采用了集中存放、多級(jí)存儲(chǔ)的方式來(lái)組織管理多媒體信息數(shù)據(jù)庫(kù)的數(shù)據(jù)。系統(tǒng)結(jié)構(gòu)如下圖所示：

    從圖中可以看出：SUN E10K通過(guò)主備方式劃分成為２個(gè)域（Domain1與Domain2）形成集群環(huán)境，并通過(guò)２條心跳線進(jìn)行探測(cè)性通訊，以保證主機(jī)系統(tǒng)的高可靠性；EMC Symmetrix通過(guò)光纖以冗余方式連接在E10K的2個(gè)域上，并在盤(pán)陣的內(nèi)部做硬件級(jí)的RAID 1的鏡象保護(hù)，提供在磁盤(pán)系統(tǒng)的高可靠性；ADIC磁帶庫(kù)的機(jī)械手和磁帶機(jī)均通過(guò)SCSI Channel連接到２個(gè)分區(qū)上形成冗余連接，以提供帶庫(kù)硬件的故障切換基礎(chǔ)。

    我們采用了VERITAS Cluster Server集群軟件對(duì)SUN E10K的兩個(gè)分區(qū)進(jìn)行保護(hù)。實(shí)施效果表明：這樣可以構(gòu)造SUN E10K主機(jī)和EMC的Symmetrix存儲(chǔ)子系統(tǒng)的高可用性系統(tǒng)，保證本地業(yè)務(wù)運(yùn)行不間斷，進(jìn)而很好地達(dá)到了雙機(jī)熱備份的目的。

    同時(shí)，考慮到對(duì)現(xiàn)有及今后增加的磁盤(pán)陣列都需要進(jìn)行在線管理，我們采用了VERITAS Volume Manager（卷管理器）來(lái)實(shí)現(xiàn)對(duì)磁盤(pán)陣列的靈活有效管理。無(wú)論是原來(lái)的SCSI模式，還是將來(lái)的SAN模式，也無(wú)論是現(xiàn)有的EMC單一存儲(chǔ)系統(tǒng)，還是將來(lái)可能增加的多品牌存儲(chǔ)系統(tǒng)，在VERITAS Volume Manager的管理之下，都可以通過(guò)統(tǒng)一接口實(shí)現(xiàn)對(duì)各種磁盤(pán)陣列的支持，并在不同的磁盤(pán)陣列之間提供Raid0,1,0+1,1+0,5等各種軟件容錯(cuò)方案，同時(shí)支持SCSI模式到SAN模式的在線轉(zhuǎn)換，轉(zhuǎn)換前后也無(wú)需對(duì)應(yīng)用及數(shù)據(jù)庫(kù)作任何改動(dòng)。

    第一階段的項(xiàng)目實(shí)施完畢后，對(duì)于當(dāng)時(shí)的應(yīng)用而言，存儲(chǔ)系統(tǒng)是一個(gè)效率好、可靠性高、可擴(kuò)展的數(shù)據(jù)存儲(chǔ)體系結(jié)構(gòu)。但根據(jù)我們的估算，未來(lái)3年內(nèi)盤(pán)陣上存放的數(shù)據(jù)量將達(dá)到2-3TB，而現(xiàn)有系統(tǒng)架構(gòu)中的盤(pán)陣與磁帶庫(kù)并存、主機(jī)連接直接存儲(chǔ)的結(jié)構(gòu)都局限了整個(gè)系統(tǒng)的效率和資源，我們必須在下一階段的建設(shè)中突破現(xiàn)有的硬件瓶頸，通過(guò)軟件技術(shù)構(gòu)造一個(gè)更加完善的存儲(chǔ)系統(tǒng)，進(jìn)一步提高系統(tǒng)性能和可靠性。

    在第一階段利用VERITAS Cluster Server和VERITAS Volume Manager實(shí)現(xiàn)了系統(tǒng)高可用性及磁盤(pán)陣列的靈活有效管理之后，不斷增長(zhǎng)的數(shù)據(jù)量要求我們必須突破硬件瓶頸，利用VERITAS的軟件技術(shù)進(jìn)一步提高系統(tǒng)性能和可靠性。

    為此，我們?cè)诘诙A段采用了SAN架構(gòu)下的LAN Free備份模式：借助VERITAS的磁帶存儲(chǔ)資源共享（SSO）技術(shù)，任何一臺(tái)服務(wù)器都可將數(shù)據(jù)從磁盤(pán)直接寫(xiě)入磁帶庫(kù)，快速完成海量數(shù)據(jù)的備份。另一方面，由于數(shù)據(jù)流可直接從磁盤(pán)陣列傳到帶庫(kù)內(nèi)，無(wú)需占用網(wǎng)絡(luò)帶寬，因此在實(shí)現(xiàn)Oracle數(shù)據(jù)庫(kù)在線熱備份的同時(shí)不會(huì)影響數(shù)據(jù)的傳輸效率，確保了業(yè)務(wù)的連續(xù)性。

    LAN Free模式的成功實(shí)施得益于我們?cè)诘谝浑A段采用了擴(kuò)展性極強(qiáng)的VERITAS NetBackup備份軟件。與其他備份管理軟件常見(jiàn)的C/S二層結(jié)構(gòu)要擴(kuò)展時(shí)必須增加多個(gè)主機(jī)服務(wù)器相比，NetBackup具有獨(dú)特的三層架構(gòu)，我們?cè)跀U(kuò)展新的應(yīng)用時(shí)只需要增加一個(gè)介質(zhì)服務(wù)器，而所有的備份管理都可以在原來(lái)的主服務(wù)器上實(shí)現(xiàn)。

    第二期項(xiàng)目實(shí)施完畢后， SUN E10K主機(jī)作為多媒體數(shù)據(jù)庫(kù)系統(tǒng)最主要的數(shù)據(jù)處理中心，承擔(dān)了提供外部訪問(wèn)服務(wù)、接受新上傳的圖片文件等工作。我們?cè)谶@臺(tái)主機(jī)上劃分了兩個(gè)分區(qū)（Domain1和Domain2）， 數(shù)據(jù)庫(kù)和應(yīng)用都在Domain1上運(yùn)行。如果Domain1出現(xiàn)問(wèn)題，系統(tǒng)會(huì)通過(guò)VERITAS Cluster Server將數(shù)據(jù)庫(kù)及應(yīng)用服務(wù)自動(dòng)切換到Domain 2上。由于目前的數(shù)據(jù)訪問(wèn)為獨(dú)占的方式，即只能由一臺(tái)機(jī)器對(duì)數(shù)據(jù)進(jìn)行讀寫(xiě)，因此大量的數(shù)據(jù)備份工作均由Domain 1完成。這樣一來(lái)，Domain 1需要備份的數(shù)據(jù)量非常大，容易導(dǎo)致備份期間系統(tǒng)性能的下降，影響系統(tǒng)提供正常的服務(wù)；另一方面由于系統(tǒng)中的其他主機(jī)無(wú)法訪問(wèn)這些數(shù)據(jù)，也就無(wú)法分擔(dān)Domain 1的工作，使Domain 1負(fù)載過(guò)大。而當(dāng)Domain 1出現(xiàn)問(wèn)題需要將任務(wù)切換到Domain 2時(shí)，文件系統(tǒng)和邏輯卷的修復(fù)會(huì)導(dǎo)致相當(dāng)長(zhǎng)的應(yīng)用切換時(shí)間，也會(huì)影響系統(tǒng)的正常運(yùn)行。

    針對(duì)上述問(wèn)題，我們采用了VERITAS的共享文件系統(tǒng)產(chǎn)品 SPFS / HA，提供一種系統(tǒng)負(fù)載分?jǐn)倷C(jī)制，在減輕Domain 1壓力的同時(shí)提升系統(tǒng)的故障切換效率。具體實(shí)現(xiàn)方式如下圖所示：

    圖中的Domain 3是我們新增加的BCV管理控制系統(tǒng)。3個(gè)Domain在VERITAS SANPoint Foundation SuiteTM HA的管理下，均可通過(guò)SAN光纖高速并行訪問(wèn)共享的文件。在這種模式下，無(wú)需對(duì)現(xiàn)有的應(yīng)用程序進(jìn)行修改，Domain 2即可承擔(dān)Domain1的部分中圖的處理工作。在數(shù)據(jù)共享后，Domain 1、2可以共同提供新聞數(shù)據(jù)的訪問(wèn)工作。同時(shí)由于另一個(gè)服務(wù)器只需要重新啟動(dòng)失效的服務(wù)器應(yīng)用程序，而不需要輸出和安裝文件系統(tǒng)和邏輯卷，所以能大大減少應(yīng)用程序的故障切換時(shí)間。利用SPFS/HA多服務(wù)共享文件和數(shù)據(jù)的能力，可以讓?xiě)?yīng)用服務(wù)和數(shù)據(jù)備份服務(wù)分布在不同的服務(wù)器上，極大地縮減了計(jì)劃內(nèi)應(yīng)用系統(tǒng)維護(hù)所造成的數(shù)據(jù)庫(kù)服務(wù)器的停機(jī)時(shí)間。

    為進(jìn)一步提高系統(tǒng)性能，我們還采用了VERITAS NetBackup ServerFree產(chǎn)品，借助系統(tǒng)靜默、Frozen Image Service、映射（Mapping）等關(guān)鍵技術(shù)，使備份的數(shù)據(jù)流不再經(jīng)過(guò)Domain 1和Domain 2，而是由備份代理直接從磁盤(pán)讀取數(shù)據(jù)后再備份到帶庫(kù)上。這樣，備份的大部分任務(wù)就被轉(zhuǎn)移到了一臺(tái)單獨(dú)的備份代理上，大大減輕了備份作業(yè)對(duì)于Domain 1和Domain 2性能的影響。

    至此，我社多媒體信息系統(tǒng)的備份解決方案基本實(shí)施完畢?？v觀整個(gè)項(xiàng)目實(shí)施的三個(gè)階段，不難發(fā)現(xiàn)每個(gè)階段之間是相互關(guān)聯(lián)、環(huán)環(huán)相扣的。這一方面得益于我們遵循了整體布局、層層推進(jìn)的策略，另一方面VERITAS解決方案所具有的良好可擴(kuò)展性也尤為重要。隨著我社業(yè)務(wù)的擴(kuò)展以及對(duì)系統(tǒng)結(jié)構(gòu)的完善，今后我們將借助不斷發(fā)展的存儲(chǔ)技術(shù)，建立集中、有序、安全、高效的數(shù)據(jù)管理系統(tǒng)。

多易