SRDF 多跳式遠程災(zāi)備系統(tǒng) （multi hop）
江蘇移動BOSS容災(zāi)備份系統(tǒng)架構(gòu)
如圖所示，江蘇移動的BOSS系統(tǒng)的容災(zāi)備份系統(tǒng)在連接BOSS系統(tǒng)的同時，還與采集、漫游結(jié)算中心、營業(yè)廳、網(wǎng)上營業(yè)廳、銀行、HLR/AUC、1860/1861、秘書臺等外圍接口互連。生產(chǎn)中心和容災(zāi)中心不僅有高速網(wǎng)絡(luò)互連，還有存儲級的鏈路互連。
整個BOSS系統(tǒng)包含采集、計費、網(wǎng)間結(jié)算、帳務(wù)處理、帳務(wù)管理、客服管理、統(tǒng)計分析等子系統(tǒng)，從涉及范圍、數(shù)據(jù)完整性、客戶滿意度、公司經(jīng)濟損失等方面來分析、評估BOSS系統(tǒng)發(fā)生災(zāi)難時對公司業(yè)務(wù)發(fā)展和業(yè)務(wù)運營的影響程度來看，采集、計費（含采集、漫游結(jié)算）、帳務(wù)管理、帳務(wù)管理、客服管理（營業(yè)）等系統(tǒng)屬于關(guān)鍵業(yè)務(wù)系統(tǒng)，其數(shù)據(jù)的完整性和恢復(fù)及時性要求比較高，長時間的中斷會對客戶服務(wù)、業(yè)務(wù)受理造成直接或間接影響，直接導(dǎo)致經(jīng)濟損失，影響公司的信譽和市場競爭力，導(dǎo)致市場占有率和客戶滿意度下降，影響客戶發(fā)展和業(yè)務(wù)開展。統(tǒng)計分析、網(wǎng)間結(jié)算則屬于非關(guān)鍵業(yè)務(wù)系統(tǒng)，其數(shù)據(jù)的完整性和恢復(fù)及時性要求不高。BOSS系統(tǒng)管理子系統(tǒng)承擔(dān)了系統(tǒng)運行維護管理功能，其數(shù)據(jù)的完整性不是十分重要，但是系統(tǒng)恢復(fù)及時性比較高。其長時間的中斷不產(chǎn)生直接的經(jīng)濟損失，但是會有間接損失，如把握不住市場經(jīng)營和競爭情況，無法抓住商機等。
下面的表格量化了BOSS災(zāi)難對業(yè)務(wù)的影響,將業(yè)務(wù)影響涉及的范圍、數(shù)據(jù)的完整性、客戶投訴、公司經(jīng)濟損失等影響級別分為5個等級，分別用1～5來表示，1級別最高，5級最低。
根據(jù)對業(yè)務(wù)系統(tǒng)特性的分析，江蘇移動要求BOSS關(guān)鍵業(yè)務(wù)系統(tǒng)（含采集、計費、帳務(wù)、營業(yè)子系統(tǒng)）的容災(zāi)備份RTO指標(biāo)<4小時，RPO指標(biāo)=0；非關(guān)鍵業(yè)務(wù)系統(tǒng)（報表、結(jié)算系統(tǒng)）RTO指標(biāo)<24小時；客戶資料和話單達到零丟失；可以防止地震、火災(zāi)、水災(zāi)、恐怖襲擊、爆炸等高破壞性的災(zāi)難；能發(fā)充分發(fā)揮容災(zāi)備份中心的設(shè)備資源利用率。
江蘇移動BOSS系統(tǒng)目前支持的移動用戶多，業(yè)務(wù)數(shù)據(jù)量大（天業(yè)務(wù)量超過100萬筆，每天話單處理量超過1.2億條，每天數(shù)據(jù)庫歸檔日志超過800GB），中心機房距離生產(chǎn)中心的距離遠，如此大量的數(shù)據(jù)通過遠距傳輸不但使得許多同城容災(zāi)備份技術(shù)無法使用，而且也影響網(wǎng)絡(luò)響應(yīng)速度。對容災(zāi)備份數(shù)據(jù)進行分類對關(guān)鍵業(yè)務(wù)數(shù)據(jù)進行同步備份，而非關(guān)鍵數(shù)據(jù)進行非同步備份顯得很為必要，如采集、計費、帳務(wù)、結(jié)算、報表屬于典型的Batch業(yè)務(wù)，營業(yè)則屬于典型的OLTP。
江蘇移動對于容災(zāi)備份系統(tǒng)系統(tǒng)的設(shè)計原則是：
1）關(guān)鍵業(yè)務(wù)處理能力和BOSS中心一致；2）數(shù)據(jù)狀態(tài)和BOSS保持同步；3）容災(zāi)系統(tǒng)日常維護工作盡可能輕，并能承擔(dān)部分業(yè)務(wù)處理和業(yè)務(wù)測試的工作；4）系統(tǒng)接管恢復(fù)時間要盡可能短；5）可實現(xiàn)部分業(yè)務(wù)子系統(tǒng)切換和回切；6）技術(shù)方案選擇要遵循成熟穩(wěn)定、高可靠性、可擴展性、透明性；7）系統(tǒng)方案可以選擇多種技術(shù)組合方式。
江蘇移動容災(zāi)備份方案選擇：
同步遠程災(zāi)難備份對數(shù)據(jù)保護達到最高級別，然而距離很長時線路上的延遲會很明顯，對主機性能的影響也會很大。異步遠程災(zāi)備雖然不影響生產(chǎn)系統(tǒng)的性能，但容災(zāi)中心數(shù)據(jù)會比本地生產(chǎn)端數(shù)據(jù)落后一定時間段，這個時間隨采用的技術(shù)，帶寬、距離、數(shù)據(jù)流特點的不同而不同，發(fā)生災(zāi)難時有一定的數(shù)據(jù)丟失。因此，江蘇移動采用同城同步遠程災(zāi)備（20KM）加異地異步遠程災(zāi)備（220KM）的多跳式（multi hop）遠程災(zāi)備解決方案。
目前如此先進且完善的災(zāi)備系統(tǒng)在全國還是首例，而且數(shù)據(jù)量規(guī)模之大（12TB）在國際上也不多見。因此江蘇移動對設(shè)備供應(yīng)商提出了極高的要求，不僅要提供經(jīng)驗證的產(chǎn)品而且要有強大的技術(shù)服務(wù)支持。
EMC公司是全球信息存儲領(lǐng)域領(lǐng)導(dǎo)廠商，其SRDF遠程災(zāi)備解決方案在“9.11”中幫助了25家設(shè)在世貿(mào)中心的企業(yè)成功的保護了數(shù)據(jù)，被稱為“9.11中的技術(shù)英雄”，是經(jīng)過實際考驗的成熟解決方案。EMC的存儲產(chǎn)品在銀行、保險、電信行業(yè)有廣泛應(yīng)用。中國聯(lián)通的四川、山東、江蘇、安徽、浙江等分公司，中國移動的北京、遼寧和云南分公司，以及金融行業(yè)的上海證交所、深圳證交所、光大銀行、廣東建設(shè)銀行、中國建設(shè)銀行總行、福建興業(yè)銀行、浦東發(fā)展銀行、韓國KTF、香港匯豐銀行、花旗銀行、新加坡發(fā)展銀行、BankOne等眾多企業(yè)都是EMC存儲產(chǎn)品的用戶。
江蘇移動自2001年至今與EMC公司有著長期的合作，在BOSS系統(tǒng)構(gòu)建項目上已經(jīng)采購了總?cè)萘砍^300TB的存儲設(shè)備，包括Symmetrix企業(yè)存儲系統(tǒng)系列、ECC Package和PowerPath等軟件，EMC的存儲設(shè)備成功聯(lián)接了江蘇移動原有的HP、IBM主機、Oracle數(shù)據(jù)庫，幫助江蘇移動建立起了計費、結(jié)算中心。此次又采用了EMC DMX系列存儲系統(tǒng)以及SRDF、Timefinder等存儲軟件用于容災(zāi)備份系統(tǒng)。
除了優(yōu)秀的產(chǎn)品外，江蘇移動也十分看重EMC提供的專業(yè)服務(wù)。先進的多跳災(zāi)備系統(tǒng)技術(shù)上非常復(fù)雜，沒有該領(lǐng)域的專業(yè)技能很難完成，而業(yè)內(nèi)很少有廠家能夠象EMC一樣提供專業(yè)的存儲服務(wù)。EMC為江蘇移動提供了從咨詢、評估、實施到性能調(diào)優(yōu)全面的專業(yè)服務(wù)，幫助江蘇移動更快、更好的完成了項目。
江蘇移動容災(zāi)備份系統(tǒng)的生命周期管理：
江蘇移動首先針對各業(yè)務(wù)的性質(zhì)特點，對數(shù)據(jù)的同步實行分級存儲管理。其實施原則是：對于變化頻度低的數(shù)據(jù)，如計費參數(shù)復(fù)制、操作員認證信息、關(guān)鍵配置信息等則采用基于ORACLE 9i物化視圖方式的數(shù)據(jù)復(fù)制方式。對于變化頻度比較高的數(shù)據(jù)，如前臺交易事務(wù)、話單合帳信息等，每天數(shù)據(jù)庫產(chǎn)生的歸檔日志合計就有800GB，則采用Multi-Hop容災(zāi)備份。Multi-Hop結(jié)合TimeFinder軟件提供的具有差分再同步功能的完整拷貝，以及SRDF軟件的遠程數(shù)據(jù)完整拷貝、高帶寬復(fù)制功能，可以達到具有遠程災(zāi)備功能的完全數(shù)據(jù)庫熱備。Multi-Hop的同步復(fù)制是存儲軟件實現(xiàn)的，和主機、操作系統(tǒng)、邏輯卷是分離的。多種主機、操作系統(tǒng)、邏輯卷的環(huán)境都可以通過一種存儲復(fù)制軟件實現(xiàn)容災(zāi)備份，使用的是存儲系統(tǒng)的內(nèi)部資源而不是主機的資源，因此，不占用生產(chǎn)系統(tǒng)主機資源，同時使得容災(zāi)備份系統(tǒng)在維護管理上會相對簡單。
具體的分層存儲管理方案如下：
計費系統(tǒng)是BOSS的關(guān)鍵業(yè)務(wù)，其數(shù)據(jù)的完整性和恢復(fù)及時性要求比較高。對計費采集模塊，災(zāi)備中心與生產(chǎn)中心之間采用文件數(shù)據(jù)同步。計費數(shù)據(jù)庫的數(shù)據(jù)狀態(tài)則采用數(shù)據(jù)庫物化視圖的同步機制，以減少日常維護的工作量。對于計費過濾表、漫游數(shù)據(jù)全部采用應(yīng)用軟件實現(xiàn)，垂直同步保證生產(chǎn)中心和容災(zāi)中心數(shù)據(jù)處理同步進行，水平同步保證準(zhǔn)實時同步計費過濾表、漫游數(shù)據(jù)，保證容災(zāi)中心和生產(chǎn)中心計費系統(tǒng)數(shù)據(jù)一致性。
營帳系統(tǒng)是BOSS系統(tǒng)的核心系統(tǒng)，包含了后臺帳務(wù)、前臺客服，其數(shù)據(jù)的完整性和恢復(fù)及時性要求也比較高。帳務(wù)客服數(shù)據(jù)庫的數(shù)據(jù)狀態(tài)采用智能存儲系統(tǒng)Multi-Hop的同步機制，保證數(shù)據(jù)達到零丟失，同時減少日常維護的工作量。查詢數(shù)據(jù)庫規(guī)模比較大，數(shù)據(jù)量保留大，采用出帳后的導(dǎo)入，同時對批價后的話單文件進行入庫進行處理。各種同步方案提供反向同步機制，保證接管后回切成功。
網(wǎng)間結(jié)算、統(tǒng)計分析是非關(guān)鍵業(yè)務(wù)系統(tǒng)，其數(shù)據(jù)的完整性和恢復(fù)及時性要求不高。網(wǎng)間結(jié)算數(shù)據(jù)庫的數(shù)據(jù)狀態(tài)采用定期導(dǎo)入（數(shù)據(jù)庫邏輯或物理備份恢復(fù)）的同步機制，減少日常維護的工作量。
分級存儲不僅是從成本角度對存儲進行分級，對數(shù)據(jù)信息進行分類、對存儲結(jié)構(gòu)進行劃分，同時要考慮實際應(yīng)用，考慮高、中、低各種不同的硬件平臺。對于容災(zāi)備份系統(tǒng)的數(shù)據(jù)信息存儲，江蘇移動根據(jù)數(shù)據(jù)信息的重要程度進行了分層存儲。對于營帳系統(tǒng)（帳務(wù)、客服）等核心系統(tǒng)的業(yè)務(wù)數(shù)據(jù)，總共有12TB，采用遠程同步災(zāi)難備份，放在Symmetrix DMX網(wǎng)絡(luò)存儲上，以確保繳費、開機、查詢、業(yè)務(wù)變更等BOSS關(guān)鍵業(yè)務(wù)的數(shù)據(jù)完整性和恢復(fù)及時性達到較高的要求。對于其他非關(guān)鍵業(yè)務(wù)系統(tǒng)，總共有80多TB的容量，如查詢歷史記錄等，由于其詳細清單需要在容災(zāi)中心的數(shù)據(jù)庫中保留2～3個月，不但存儲規(guī)模大，要求存儲的時間長，而且利用率也不是很頻繁，江蘇移動采用了磁帶機進行備份。根據(jù)數(shù)據(jù)的使用頻率和重要程度實施分級存儲管理的直接好處是改進了備份時間、更好的利用了備份存儲資源，降低了成本。
結(jié)束語：
BOSS系統(tǒng)是江蘇移動提高公司核心競爭力的有力武器，對江蘇移動BOSS容災(zāi)備份系統(tǒng)實施信息生命周期管理，為企業(yè)提供了一個簡單有效的方法來發(fā)現(xiàn)、評估、回收和管理文件級的利用率和可用性，可以執(zhí)行對那些不需要的備份或非業(yè)務(wù)數(shù)據(jù)的剔除，將重要數(shù)據(jù)但不活躍的數(shù)據(jù)移動到更經(jīng)濟高效的存儲介質(zhì)中，改進了備份時間、更好的利用了備份存儲資源，降低了成本。
