圖 11-2 數(shù)據(jù)中心建設概況
11.4.1 系統(tǒng)總體結構圖
根據(jù)數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設需求分析，系統(tǒng)總體結構（圖11-2）描述如下：
圖 11-2 數(shù)據(jù)中心建設概況
本項目的存儲網(wǎng)絡架構圖，通過SAN 能夠將多種數(shù)據(jù)應用全面整合起來，其中后端的陣列是整個系統(tǒng)的核心，所有的業(yè)務數(shù)據(jù)都存在該陣列中，因此陣列本身需要完全冗余架構和極高的吞吐性能；SAN 網(wǎng)絡采用dual Fabric 設計，采用兩臺交換機構成冗余的存儲網(wǎng)絡；每臺主機（關鍵業(yè)務）可以采用兩塊（甚至更多）HBA 跨接到兩臺SAN 交換機上，做的主機到存儲接口冗余；主機層采用HA 配置，因此整個系統(tǒng)是高效而全冗余的。同時也能夠平滑過渡到下階段的容災系統(tǒng)。
備份系統(tǒng)也跨接到SAN 網(wǎng)絡上，這樣所有的備份工作可以大大減輕對于生產(chǎn)網(wǎng)絡的影響，主機直接通過SAN 將數(shù)據(jù)讀出并寫到帶庫，完全采用FC/SCSI 協(xié)議。
在上述架構中，后端的磁盤陣列采用高性能磁盤陣列，作為綜合存儲磁盤陣列。該磁盤陣列代表當時行業(yè)的最佳性能、100%數(shù)據(jù)可用性，以及功能豐富的管理軟件。
11.4.2 數(shù)據(jù)庫服務器設計
11.4.2.1 數(shù)據(jù)庫系統(tǒng)結構
數(shù)據(jù)庫服務平臺主要采用動態(tài)分區(qū)、多機集群、并行數(shù)據(jù)庫等技術，實現(xiàn)多臺數(shù)據(jù)庫主機同時并行訪問數(shù)據(jù)庫，應用可以根據(jù)需求均衡到不同主機資源上同時工作，多機互為備份。這種機制依靠系統(tǒng)提供的系統(tǒng)硬件、操作系統(tǒng)集群軟件、與數(shù)據(jù)庫提供的并行技術來滿足要求。數(shù)據(jù)庫支持數(shù)據(jù)分區(qū)技術，通過數(shù)據(jù)庫分區(qū)技術提高查詢效率。同時，與數(shù)據(jù)庫服務平臺相配合，采用專用數(shù)據(jù)采集處理服務器，負責數(shù)據(jù)采集工作，各數(shù)據(jù)庫的數(shù)據(jù)采取分別匯集，單點入庫的數(shù)據(jù)更新策略。
數(shù)據(jù)庫服務器系統(tǒng)圖如下：
圖 11-3 數(shù)據(jù)服務器示意圖，以IBM 產(chǎn)品為例
數(shù)據(jù)庫服務器選用高性能UNIX 服務器，每臺 高性能UNIX 服務器劃分成2 個分區(qū)，每個分區(qū)配置8 路1.7GHz CPU、16GB 內存、2 塊千兆光纖網(wǎng)卡、2 塊15000 轉73G 硬盤、2 塊2GB 光纖通道卡。對應分區(qū)通過 HACMP 軟件實現(xiàn)群集。
根據(jù)設計要求：“當前配置tpmC =(TPMC 基準值* 實際CPU 數(shù)目* 實際CPU 主頻)/ (基準CPU 數(shù)目*基準CPU 主頻)”
(768,839*16*1.7)/(32*1.7)=384,420tpmC
數(shù)據(jù)來源www.tpc.org
11.4.3 存儲系統(tǒng)設計
11.4.3.1 存儲系統(tǒng)結構
圖 11-4 網(wǎng)絡存儲結構圖
上圖為數(shù)據(jù)存儲部分的系統(tǒng)架構示意圖。
整體架構采用SAN-存儲局域網(wǎng)的架構搭建，分為主機、交換機和存儲設備三個層面：
1、主機層面
前端服務器每臺通過兩塊光纖卡（以下簡稱HBA 卡）跨接到兩臺光纖交換機上，構成冗余鏈路；
2、光纖交換機
利用兩臺16 口光纖交換機作為SAN 的骨干設備，連接主機和存儲設備；
3、存儲設備
主存儲設備：核心磁盤陣列存儲所有系統(tǒng)的數(shù)據(jù)。該磁盤陣列通過1 對（2 塊）接口卡分別跨接到兩臺光纖交換機上，構成冗余鏈路
近線存儲設備：近線備份目標磁盤陣列使用采用STAT 磁盤的廉價磁盤陣列，離線備份目標帶庫采用設計方案已有的帶庫。
11.4.3.2 主存儲系統(tǒng)方案
目前存儲區(qū)域網(wǎng)（SAN）是解決海量存儲問題的主流解決方案，也是本項目建設要求的解決方案，同時也支持NAS 方式。數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設數(shù)據(jù)庫及其應用系統(tǒng)相關的數(shù)據(jù)庫即將統(tǒng)一存儲到大容量高性能的存儲設備上，存儲設備與主機群之間通過SAN光纖交換機互聯(lián)（具有冗余聯(lián)接），同時數(shù)據(jù)備份設備也通過光纖交換機聯(lián)接以提高備份效率，減輕網(wǎng)絡和主機的壓力。
在本方案中，存儲工程師使用高檔全光纖磁盤陣列為主存儲系統(tǒng)，從用戶的投資、需求綜合分析，推薦了極佳的性能價格比的產(chǎn)品，用戶可以根據(jù)性能要求、擴展性要求、價格需求等因素來選擇。
根據(jù)數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設該設計的需求，為了提高主磁盤陣列的性能，在該設計中推薦配備15000RPM 的73GB 磁盤。
磁盤陣列在各方面均應充分擴展，并能夠充分滿足今后業(yè)務發(fā)展過程中數(shù)據(jù)遷移、系統(tǒng)容災的要求：
1）硬件方面
所有重要部分均應在線擴容??前端接口、磁盤控制卡、緩存、磁盤等。
2）軟件方面
可選擇不同的軟件實現(xiàn)性能優(yōu)化、數(shù)據(jù)遷移和數(shù)據(jù)容災等：
3）所有維護和擴容均應在用戶現(xiàn)場、不中斷應用的情況下完成
11.4.3.3 近線備份系統(tǒng)
傳統(tǒng)的數(shù)據(jù)存儲一般分為在線(On-line)存儲及離線(Off-line)存儲兩級存儲方式。所謂在線存儲就是指將數(shù)據(jù)存放在磁盤系統(tǒng)上，而離線則是指將數(shù)據(jù)備份到磁帶上。硬盤的優(yōu)點是速度快，特別是隨機訪問能力強，但單位容量成本高，適合需要頻繁訪問的數(shù)據(jù)存儲；磁帶善于傳輸流式數(shù)據(jù)，介質與驅動器相分離的特性決定了其單位容量成本低廉，保存數(shù)據(jù)的安全性也較高，適合數(shù)據(jù)備份。
但隨著數(shù)據(jù)量的猛增，這種只使用在線和離線兩級存儲的策略已經(jīng)不能適應企業(yè)的需求。一方面，用戶有越來越多的數(shù)據(jù)在一定時期內仍需要訪問，如果備份到磁帶上，則讀取的速度太慢，而保持在線狀態(tài)，又會因訪問頻度不高而占用寶貴的存儲空間；另一方面，用戶要求“備份窗口”越來越小，備份設備要具有更快的速度，以縮短備份時間，而帶基設備與盤基設備相比還不夠快。
由此產(chǎn)生了數(shù)據(jù)的分級存儲管理（HierarchicalStorageManagement，HSM）。分級存儲管理是一種將非在線存儲與在線存儲融合的技術。它以數(shù)據(jù)生命周期的不同階段來決定存儲的位置，從而在在線存儲與離線存儲之間誕生了第三種存儲方式—-近線(Near-line)存儲，使存儲網(wǎng)絡從“在線–離線”的兩級架構向“在線–近線–離線”的三級架構演變。近線存儲的特點是性能接近在線存儲，而成本接近離線存儲。
根據(jù)大型信息數(shù)據(jù)庫存儲系統(tǒng)分析結果，存儲容量約為16TB，考慮適當冗余和“快照”備份，存儲陣列實配容量應大于20TB，存儲陣列最大擴展容量應不低于64TB。
基于存儲區(qū)域網(wǎng)技術，滿足數(shù)據(jù)中心形式的信息數(shù)據(jù)庫建設數(shù)據(jù)庫和應用系統(tǒng)相關數(shù)據(jù)庫，以及運行于其上的業(yè)務系統(tǒng)、查詢系統(tǒng)、數(shù)據(jù)分析系統(tǒng)的要求，必須增強數(shù)據(jù)存儲核心，選擇高性能存儲陣列，LUN 數(shù)量應≥2048，系統(tǒng)IOPS≥240000（吞吐量大于1540 M/S）。
其基本性能需求分析如下：
1、在存儲系統(tǒng)中，處理器主要完成I/O 處理、Cache 控制管理、數(shù)據(jù)傳輸控制以及一些智能化的軟件運行功能，處理器的能力直接影響到整個存儲系統(tǒng)的性能。考慮到不同廠商存儲所采用的CPU 性能差異較大、主處理器所承擔的任務也有所區(qū)別，應在給出實際處理器配置數(shù)量的同時給出性能指標、承載任務分析，CPU 實配數(shù)量不低于16 個。
2、磁盤本身性能也決定存儲系統(tǒng)整體性能，通常磁盤性能以轉速、尋道時間等技術指標衡量，考慮到性價比，推薦采用15K rpm 的磁盤。
3、對于數(shù)據(jù)庫等大數(shù)據(jù)量訪問應用，緩存越大，性能越好，本項目實配存儲容量應與Cache 的容量配置成比例配置，按大于16GB 考慮，最大可擴展到128GB。
11.4.4 負載均衡系統(tǒng)設計
考慮到系統(tǒng)的高并發(fā)訪問量和系統(tǒng)應用需求的快速增長，項目建設明確制定了Web 服務層、應用服務層規(guī)劃：走橫向擴容、持續(xù)發(fā)展的道路，以服務器群、交易中間件滿足不斷增長且趨于復雜化的用戶訪問請求、提高訪問處理和響應能力。遵循這一規(guī)劃，Web 信息發(fā)布層、應用服務層考慮了以下因素：
1、支持橫向擴容的負載均衡器。
2、提高系統(tǒng)可靠性的集群或熱備技術應用
3、各層服務器本身構架、性能、配置要滿足需求。
本系統(tǒng)中采用業(yè)界領先的全千兆負載均衡解決方案：（千兆光纖端口+千兆以太網(wǎng)端口）方案中，可以采用兩臺 IP 應用交換機BIGIP 安全流量交換機6400 作為冗余，為中間件服務器和應用服務器做負載均衡，并且SSL 加速功能。所有服務器均配置冗余千兆網(wǎng)卡與兩臺BIGIP6400 相連，這樣無論是其中的一個服務器網(wǎng)卡故障還是一臺BIGIP6400 故障，都不影響業(yè)務的正常運行。
圖11-5 負載均衡設計圖
方案的特色：
11.4.5 應用服務器、瀏覽服務器和數(shù)據(jù)處理前置機設計
應用服務器層主要負責業(yè)務邏輯處理，用戶請求的連接處理和數(shù)據(jù)庫端或其他應用系統(tǒng)的連接處理，以及業(yè)務處理過程實現(xiàn)。用戶多層體系結構要求應用服務器與Web 服務器物理獨立，考慮到應用服務器對處理能力、系統(tǒng)穩(wěn)定性的要求均大大高于數(shù)據(jù)表現(xiàn)層，關鍵應用采用Unix 服務器，其他應用可考慮刀片式微機服務器，建立多機集群環(huán)境。
本方案中間一的應用服務器采用中檔UNIX 服務器，實配單臺處理能力不低于70000tpmC，中檔UNIX 服務器 采用4 路1.45GHz CPU（可擴≥8 路），8GB 內存（可擴≥64GB），73G 硬盤2 塊，4 塊千兆光纖網(wǎng)卡。
瀏覽服務器群和數(shù)據(jù)處理前置機采用工業(yè)級刀片服務器，每臺配置2 路Xeon MP2.7GHz CPU（可擴≥4 路），8GB 內存，2 塊73GB 硬盤，2 塊2GB 千兆光纖通道卡。系統(tǒng)架構中該層面應不少于2 臺小型機，4 臺微機服務器，以滿足峰值下信息訪問的需求。
