金稅三期系統(tǒng)采取全國應(yīng)用大集中和數(shù)據(jù)大集中模式建設(shè)，首次實現(xiàn)國、地稅軟件版本統(tǒng)一，是中國最大的電子政務(wù)系統(tǒng)，也是政府行業(yè)最大的交易類生產(chǎn)系統(tǒng)，采取總局、省局兩級部署，其中省級主要承擔(dān)金稅三期大廳、前置、地方特色和省級管理決策等系統(tǒng)與功能部署。
重慶地稅是金稅三期工程全國首家上線試點單位，按照總局工作安排，確定2013年2月22日為金稅三期單軌試運行切換時間點。在籌備單軌上線工作時，金稅三期生產(chǎn)環(huán)境部署所需硬件設(shè)備嚴(yán)重滯后，面對上線時間緊迫與地方設(shè)備采購不到位的困難，重慶地稅開展部署的同志們不等不靠，開動腦筋，按照金稅三期總體架構(gòu)要求，結(jié)合重慶地稅實際情況，發(fā)揮過去省級大集中積累的實戰(zhàn)經(jīng)驗，大膽探索，勇于創(chuàng)新，在總局金稅三期工程辦領(lǐng)導(dǎo)下，用軟實力彌補硬缺位，經(jīng)過科學(xué)論證與反復(fù)試驗，成功采用高端PC服務(wù)器整體虛擬化完成金稅三期省級大廳前置系統(tǒng)部署，經(jīng)過一個多月連續(xù)運行，生產(chǎn)環(huán)境系統(tǒng)穩(wěn)定可靠，性能滿足金稅三期設(shè)計要求，其主要思路與做法如下。
一、數(shù)據(jù)庫計算設(shè)備虛擬化部署
金稅三期數(shù)據(jù)總局大集中后，省級數(shù)據(jù)庫壓力適當(dāng)降低，從架構(gòu)設(shè)計上為了提高處理效率和避免總局出現(xiàn)性能壓力瓶頸現(xiàn)象，省局需求部署前置數(shù)據(jù)庫，因前期應(yīng)用開發(fā)公司多，為避免數(shù)據(jù)庫應(yīng)用相互干擾，部署時出現(xiàn)了數(shù)據(jù)庫系統(tǒng)需求數(shù)量較多，短期內(nèi)又難以整合的現(xiàn)象，其中省級前置數(shù)據(jù)庫和地方特色數(shù)據(jù)庫RAC部署就多達(dá)11套，這些數(shù)據(jù)庫系統(tǒng)中有個別處理性能要求較高，例如省級清分庫、查詢庫等，其它數(shù)據(jù)庫系統(tǒng)則是要求可靠性高、處理性能卻相對適中。重慶地稅作為第一個上線試點省份，還存在各數(shù)據(jù)庫應(yīng)用性能需求難以準(zhǔn)確預(yù)測的難點，鑒于過去采用小機部署數(shù)據(jù)庫存在運行環(huán)境要求高、運維難度大、采購和運維成本高、小機技術(shù)人才匱乏等不利因素，重慶地稅結(jié)合實際情況，大膽提出了采用高檔PC服務(wù)器做數(shù)據(jù)庫整體虛擬化部署方案，方案經(jīng)過專家論證，技術(shù)經(jīng)過反復(fù)測試，最后采購了16臺高檔PC服務(wù)器（配置：曙光i950r/Intel E7-8850/10核/八顆/1024G內(nèi)存/6塊1G網(wǎng)卡/2塊8GB HBA卡）做數(shù)據(jù)庫計算設(shè)備整體虛擬化部署。
據(jù)了解，采用虛擬化部署生產(chǎn)級RAC數(shù)據(jù)庫應(yīng)用案例還比較少，在全國稅務(wù)系統(tǒng)內(nèi)更無可借鑒經(jīng)驗，重慶地稅經(jīng)過反復(fù)摸索，最后總結(jié)出RAC數(shù)據(jù)庫虛擬化連接存儲系統(tǒng)時采用掛載存儲裸設(shè)備工作方式更加穩(wěn)定和高效的經(jīng)驗，金稅三期省級前置數(shù)據(jù)庫性能需求差異較大，通過虛擬化可動態(tài)調(diào)節(jié)數(shù)據(jù)庫硬件資源分配需求，甚至在極端情況下可將一臺硬件主機全部資源只分配給一個虛擬機，以運行性能要求較高的RAC節(jié)點，多數(shù)情況下可將一臺物理主機規(guī)劃為2至5個RAC節(jié)點虛擬機。因2月22日金稅三期單軌試運行時間緊迫，正式生產(chǎn)環(huán)境所需設(shè)備采購又尚未到位，重慶地稅緊急調(diào)配5臺曙光服務(wù)器（配置為64核、512G）通過虛擬化臨時承載了金稅三期省級前置11套數(shù)據(jù)庫共22個RAC節(jié)點虛擬機，實踐證明，數(shù)據(jù)庫計算設(shè)備虛擬化運行至今尚未出現(xiàn)任何穩(wěn)定性和安全性問題。
數(shù)據(jù)庫計算設(shè)備采用虛擬化部署后，還可實現(xiàn)當(dāng)數(shù)據(jù)庫性能需求增大時，待性能更高的硬件設(shè)備到位后，通過虛擬化遷移技術(shù)對RAC數(shù)據(jù)庫節(jié)點逐個離線遷移，總體確保數(shù)據(jù)庫服務(wù)不中斷；當(dāng)主機硬件出現(xiàn)異常宕機時或需要維護(hù)升級時，可將其承載的虛擬機離線遷移到其它備用計算設(shè)備上運行，滿足數(shù)據(jù)庫安全運行需要。
數(shù)據(jù)庫整體虛擬化對計算設(shè)備的配置也有適當(dāng)變化，配置更加注重CPU處理能力，包括主頻、線程、數(shù)量等；虛擬化部署數(shù)據(jù)庫的主機內(nèi)存原則上越大越好，現(xiàn)有的虛擬化軟件已可支持到至少1T主機內(nèi)存，每個虛擬機也能支持64核及1T內(nèi)存（VMware vsphere 5.1版本）；從性能和安全上考慮，HBA卡至少要2塊獨立8GB HBA卡，網(wǎng)卡一般也要求配置1G或10G網(wǎng)卡六塊以上。
二、負(fù)載均衡連接復(fù)用功能發(fā)揮出色
全國應(yīng)用大集中部署，為了避免出現(xiàn)應(yīng)用瓶頸現(xiàn)象，金稅三期架構(gòu)規(guī)劃需要部署省級大廳前置系統(tǒng)，將常用的WEB頁面和簡單邏輯校驗處理等功能前移到省級作為大廳系統(tǒng)部署，這樣既避免了WEB頁面遠(yuǎn)距離重復(fù)加載，又避免了全國上班時間集中訪問總局出現(xiàn)的后臺服務(wù)器瓶頸壓力。
重慶地稅借鑒過去省級大集中經(jīng)驗，發(fā)現(xiàn)基層同時訪問省級相同WEB頁面概率比較高，例如征期訪問申報頁面，重慶地稅果斷啟用F5負(fù)載均衡會話連接復(fù)用（One Connect）功能，大大降低了省級前置服務(wù)器會話并發(fā)壓力，將基層的3000多個并發(fā)會話（Session）請求降低至20-40個左右，大大提高了金稅三期省級大廳系統(tǒng)處理性能，實現(xiàn)總局組織的多次機器模擬和人海壓力測試均獲通過。
三、推進(jìn)金稅三期應(yīng)用計算節(jié)點整合部署
重慶地稅作為金稅三期第一個上線省份，對省級大廳、前置、地方特色等系統(tǒng)應(yīng)用節(jié)點計算資源無實戰(zhàn)經(jīng)驗值可參考，前期應(yīng)用開發(fā)公司較多，每個公司都提出了獨立的應(yīng)用計算資源需求計劃，合計起來需求數(shù)量較大，重慶地稅按照總局架構(gòu)要求，結(jié)合過去虛擬化部署經(jīng)驗，提出應(yīng)用計算資源Weblogic應(yīng)用性能可通過節(jié)點大規(guī)模部署負(fù)載均衡解決，每個Weblogic計算節(jié)點對硬件資源要求不太高，一般為4CPU/4G內(nèi)存，為節(jié)省建設(shè)資金，提高采購效率，重慶地稅提出跟標(biāo)總局64片刀片服務(wù)器（DELL M910/Intel E7-4850/512G內(nèi)存/4塊網(wǎng)卡/2塊HBA卡）的采購需求，采用整體虛化化部署方式來推進(jìn)省級大廳、前置、地方特色等系統(tǒng)應(yīng)用部署，此方案具有性價比高、運行相對穩(wěn)定的特點，刀片服務(wù)器與數(shù)據(jù)庫計算設(shè)備一樣，統(tǒng)一部署VMware虛擬化軟件，實現(xiàn)幾百乃至上千個Weblogic應(yīng)用計算節(jié)點資源池的調(diào)度能力。
四、金稅三期省級前置部署經(jīng)驗分享
1、數(shù)據(jù)庫計算設(shè)備掛載存儲系統(tǒng)時，推薦采用掛載存儲裸設(shè)備方式。如采用VMDK虛擬磁盤部署數(shù)據(jù)庫，在VMware軟件實施時需要多項復(fù)雜操作，不但磁盤I/O性能較低，且長期高負(fù)荷運行時的穩(wěn)定性也存在疑問。
2、虛擬化分區(qū)部署，金稅三期要求建設(shè)若干安全區(qū)域，重慶地稅主要建立了核心安全區(qū)、公眾服務(wù)區(qū)、橫向交換區(qū)三個虛擬化管理區(qū)，其中核心安全區(qū)需求數(shù)量最大，數(shù)據(jù)庫計算設(shè)備和應(yīng)用計算設(shè)備主要分布在該區(qū)域；公眾服務(wù)區(qū)基于安全考慮，原則上只部署應(yīng)用計算設(shè)備，用于發(fā)布WEB應(yīng)用節(jié)點；橫向交換區(qū)計算設(shè)備需求數(shù)量最少，可適當(dāng)部署數(shù)據(jù)庫和應(yīng)用計算設(shè)備。
3、系統(tǒng)存儲問題，過去存儲系統(tǒng)主要規(guī)劃用于數(shù)據(jù)庫，虛擬化部署方案基于安全漂移等考慮，規(guī)劃上還需要考慮虛擬化系統(tǒng)本身的存儲需要，其容量與數(shù)據(jù)庫大小相當(dāng)，性能適中，安全適中，一般采用Raid 5+熱備盤的配置即可。還可考慮建設(shè)專用的虛擬機備份系統(tǒng)。
4、虛擬化部署對硬件設(shè)備資源的變化，采用整體虛擬化部署后，硬件資源配置重點也發(fā)生適當(dāng)變化，主要關(guān)注四項指標(biāo)：CPU處理能力、內(nèi)存容量、網(wǎng)卡能力和存儲卡能力，而對服務(wù)器本機硬盤配置要求大大降低，一般配置VMware啟動盤即可，例如SSD 80Gx2或300Gx2。
5、CPU類型匹配問題，
為讓虛擬化系統(tǒng)運行更加協(xié)調(diào)與匹配，一般推薦參與虛擬化的計算設(shè)備檔次配置要接近，在一個可在線遷移的虛擬化部署區(qū)域，推薦計算設(shè)備CPU類型要一致，性能檔次接近，要避免在一個區(qū)域內(nèi)Intel、AMD CPU混合部署現(xiàn)象，可考慮將相同品牌CPU且性能檔次相當(dāng)?shù)挠嬎阍O(shè)備規(guī)劃到一個虛擬隊列池中。
針對一部份省市地方稅務(wù)部門大廳前置部署所需的計算設(shè)備短期內(nèi)難以一次性到位的情況，生產(chǎn)系統(tǒng)采用虛擬化部署方案將特別明顯，一方面前期部署對性能要求不一定達(dá)到最高，虛擬化部署對硬件資源數(shù)量要求相對較少、部署靈活，后期硬件資源采購到位后，可實現(xiàn)生產(chǎn)系統(tǒng)不中斷遷移，避免因硬件更換而重新部署，包括Oracle數(shù)據(jù)庫RAC節(jié)點，實體機RAC部署遷移一般需要重裝Oracle RAC并停機遷移。
