2013年11月14日存儲(chǔ)在線原創(chuàng)：對(duì)于一個(gè)有著1100臺(tái)服務(wù)器——40個(gè)機(jī)柜、每機(jī)柜27.5臺(tái)服務(wù)器的數(shù)據(jù)中心來(lái)說(shuō)，每天的能耗和占地空間是相當(dāng)驚人的，最為關(guān)鍵的是1100臺(tái)服務(wù)器的應(yīng)用性能和可用性至關(guān)重要。那么，如何實(shí)現(xiàn)能耗降低、空間節(jié)約的同時(shí)提高應(yīng)用性能和可用性?這應(yīng)該是現(xiàn)在所有數(shù)據(jù)中心用戶所考慮的重點(diǎn)問(wèn)題。

事實(shí)上，美國(guó)Vonage公司設(shè)在新澤西州霍爾姆德?tīng)柕臄?shù)據(jù)中心就是這樣一個(gè)擁有1100臺(tái)服務(wù)器的“龐然大物”，每天的能耗和不斷增加服務(wù)器需求的空間讓數(shù)據(jù)中心負(fù)責(zé)人感到“壓力山大”。

為此，Vonage公司借助刀片服務(wù)器，循序漸進(jìn)地進(jìn)行服務(wù)器和網(wǎng)絡(luò)的虛擬化，正在將1100臺(tái)服務(wù)器實(shí)現(xiàn)從獨(dú)立環(huán)境遷移到虛擬環(huán)境的神話，現(xiàn)實(shí)中的遷移過(guò)程也遭遇到如vMotions足以使實(shí)驗(yàn)室中部署的4Gb FlexNIC達(dá)到飽和的瓶頸。但在利用Emulex OneConnect技術(shù)優(yōu)勢(shì)情況下，將遭遇的瓶頸獲得滿意的解決，使得整個(gè)循序漸進(jìn)的遷移過(guò)程得以順利完工而沒(méi)有任何懸念。

Vonage公司相關(guān)負(fù)責(zé)人表示：成功遷移之后，1100臺(tái)服務(wù)器的數(shù)據(jù)中心就變成了1100個(gè)虛擬機(jī)(VM)——2個(gè)機(jī)柜、64臺(tái)刀片服務(wù)器、每機(jī)柜550個(gè)虛擬機(jī)。可見(jiàn)，這帶來(lái)機(jī)柜數(shù)量的明顯減少是十分驚人的，后期日常的能耗降低與應(yīng)用性能、可用性的提升當(dāng)然也是立竿見(jiàn)影。

這樣的數(shù)據(jù)中心服務(wù)器遷移案例在中國(guó)國(guó)內(nèi)應(yīng)該算是首屈一指，值得大家研究和分析，那么Vonage公司到底是如何實(shí)現(xiàn)的呢?

Vonage的“前世今生”

首先我們了解一下具體實(shí)施該案例的Vonage公司及其相關(guān)實(shí)驗(yàn)室的情況。通過(guò)一些資料了解到，Vonage公司是最大的VoIP服務(wù)提供商和行業(yè)先驅(qū)之一。非常有意思的是公司名稱來(lái)自于他們的座右銘“Voice-Over-Net-AGE(網(wǎng)絡(luò)電話時(shí)代)”。

作為一家領(lǐng)先的通信服務(wù)提供商，Vonage從成立之初至今一直致力于通過(guò)寬帶設(shè)備將全球各地的人們連接起來(lái)。并且為大約240萬(wàn)用戶提供服務(wù)，公司擁有并運(yùn)行著一個(gè)強(qiáng)大的高質(zhì)量VoIP網(wǎng)絡(luò)，每年可支持60多億次通信。Vonage通過(guò)網(wǎng)絡(luò)向美國(guó)、加拿大及英國(guó)的客戶提供服務(wù)。

對(duì)于這樣一個(gè)擁有豐富經(jīng)驗(yàn)和強(qiáng)大服務(wù)能力的提供商，為了保證重大項(xiàng)目的成功實(shí)施，Vonage很早就在新澤西州Holmdel市的公司總部建立了自己的開(kāi)發(fā)和質(zhì)量保證實(shí)驗(yàn)室(Development & QA Lab)。在這里，Vonage的所有新技術(shù)和產(chǎn)品都經(jīng)過(guò)嚴(yán)格測(cè)試評(píng)估后才進(jìn)入生產(chǎn)運(yùn)行環(huán)境。在開(kāi)發(fā)和質(zhì)量保證實(shí)驗(yàn)室，Vonage IT架構(gòu)師和工程師還開(kāi)發(fā)并驗(yàn)證標(biāo)準(zhǔn)硬件和軟件鏡像——被用于從前端Web服務(wù)器到后端數(shù)據(jù)庫(kù)服務(wù)器的所有生產(chǎn)系統(tǒng)。

實(shí)際上，開(kāi)發(fā)和質(zhì)量保證實(shí)驗(yàn)室對(duì)該案例的成功實(shí)施也確實(shí)發(fā)揮出了應(yīng)有的作用。

明確霍爾姆德?tīng)柕臄?shù)據(jù)中心服務(wù)器遷移需求

Vonage公司在霍爾姆德?tīng)柦�立的�?shù)據(jù)中心，部署了大量的生產(chǎn)服務(wù)器，用于支持大量關(guān)鍵任務(wù)應(yīng)用——從前端Web服務(wù)器直到后端數(shù)據(jù)庫(kù)服務(wù)器。這里部署了大約40個(gè)獨(dú)立的數(shù)據(jù)中心機(jī)柜，其中包含約1100臺(tái)機(jī)機(jī)架服務(wù)器——分別專用于特定應(yīng)用。這些大功耗機(jī)架服務(wù)器通過(guò)3000多個(gè)刀片連接到數(shù)據(jù)中心的LAN和SAN。數(shù)據(jù)中心負(fù)責(zé)人表示，從提出請(qǐng)求開(kāi)始，到部署一臺(tái)新服務(wù)器需要大約2周的時(shí)間。

Vonage公司也表示，該數(shù)據(jù)中心直接用戶非�？释麑�(shí)現(xiàn)減少1100臺(tái)機(jī)架安裝服務(wù)器所需的空間、電源、冷卻設(shè)施和線纜，并且縮短部署新應(yīng)用服務(wù)器的時(shí)間。這也是該遷移案例的目標(biāo)所在。

不過(guò)，在實(shí)現(xiàn)遷移之后，這些目標(biāo)完全得以實(shí)現(xiàn)。并且正在從非虛擬化的“獨(dú)立”環(huán)境遷移到虛擬化環(huán)境的過(guò)程，也充分利用了一系列幫助整合基礎(chǔ)架構(gòu)、降低成本并加速新服務(wù)器部署的新技術(shù)。

采用密集計(jì)算節(jié)點(diǎn)的虛擬技術(shù)

Vonage公司在具體實(shí)施過(guò)程中發(fā)現(xiàn)從獨(dú)立數(shù)據(jù)中心遷移到虛擬化數(shù)據(jù)中心的項(xiàng)目涉及大量新技術(shù)、產(chǎn)品和流程，采用密集計(jì)算節(jié)點(diǎn)的虛擬技術(shù)是其中的關(guān)鍵——對(duì)刀片服務(wù)器、服務(wù)器虛擬化和網(wǎng)絡(luò)虛擬化進(jìn)行完美結(jié)合，允許在單一機(jī)柜中部署數(shù)百臺(tái)虛擬機(jī)。

在具體測(cè)試過(guò)程中發(fā)現(xiàn)，這些刀片服務(wù)器、服務(wù)器虛擬化和網(wǎng)絡(luò)虛擬化技術(shù)對(duì)于降低成本，同時(shí)確保應(yīng)用性能和可用性顯得至關(guān)重要。

具體分析來(lái)看，在刀片服務(wù)器方面，Vonage公司正在部署HP ProLiant BL490c G7刀片服務(wù)器來(lái)執(zhí)行與機(jī)架服務(wù)器相同的功能，但相比之下，采用刀片系統(tǒng)所需的空間、電源、冷卻設(shè)施和線纜要少得多。通過(guò)單一機(jī)箱共享資源，刀片服務(wù)器還可以大大降低管理復(fù)雜性和重復(fù)工作。

在采用刀片系統(tǒng)的同時(shí)，Vonage公司也相當(dāng)重視服務(wù)器虛擬化。一般的應(yīng)用服務(wù)器對(duì)可用CPU資源的利用率僅為1%到5%。服務(wù)器虛擬化使Vonage可以運(yùn)行多個(gè)虛擬機(jī)(VM)和應(yīng)用，進(jìn)行幫助全面利用每臺(tái)物理刀片服務(wù)器的計(jì)算功能。最終結(jié)果是可實(shí)現(xiàn)廣泛整合和大幅度成本節(jié)約。

當(dāng)然了，為適應(yīng)虛擬機(jī)(VM)的快速普及，HP BladeSystems可提供虛擬網(wǎng)絡(luò)功能 ，使服務(wù)器管理員可以為每臺(tái)虛擬機(jī)配置獨(dú)特的虛擬網(wǎng)絡(luò)。Vonage公司使用的G7服務(wù)器中嵌入了基于Emulex OneConnect技術(shù)的雙端口集成式HP Virtual Connect 10Gb FlexFabric適配器。雙端口10Gb FlexFabric適配器不僅具有LOM功能，而且可以為HP 包括ProLiant BL490c 在內(nèi)的BL460c、BL465c、、BL620c、BL680c和BL685c G7刀片服務(wù)器提供自適應(yīng)10GbE/10GbE、基于硬件的加速iSCSI、TCP/IP卸載引擎(無(wú)狀態(tài)卸載)和以太網(wǎng)光纖通道(FCoE)協(xié)議支持。

早在2011年，Emulex就公布了其OneConnect技術(shù)為HP ProLiant G7提供集成式FlexFabric 適配器。FlexFabric適配器與HP Virtual Connect FlexFabric模塊一起共同為數(shù)據(jù)和存儲(chǔ)網(wǎng)絡(luò)提供聚合聯(lián)網(wǎng)來(lái)連接服務(wù)器。其實(shí)，Emulex公司企業(yè)營(yíng)銷副總裁Shaun Walsh也提到過(guò)，Emulex的OneConnect技術(shù)，可以利用先進(jìn)的多協(xié)議卸載功能、單根I/O虛擬化和性能加速，降低對(duì)功耗和空間要求的同時(shí)，大幅度改善了不斷發(fā)展中的服務(wù)器的整合度。

與此同時(shí)，HP ProLiant服務(wù)器中整合了HP Virtual Connect FlexFabric和Emulex OneConnect技術(shù)，通過(guò)無(wú)縫整合數(shù)據(jù)和存儲(chǔ)連接，不需要額外的適配器、交換機(jī)端口和電纜，因此大幅度減少了網(wǎng)絡(luò)設(shè)備的數(shù)量。這也是該數(shù)據(jù)中心用戶所需要的結(jié)果。

此外，基于Emulex OneConnect技術(shù)的雙端口10Gb HP Virtual Connect FlexFabric適配器嵌入到服務(wù)器刀片主板中，一個(gè)HP Virtual Connect 10Gb FlexFabric適配器端口可配置為4個(gè)FlexNIC，使客戶可以將每個(gè)10Gb刀片服務(wù)器端口劃分為四個(gè)物理NIC(每個(gè)雙端口刀片服務(wù)器最多支持八條網(wǎng)絡(luò)連接)，來(lái)支持FC或iSCSI存儲(chǔ)連接，也可以將一個(gè)端口配置為FlexHBA，每個(gè)FlexNIC或FlexHBA可以配置根據(jù)具體虛擬機(jī)和應(yīng)用的需求定制的網(wǎng)絡(luò)策略，為虛擬化服務(wù)器負(fù)載優(yōu)化帶寬的分配。

DRS成為10GbE 的“殺手锏”

對(duì)于處于獨(dú)立生產(chǎn)環(huán)境的1100臺(tái)機(jī)架式服務(wù)器進(jìn)行高度優(yōu)化，雖然可實(shí)現(xiàn)最出色的性能和可用性，但Vonage公司的IT團(tuán)隊(duì)猜想，向虛擬化服務(wù)器的大規(guī)模遷移能否在不對(duì)性能和可用性帶來(lái)任何負(fù)面影響的情況下完成。因此，Vonage公司采取的第一步是先使用一個(gè)刀片系統(tǒng)機(jī)箱和2個(gè)服務(wù)器刀片進(jìn)行技術(shù)試運(yùn)行。

當(dāng)然這個(gè)試運(yùn)行的過(guò)程對(duì)于首次接觸虛擬化遷移的Vonage公司IT團(tuán)隊(duì)來(lái)說(shuō)，還是有一定挑戰(zhàn)性的。據(jù)介紹，學(xué)習(xí)如何高效地為物理服務(wù)器配置VMware ESXi和HP VirtualConnect Flex-10，就花費(fèi)了Vonage公司架構(gòu)師大約6周的時(shí)間。然后，通過(guò)每次添加一種應(yīng)用，其開(kāi)發(fā)和質(zhì)量保證實(shí)驗(yàn)室中的虛擬機(jī)數(shù)量增加到了900。隨著實(shí)驗(yàn)室中運(yùn)行的應(yīng)用證明可提供生產(chǎn)環(huán)境中所需的虛擬，IT團(tuán)隊(duì)的信心也是大增。

在開(kāi)發(fā)和質(zhì)量保證實(shí)驗(yàn)室中的使用情況充分證明了自動(dòng)化服務(wù)器性能優(yōu)化和維護(hù)的優(yōu)勢(shì)。借助VMware Distributed Resource Scheduler(DRS)，再也不需要安排服務(wù)器停機(jī)來(lái)將應(yīng)用遷移到利用率較低的服務(wù)器上。服務(wù)器利用率提高時(shí)，DRS可以自動(dòng)遷移虛擬機(jī)(VM)，而不需要讓所有人都知道在進(jìn)行這一操作。DRS本身是一種實(shí)用工具，可幫助ESXi管理員定義通過(guò)手工或自動(dòng)方式為不同虛擬機(jī)分配物理資源的規(guī)則。

因此，在采用DRS工具之后，虛擬機(jī)實(shí)時(shí)快速遷移成為該遷移應(yīng)用案例的“殺手锏”。不過(guò)，在G7服務(wù)器刀片上的10Gb HP Virtual Connect FlexFabric適配器做配置時(shí)，前期Vonage公司的工程師配置了4Gb FlexNIC，來(lái)最大限度地縮短發(fā)送實(shí)時(shí)遷移中涉及的數(shù)百GB數(shù)據(jù)所需的時(shí)間，他們很快還發(fā)現(xiàn)vMotions使4Gb的帶寬顯得捉襟見(jiàn)肘。

基于實(shí)驗(yàn)室經(jīng)驗(yàn)，Vonage公司的系統(tǒng)架構(gòu)師決定在生產(chǎn)環(huán)境中使用10Gb FlexNIC，使ESXi可利用FlexFabric適配器的全部帶寬來(lái)完成實(shí)時(shí)遷移。遷移項(xiàng)目一開(kāi)始，先使用兩個(gè)服務(wù)器刀片進(jìn)行了試驗(yàn)。要在實(shí)時(shí)遷移過(guò)程中確保出色的應(yīng)用性能，意味著需要盡可能快速地移動(dòng)數(shù)百GB的數(shù)據(jù)——實(shí)時(shí)快速遷移成為10GbE FlexFabric適配器的“殺手锏”，自然可以搞定這一切。

虛擬化遷移應(yīng)用四大注意事項(xiàng)

綜上所述，對(duì)于1100臺(tái)機(jī)架式服務(wù)器做虛擬化遷移，并不是一蹴而就的事情，需要循序漸進(jìn)地測(cè)試與部署。目前，Vonage公司正實(shí)施密集計(jì)算節(jié)點(diǎn)，包括刀片服務(wù)器、服務(wù)器虛擬化和網(wǎng)絡(luò)虛擬化技術(shù)。也正在將1100臺(tái)機(jī)架式服務(wù)器、40個(gè)機(jī)柜和3000根線纜整合為2個(gè)機(jī)柜、4個(gè)刀片服務(wù)器機(jī)箱和少量線纜。在這一過(guò)程中，Vonage架構(gòu)師已確定配置I/O來(lái)完成實(shí)時(shí)遷移的最佳實(shí)踐和10GbE的“殺手锏”。

當(dāng)然了，對(duì)于其他數(shù)據(jù)中心用戶來(lái)說(shuō)，要實(shí)現(xiàn)遷移服務(wù)器，從獨(dú)立環(huán)境到虛擬環(huán)境的神話，值得借鑒和學(xué)習(xí)一下Vonage公司的虛擬化遷移經(jīng)驗(yàn)：

一是與廠商分享系統(tǒng)設(shè)計(jì)，Vonage公司架構(gòu)師發(fā)現(xiàn)，惠普技術(shù)人員了解他們遇到的問(wèn)題時(shí)，非常愿意審核評(píng)估他們的系統(tǒng)設(shè)計(jì)，因此主動(dòng)與廠商分享系統(tǒng)設(shè)計(jì)是非常重要的事情。

二是了解多個(gè)虛擬化層如何協(xié)同運(yùn)行需要一些時(shí)間，Vonage公司工程師學(xué)會(huì)高效地利用服務(wù)器和網(wǎng)絡(luò)虛擬化工具用了6周的時(shí)間。但是在學(xué)會(huì)正確的配置方法后，1級(jí)操作人員就可以克隆配置文件，實(shí)現(xiàn)快速虛擬機(jī)部署。

三是循序漸進(jìn)，18個(gè)月前，Vonage公司開(kāi)發(fā)和質(zhì)量保證實(shí)驗(yàn)室中還沒(méi)有一臺(tái)虛擬機(jī)。Vonage架構(gòu)師從若干個(gè)服務(wù)器刀片開(kāi)始，然后逐步添加應(yīng)用工作負(fù)載，使IT團(tuán)隊(duì)其它成員逐步對(duì)虛擬機(jī)功能充滿信心。

四是vMotions可能使用整個(gè)10Gb鏈路，測(cè)試表明，vMotions足以使實(shí)驗(yàn)室中部署的4Gb FlexNIC達(dá)到飽和，實(shí)時(shí)快速遷移成為10GbE FlexFabric適配器的“殺手锏”。（阿明）

從產(chǎn)品圖片可以容易看出來(lái)，滿載的惠普刀片系統(tǒng)包含16個(gè)服務(wù)器刀片。不過(guò)，這些刀片是通過(guò)單一背板互連到機(jī)箱中，采取了嵌入的LAN和SAN交換機(jī)網(wǎng)絡(luò)架構(gòu)。

從這張圖片來(lái)看，完全可以添加1或2個(gè)雙端口10Gb HP Virtual Connect FlexFabric Mezzanine卡。