如果服務(wù)器的相同數(shù)據(jù)能夠被共享,就可以節(jié)省大量的存儲資源。而后端集中存儲服務(wù)的出現(xiàn)使得這種共享成為了可能。

        現(xiàn)代計算機系統(tǒng)越來越多地被應(yīng)用在公共計算中心、數(shù)據(jù)中心和大型企業(yè)等開放環(huán)境下。這 些環(huán)境所共有的一個顯著特點是對計算機系統(tǒng)提供服務(wù)的種類和數(shù)量的需求具有很高的動態(tài)性和不確定性。為了滿足可能出現(xiàn)的峰值服務(wù)需求,這類系統(tǒng)通常不得不配置額外的服務(wù)資源。 

         American Power Conversion公司的客戶調(diào)查顯示,通常信息中心的計算資源達(dá)到其實際所需資源的4倍(即75%的計算資源被長期閑置),開放系統(tǒng)的容量利用率僅為40%~50%。在這樣的環(huán)境下,以資源共享的形式來滿足用戶的動態(tài)變化的服務(wù)需求就變得很有意義。一方面,當(dāng)某一服務(wù)需求撤銷時,將提供該服務(wù)的計算資源和存儲資源用于滿足新提出的服務(wù)需求,能夠提高資源的利用率。另一方面,當(dāng)某種服務(wù)需求出現(xiàn)高峰時,系統(tǒng)能夠?qū)①Y源集中起來應(yīng)對該服務(wù)需求。而當(dāng)該服務(wù)需求降低時,資源又可以重新分配給其他服務(wù)。這樣增強了系統(tǒng)對動態(tài)需求的適應(yīng)能力,系統(tǒng)的健壯性得以提高。 

         存儲層的按需部署 


        為了解決上述問題,由中國科學(xué)院計算技術(shù)研究所國家高性能計算機工程技術(shù)研究中心自主研發(fā)的基于網(wǎng)絡(luò)存儲的新型計算環(huán)境管理系統(tǒng)??藍(lán)鯨服務(wù)部署系統(tǒng),它在服務(wù)器層次進行資源虛擬化的同時,對存儲資源虛擬化進行了較為深入的探索。系統(tǒng)采用了集中式的存儲系統(tǒng),將物理存儲資源虛擬化生成邏輯卷作為服務(wù)器數(shù)據(jù)的載體。在存儲虛擬化架構(gòu)上,藍(lán)鯨服務(wù)部署系統(tǒng)采用一種新型的復(fù)合式快照算法,該算法能夠完成服務(wù)器數(shù)據(jù)在存儲設(shè)備級別上的共享,并使得系統(tǒng)可以在數(shù)秒鐘內(nèi)將所需服務(wù)器的數(shù)據(jù)部署完畢。系統(tǒng)在數(shù)據(jù)共享的基礎(chǔ)上進一步應(yīng)用了緩存共享技術(shù),使得服務(wù)器部署用時大為縮短,使系統(tǒng)更適合于服務(wù)器需求動態(tài)變化的開放環(huán)境。 



        目前某保密單位雙網(wǎng)隔離方案和基于PC SAN系統(tǒng)的雙網(wǎng)隔離方案對比









        該系統(tǒng)是一個滿足開放、動態(tài)環(huán)境的服務(wù)器部署管理系統(tǒng)。其服務(wù)器部署機制能根據(jù)應(yīng)用環(huán)境對不同類型和數(shù)量服務(wù)器的動態(tài)需求,將物理服務(wù)器資源與存儲資源快速、靈活地結(jié)合為可運行的服務(wù)器供應(yīng)用系統(tǒng)使用。藍(lán)鯨服務(wù)部署系統(tǒng)的服務(wù)器部署架構(gòu)以底層存儲為核心,將服務(wù)器映像以網(wǎng)絡(luò)磁盤的形式和物理服務(wù)器進行動態(tài)綁定來完成部署工作。在存儲層次上藍(lán)鯨服務(wù)部署系統(tǒng)采用一種新型的復(fù)合式快照架構(gòu),并在此基礎(chǔ)上應(yīng)用塊設(shè)備級別的緩存共享技術(shù),使得服務(wù)器部署系統(tǒng)在服務(wù)器創(chuàng)建、再分配以及存儲空間占用等方面有顯著改進。



        系統(tǒng)對給定的物理存儲資源和物理服務(wù)器資源進行管理,將資源整合為可運行服務(wù)器提供給應(yīng)用系統(tǒng)。系統(tǒng)服務(wù)部署架構(gòu)的設(shè)計目標(biāo)有如下幾個方面:



        服務(wù)器按需創(chuàng)建: 當(dāng)外部系統(tǒng)對提供某種服務(wù)的服務(wù)器產(chǎn)生需求時,系統(tǒng)能夠根據(jù)需求創(chuàng)建服務(wù)器系統(tǒng)映像,并和物理服務(wù)器結(jié)合生成實際運行的服務(wù)器。這是按需部署系統(tǒng)的核心目標(biāo)。



        資源共享: 當(dāng)部署系統(tǒng)所提供的某個服務(wù)撤銷時,提供該服務(wù)的服務(wù)器資源和存儲資源可以被用來提供新的(可能是不同類型的)服務(wù)。除此之外,在藍(lán)鯨服務(wù)部署系統(tǒng)中資源共享的含義還包括數(shù)據(jù)共享和緩存共享。即多個服務(wù)器系統(tǒng)上的相同數(shù)據(jù)盡量共享一份存儲資源; 在多個服務(wù)器讀取共享數(shù)據(jù)時在存儲系統(tǒng)中共享I/O通道的帶寬,并且使用同一份緩存。



        快速部署: 系統(tǒng)在數(shù)秒量級的時間生成所需服務(wù)器映像,服務(wù)器能夠使用該映像啟動并快速地達(dá)到可提供服務(wù)的狀態(tài)。



        系統(tǒng)的服務(wù)部署模型采用兩層虛擬化結(jié)構(gòu)來達(dá)成上述目標(biāo)。下層對存儲進行虛擬化,提供存放服務(wù)器系統(tǒng)映像的虛擬磁盤; 除此之外還負(fù)責(zé)完成虛擬磁盤的數(shù)據(jù)共享和快速復(fù)制,提供系統(tǒng)存儲資源共享和緩存共享能力。上層通過建立物理服務(wù)器和虛擬磁盤間的映射,虛擬出滿足需求的服務(wù)器節(jié)點。其映射機制使得系統(tǒng)能夠根據(jù)需求動態(tài)調(diào)整物理服務(wù)器節(jié)點所提供的服務(wù),從而共享服務(wù)器資源。將上層動態(tài)映射與下層快速復(fù)制以及緩存共享結(jié)合起來,此模型能夠讓藍(lán)鯨服務(wù)部署系統(tǒng)具備服務(wù)器快速部署能力。



        相關(guān)技術(shù)比較



        近年來,關(guān)于服務(wù)動態(tài)部署的相關(guān)研究有很多,其中與藍(lán)鯨服務(wù)部署系統(tǒng)的研究內(nèi)容比較相似的典型系統(tǒng)有Oceano、COD和SODA等。



        Oceano是IBM實驗室提出的為多個客戶分配共享資源的系統(tǒng)。Oceano為每一個客戶分配一個域,基于SLA(服務(wù)品質(zhì)保障協(xié)議)為每一個域提供服務(wù)。系統(tǒng)維護一個服務(wù)器資源池,根據(jù)每一個域?qū)Ψ?wù)需求量和種類的動態(tài)變化將服務(wù)器提供給具體的域,或者將域中的服務(wù)器回收并進行再分配。從系統(tǒng)功能上來說,Oceano與藍(lán)鯨服務(wù)部署系統(tǒng)非常類似,都是完成服務(wù)器粒度的服務(wù)動態(tài)部署。但是Oceano中的服務(wù)器在本地磁盤上安裝操作系統(tǒng),當(dāng)服務(wù)器提供服務(wù)的操作系統(tǒng)平臺改變時,需要重新安裝操作系統(tǒng)。而藍(lán)鯨服務(wù)部署系統(tǒng)中的服務(wù)器利用存儲服務(wù)系統(tǒng)提供的虛擬磁盤上的服務(wù)器映像啟動操作系統(tǒng)。當(dāng)系統(tǒng)需要改變服務(wù)器提供的服務(wù)時,只要將服務(wù)器重新映射到和該服務(wù)對應(yīng)的虛擬磁盤即可。虛擬磁盤則通過對服務(wù)模板進行快照來完成創(chuàng)建。因而整個更換服務(wù)器系統(tǒng)映像的過程可以在數(shù)秒內(nèi)執(zhí)行完畢。



        Oceano為了保證較小的服務(wù)器部署用時,將應(yīng)用程序文件分為只讀、公共讀寫和私有讀寫三類,通過AFS網(wǎng)絡(luò)文件服務(wù)器進行文件共享和緩存共享。而藍(lán)鯨服務(wù)部署系統(tǒng)所提供的是設(shè)備塊級的共享,不必對其上的操作系統(tǒng)和應(yīng)用程序有任何理解,因此不需要為新引入的應(yīng)用進行特殊處理。共享通過復(fù)合式快照建立,操作系統(tǒng)和應(yīng)用程序的數(shù)據(jù)塊只要不被寫入就能保持?jǐn)?shù)據(jù)共享和緩存共享。



        COD(Cluster On Demand)是Duck大學(xué)提出的一種集群虛擬化系統(tǒng)。其目的是為簡化集群管理,提供靈活、自動的集群部署和管理機制。COD維護一個物理服務(wù)器池,在這個基礎(chǔ)上創(chuàng)建多個虛擬集群。COD基于PXE Linux等網(wǎng)絡(luò)啟動技術(shù)完成服務(wù)器節(jié)點啟動、配置等操作,可以根據(jù)需求在虛擬集群間調(diào)配服務(wù)器節(jié)點。在自動啟動和配置方面,COD和藍(lán)鯨服務(wù)部署系統(tǒng)都利用了WOL、DHCP、PXE等網(wǎng)絡(luò)啟動技術(shù)為服務(wù)器選擇一個服務(wù)器映像。COD也支持用戶創(chuàng)建自己的服務(wù)器映像并作為模板進行部署。但和藍(lán)鯨服務(wù)部署系統(tǒng)不同的是,COD使用的是本地磁盤,沒有對存儲進行集中管理和資源共享。服務(wù)器系統(tǒng)映像的部署是通過網(wǎng)絡(luò)啟動的客戶端系統(tǒng)將模板直接復(fù)制到本地磁盤上來完成的,因此比藍(lán)鯨服務(wù)部署系統(tǒng)需要更長的服務(wù)器部署時間。



        SODA(Service-On-Demand Architecture)是Purdue大學(xué)研究的在網(wǎng)格等開放環(huán)境下對外提供應(yīng)用服務(wù)的服務(wù)按需部署系統(tǒng)架構(gòu)。SODA基于一個服務(wù)器池,通過在單個服務(wù)器上運行多個虛擬服務(wù)器來提供服務(wù)。它并不對實際服務(wù)器資源進行管理,而是在實際服務(wù)器資源的基礎(chǔ)上提供虛擬服務(wù)器的按需創(chuàng)建和部署管理。為了在一臺服務(wù)器上提供彼此獨立的虛擬服務(wù),SODA采用了UML(User-Mode Linux)技術(shù)在一個Linux操作系統(tǒng)平臺上運行多個虛擬操作系統(tǒng)平臺。在服務(wù)部署方面SODA采用的方法是下載服務(wù)器映像到本地運行的方式。映像的下載根據(jù)網(wǎng)絡(luò)情況不同需要一定時間。為了縮短服務(wù)器部署用時,映像根據(jù)服務(wù)需求被裁減到最小的程度,以減小映像下載時間和啟動時間。



        而藍(lán)鯨服務(wù)部署系統(tǒng)的一個關(guān)鍵特性是在存儲層次上進行虛擬化,并以網(wǎng)絡(luò)磁盤的方式將服務(wù)器映像動態(tài)綁定到物理服務(wù)器上完成服務(wù)部署。通過在存儲虛擬化系統(tǒng)中應(yīng)用一種新型的復(fù)合式快照算法以及在此基礎(chǔ)上的共享緩存算法,使系統(tǒng)不僅僅節(jié)省了存儲資源,也使服務(wù)器的部署和啟動時間大為縮短,提升了系統(tǒng)按需部署的能力。



        通過試驗結(jié)果可以看出,復(fù)合式快照算法和緩存共享算法取得了很好的存儲資源共享率和虛擬磁盤的IP性能。在同時部署多臺服務(wù)器的情況下藍(lán)鯨服務(wù)部署系統(tǒng)部署時間的優(yōu)勢更加明顯,系統(tǒng)具有良好的可擴展性。



        按需部署的技術(shù)方案



        1. 傳統(tǒng)應(yīng)用模式現(xiàn)狀



        隨著電子商務(wù)等一系列網(wǎng)絡(luò)應(yīng)用的蓬勃發(fā)展,Internet正在逐漸融入到社會的各個方面。一方面,網(wǎng)絡(luò)用戶成分越來越多樣化,出于各種目的的網(wǎng)絡(luò)入侵和攻擊越來越頻繁; 另一方面,網(wǎng)絡(luò)應(yīng)用越來越深地滲透到金融、商務(wù)、國防等等關(guān)鍵要害領(lǐng)域。



        基于傳統(tǒng)的雙網(wǎng)隔離應(yīng)用模式,存在著以下弊端:



                ■ 數(shù)據(jù)安全性差;



                ■ 數(shù)據(jù)可靠性低;



                ■ 病毒防護能力差;



                ■ 內(nèi)外網(wǎng)切換方式需要人工的干預(yù);



                ■ 多操作系統(tǒng)的使用、安裝與維護的工作量大;



                ■ 硬盤利用率較低、難以共享,硬盤空間大量閑置;



                ■ 用戶和主機綁定,難以實現(xiàn)移動辦公。



        2. 雙網(wǎng)隔離應(yīng)用模式



        中科院計算所工程中心根據(jù)實際的應(yīng)用需求狀況,提供了基于PC SAN系統(tǒng)的雙網(wǎng)隔離模式,可以有效地解決傳統(tǒng)模式下存在的問題,實現(xiàn)網(wǎng)絡(luò)、存儲和計算全面物理隔離的安全環(huán)境,滿足雙網(wǎng)隔離的安全要求。同時,能夠解決企業(yè)隔離網(wǎng)應(yīng)用復(fù)雜、受限制、不易管理等方面的問題,實現(xiàn)雙網(wǎng)隔離系統(tǒng)的集中管理、快速部署多操作系統(tǒng)共存的應(yīng)用環(huán)境,還能夠節(jié)省企業(yè)在信息化方面的總體擁有成本。



        該方案是基于PC SAN系統(tǒng)的雙網(wǎng)隔離模式。PC SAN是一種基于網(wǎng)絡(luò)存儲的新型計算環(huán)境管理系統(tǒng),采用全球標(biāo)準(zhǔn)的通信協(xié)議TCP/IP,將網(wǎng)絡(luò)中所有的存儲資源集中存儲在由高速互聯(lián)網(wǎng)絡(luò)連接的存儲管理服務(wù)器上,在該服務(wù)器上虛擬出多個網(wǎng)路硬盤映射給客戶機使用。它采用虛擬存儲技術(shù),實現(xiàn)數(shù)據(jù)集中存儲、網(wǎng)絡(luò)硬盤按需分配,借助快照和快速部署技術(shù),實現(xiàn)簡單、快速的網(wǎng)絡(luò)硬盤分配與軟件安裝; 通過客戶機和不同的網(wǎng)絡(luò)磁盤實現(xiàn)動態(tài)映射,使客戶機能夠按需轉(zhuǎn)換角色,更好地被動態(tài)調(diào)度并組合計算資源和存儲資源,滿足不斷變化的需求。此外,PC SAN除兼具PC機使用的靈活性和瘦客戶機的易管理、安全等特點外,還擁有其獨特的需求預(yù)約、系統(tǒng)還原、系統(tǒng)快速恢復(fù)和IP地址自動分配等功能。



        PC SAN系統(tǒng)由PC SAN 存儲管理服務(wù)器、客戶機和iATA卡等硬件通過高速互聯(lián)網(wǎng)絡(luò)連接而成。



        PC SAN系統(tǒng)物理結(jié)構(gòu)如圖1所示。在此系統(tǒng)中:





 






圖1 PC SAN系統(tǒng)物理結(jié)構(gòu)





        iATA卡: iATA是類似于iSCSI的技術(shù),它把IDE命令轉(zhuǎn)化為IP包,在IP 網(wǎng)絡(luò)上傳輸。iATA卡安裝在每臺客戶機上,將硬盤的IDE協(xié)議轉(zhuǎn)換成網(wǎng)絡(luò)協(xié)議,開機后,與經(jīng)服務(wù)器分配的網(wǎng)絡(luò)硬盤直接掛接,映射到客戶機本地使用。



        客戶機: 即普通PC機,不需要本地硬盤,每臺機器加裝一塊iATA 卡,當(dāng)客戶機開機后,將經(jīng)服務(wù)器映射的網(wǎng)絡(luò)硬盤,作為自己的本地硬盤來使用。如果原客戶機已有硬盤,仍可以將該硬盤作為系統(tǒng)的數(shù)據(jù)盤正常使用。



        存儲管理服務(wù)器: 它由管理服務(wù)器和存儲服務(wù)器組成,為所有客戶機提供集中、統(tǒng)一的存儲和管理,實現(xiàn)網(wǎng)絡(luò)硬盤與客戶機或用戶映射關(guān)系的控制,并為用戶提供靈活有效的各種服務(wù),充分利用各臺客戶機的硬件資源,完成整個系統(tǒng)內(nèi)部運轉(zhuǎn)的監(jiān)控和管理工作。



        基于PC SAN系統(tǒng)的雙網(wǎng)隔離模式網(wǎng)絡(luò)拓?fù)鋱D,如圖2所示。除了解決數(shù)據(jù)安全性問題之外,該系統(tǒng)還可以提供系統(tǒng)的快速部署,計算環(huán)境的靈活選擇等,從而極大地降低計算機運行、維護和管理的總體擁有成本。









圖2基于PC SAN系統(tǒng)的雙網(wǎng)隔離模式網(wǎng)絡(luò)拓?fù)鋱D





        在該圖中,由兩臺服務(wù)器(內(nèi)、外網(wǎng)各一臺)、一臺網(wǎng)絡(luò)切換器和一臺交換機組成,用戶通過網(wǎng)絡(luò)切換器來選擇接入內(nèi)、外網(wǎng)。其組成元素的作用說明如下:



        網(wǎng)絡(luò)切換器: 通過機械開關(guān),實現(xiàn)用戶在內(nèi)、外網(wǎng)間進行切換。



        交換機: 推薦用戶使用帶千兆網(wǎng)口的百兆交換機,即服務(wù)器到交換機為千兆,交換機到客戶機為百兆。



        鏈接:什么是存儲按需部署?



        服務(wù)器按需部署是希望通過資源共享的方式解決服務(wù)提供的問題。但隨著存儲網(wǎng)絡(luò)化技術(shù)如NAS和SAN的出現(xiàn),更多的應(yīng)用服務(wù)器采用獨立的存儲服務(wù)器提供其后端存儲服務(wù)。網(wǎng)絡(luò)存儲服務(wù)系統(tǒng)也因其能夠增強存儲可擴展性、提高資源利用率以及降低存儲管理成本而被普遍地采用。因此,對服務(wù)器部署的存儲特性進行研究,挖掘和發(fā)展適合的存儲技術(shù)來提升服務(wù)器按需部署能力具有相當(dāng)實際的意義。



        在服務(wù)器環(huán)境中,服務(wù)器節(jié)點的系統(tǒng)數(shù)據(jù)具有高度的相似性。運行同一操作系統(tǒng)平臺的服務(wù)器,其OS部分的數(shù)據(jù)基本都是相同的; 提供同種服務(wù)的集群節(jié)點甚至連應(yīng)用程序也完全一樣。如果服務(wù)器的這些相同數(shù)據(jù)能夠被共享,就可以節(jié)省大量的存儲資源。后端集中存儲服務(wù)的出現(xiàn)使得這種共享成為了可能。但如何實現(xiàn)這樣的共享,提高服務(wù)部署系統(tǒng)的存儲資源利用率,這方面的技術(shù)進展還很少。



        服務(wù)器按需部署系統(tǒng)的另一個重要問題是如何獲得較短的服務(wù)器部署用時。服務(wù)器部署用時是指服務(wù)器從需求發(fā)生至服務(wù)器部署完畢可以投入使用所經(jīng)歷的時間。根據(jù)其研究結(jié)果,部署用時較少的系統(tǒng)在綜合性能上優(yōu)于用時較多的系統(tǒng)。為了獲取更快速、更靈活的部署性能,許多相關(guān)研究都采用各種策略縮短部署用時。但這些策略主要是針對具體的部署系統(tǒng)而制定的,不能直接應(yīng)用到存儲層次上。


分享到

多易

相關(guān)推薦