以3類SAS磁盤陣列(FC-SAS磁盤陣列、iSCSI-SAS磁盤陣列、SAS-SAS磁盤陣列)來說,理論上的傳輸帶寬是以可提供4條SAS通道聚合的SAS-SAS機型最高,理論帶寬可達1200MB/s;而4Gb FC通道的FC-SAS形次之,為400MB/s,至于以GbE網(wǎng)絡(luò)為基礎(chǔ)的iSCSI-SAS則只有125MB/s。
從Iometer的測試結(jié)果也能反映出前述帶寬的差距。由于測試環(huán)境中在前端發(fā)起存儲需求的服務(wù)器都是同一臺,而受測的10臺磁盤陣列中,除一臺采用1萬轉(zhuǎn)SAS硬盤外,其余均使用1.5萬轉(zhuǎn)SAS磁盤,因此性能差異可以歸因于服務(wù)器與磁盤間的傳輸信道差異,以及磁盤陣列控制器本身處理能力上。
由我們的測試結(jié)果可看出,SAS-SAS、FC-SAS與iSCSI-SAS剛好形成涇渭分明的3個群組,SAS-SAS在大區(qū)塊(128kB)存儲時有最高的數(shù)據(jù)吞吐量,3臺SAS-SAS機型吞吐量都可達到400~600MB/s,F(xiàn)C-SAS次之,6臺FC-SAS機型均在350~380MB/s之間,而iSCSI-SAS則居末,吞吐量僅及SAS-SAS的1/4~1/5。
在小區(qū)塊(512Bytes)存儲時,由于總?cè)萘肯嗤臄?shù)據(jù),處理器必須執(zhí)行更多次的I/O指令才能完成存儲作業(yè),因此處理器性能就會成為另一個瓶頸,由測試數(shù)據(jù)也可看出,除iSCSI-SAS機型外,各機型間差異并不大,F(xiàn)C-SAS與SAS-SAS機型得到的最大I/O處理能力數(shù)值都差不多。
要特別注意的是iSCSI-SAS機型測得的IOPS數(shù)值雖較低,但這或許可歸因于服務(wù)器系以微軟iSCSI initiator 2。0作為iSCSI發(fā)起器,軟件式iSCSI initiator非常消耗處理器資源,因此前端服務(wù)器部分處理性能耗費在處理iSCSI initiator上,以致影響了向后端磁盤陣列發(fā)起存儲要求的能力。若能安裝iSCSI HBA卡或支持TOE的網(wǎng)絡(luò)卡,應(yīng)該能一定程度的改善IOPS表現(xiàn)。
端點對端點環(huán)境下,通道帶寬影響有限
從檔案備份還原測試中,我們發(fā)現(xiàn)到磁盤陣列采用的傳輸信道帶寬和備份/還原速率不成正比,備份/還原本質(zhì)上是大區(qū)塊數(shù)據(jù)的循序讀取與寫入,這項測試中理論帶寬最小的iSCSI反而有最好的表現(xiàn),GbE iSCSI的帶寬只有4G FC的25%,更只有SAS 4×的9.6%,但采用iSCSI的Equallogic PS3600X備份還原速率還超過某些采用FC或SAS 4×機種,幅度甚至達50%以上。
這個結(jié)果也印證了傳輸通道的帶寬在實際應(yīng)用中通常不是性能瓶頸所在。以備份來說,牽涉到的因素還包括將數(shù)據(jù)從前端服務(wù)器硬盤讀出的速度,還原時則牽涉到把數(shù)據(jù)寫回前端服務(wù)器硬盤的速度。另外前端服務(wù)器與后端磁盤陣列控制器的處理器性能,以及采用的備份軟件處理機制等都有影響。舉例而言,當我們把前端服務(wù)器上用于備份測試的7,200轉(zhuǎn)SATA硬盤換為1萬轉(zhuǎn)的SCSI硬盤,所有受測機的備份還原速率都能得到30~50%的提升。
除上述因素外,機箱設(shè)計能否充分解決10多臺1。5萬轉(zhuǎn)高速硬盤同時運轉(zhuǎn)時帶來的振動,對磁盤陣列性能造成的影響可能還比通道帶寬大。Seagate與NeaApp等硬盤與存儲系統(tǒng)供貨商的公開報告均指出,震動會嚴重影響磁盤陣列性能,嚴重時甚至可有50~80%以上的落差。而從我們的測試結(jié)果中亦可發(fā)現(xiàn),某些采用相同硬盤的不同磁盤陣列,測試數(shù)據(jù)卻有20~25%以上的差距,我們已盡可能將測試環(huán)境中除磁盤陣列型號外的其它變量均全部統(tǒng)一,而控制器本身處理能力的差距一般不會造成這么大的差距(許多RAID控制器還都是采用相同的處理器),故這個結(jié)果可推測是不同機箱設(shè)計帶來的結(jié)果。
前端服務(wù)器I/O與磁盤陣列硬盤數(shù)量、轉(zhuǎn)速是瓶頸所在
為進一步檢驗存儲環(huán)境的瓶頸所在,我們另外進行了FC-SAS機型在單信道與雙信道下的測試,并與過去在同一平臺上測試的其它機型作比較。由表可以看出,測試環(huán)境中傳輸通道帶寬與性能并不成線性增加。
由此可明顯看出,測試中數(shù)據(jù)傳輸?shù)钠款i并不在于總線的帶寬,而在由硬盤內(nèi)部機械機構(gòu)、盤片存儲密度與盤片轉(zhuǎn)速等決定的硬盤內(nèi)部傳輸速度。目前主流的3。5寸1。5萬轉(zhuǎn)FC或SAS硬盤內(nèi)部持續(xù)傳輸速度最高可達80~125MB/s,7,200轉(zhuǎn)的SATA硬盤則只有72MB/s,若以裝滿4Gb FC的400MB/s為目標,至少要以4臺FC或SAS硬盤組成數(shù)組,換成SATA硬盤則需至少7臺。假設(shè)磁盤陣列對外傳輸信道相同,由于單臺硬盤能提供的I/O能力是固定的,因此不管硬盤采用SAS或FC接口,只要組成數(shù)組的硬盤類型、數(shù)目與數(shù)組形式相同,則所得到的存儲性能也相同。
但如果要在不同的磁盤陣列對外傳輸信道間做比較,則SAS 4×的1200MB/s帶寬,理論上可以比4Gb FC或GbE iSCSI更能讓磁盤陣列發(fā)揮出應(yīng)有的資料吞吐量,如測試結(jié)果顯示的,SAS-SAS機型在大區(qū)塊存儲下的吞吐量比FC-SAS高出40%或更多,不過前提是組成數(shù)組的硬盤數(shù)目必須至少有10~12臺,且是在大區(qū)塊循序讀取下,才能發(fā)揮SAS的帶寬優(yōu)勢。
而在實際環(huán)境中,還要考慮到存儲數(shù)據(jù)的類型(順序或隨機,存儲區(qū)塊大?。?,以及前端服務(wù)器的性能等,如果前端服務(wù)器的I/O性能不足,就會變成磁盤陣列在等前端服務(wù)器,因此傳輸通道的帶寬都只是理論值,除非是有多臺服務(wù)器同時要求存儲的大型環(huán)境,否則像我們測試使用的這種單點對單點的環(huán)境,傳輸通道帶寬將不會是瓶頸所在。
以我們的測試環(huán)境為例,由于伺服主機采用的是帶寬1。06GB/s的PCI-X,其實是跟不上SAS,即使是連接帶寬較低的4Gb FC,PCI-X也只能滿足1個4Gb FC端口的環(huán)境,若要同時連接2個FC端口,也會遇到性能上的瓶頸,這也是造成測試中啟用2個FC端口后,整體存儲性能卻未能較單端口情況下提升的原因之一。如果改用可支持PCI-E×4(2GB/s)或PCI-E×4(4GB/s)的服務(wù)器,按理應(yīng)較能讓磁盤陣列展現(xiàn)出傳輸信道帶寬倍增后的效益。
由存儲架構(gòu)決定傳輸通道類型
從不同測試結(jié)果來看,多數(shù)環(huán)境下磁盤陣列采用的傳輸信道類型不是影響性能的主要因素,傳輸信道類型主要與用戶的存儲架構(gòu)有關(guān)。如對已建置FC SAN的用戶來說,自然是以選購FC-SAS磁盤陣列為優(yōu)先;而對不打算建置昂貴FC SAN的用戶,但又需要區(qū)塊(Block)存儲應(yīng)用的用戶,則可選擇iSCSI-SAS機型;如果前端只有1~2臺服務(wù)器需要存儲磁盤陣列,或是服務(wù)器執(zhí)行的應(yīng)用程序負荷不是太高的話,那選擇哪種傳輸通道都沒有太大差別,但如果應(yīng)用程序要求的數(shù)據(jù)吞吐量很高,則選擇帶寬較大的SAS-SAS或FC-SAS會是比較保險的作法。