IBM上一代SMB存儲系統(tǒng)System Storage DS3200 Express

SMB也好，SME也罷，我們總是把中小型企業(yè)放在一起來說，是有其道理的。不管如何定義中型企業(yè)的上限，小型企業(yè)和中型企業(yè)之間的界限是很模糊的——就算能夠清晰的界定，飛速的發(fā)展，也能讓一家小型企業(yè)轉(zhuǎn)眼間就進入中型企業(yè)的行列。很顯然，企業(yè)希望所用的存儲系統(tǒng)能夠跟上自己成長的步伐，而不是沒用多久就必須換臺更大的。所以，專門針對小型企業(yè)的2U不可擴展入門級存儲系統(tǒng)，在熱鬧了一陣之后歸于沉寂：EMC的AX100/150被具有一定擴展能力的AX4取代，而NetApp則干脆放棄了曾經(jīng)另立門戶的S系列。

即便如此，各廠商面向SMB的入門級存儲系統(tǒng)，可擴展能力與其中端存儲系統(tǒng)里的最低一款，也還是有著明顯的差距。仍以EMC的CLARiiON AX4為例，其最多可擴充至60個驅(qū)動器，僅相當(dāng)于最低一款CLARiiON CX4（Model 120）的一半。長遠看來，SMB客戶將面臨著兩難境地：以AX4起步，企業(yè)發(fā)展到初具規(guī)模之時，就必須升級到CX4才能繼續(xù)；一開始即選擇CX4，縱然是Model 120，價格也是初創(chuàng)型企業(yè)難以負擔(dān)的……

經(jīng)過上述討論之后，我們就不難理解，IBM新一代的SMB存儲系統(tǒng)System Storage DS3500 Express，支持的驅(qū)動器數(shù)量會達到96個。不僅兩倍于前一代的DS3200/3300/3400 Express，也直逼DS3950/5020等中端存儲系統(tǒng)的112個……

從容量到數(shù)量，全面倍增

在深入介紹System Storage DS3500 Express存儲系統(tǒng)之前，有必要先簡單地溫習(xí)一下上一代產(chǎn)品System Storage DS3200/3300/3400 Express?？雌饋硎侨町a(chǎn)品，其實磁盤柜和主要的控制器技術(shù)是一樣的：都采用3Gbps SAS驅(qū)動器技術(shù)，集成雙控制器的2U主盤柜可容納12個3.5英寸SAS或SATA驅(qū)動器，并可通過2個x4的3Gbps SAS后端通道（SFF-8088連接器，總帶寬12Gbps）連接最多3個EXP3000驅(qū)動器擴展單元（擴展柜），將支持的驅(qū)動器數(shù)量擴展至48個。區(qū)別在于前端的主機接口——DS3200仍然是3Gbps SAS，DS3300是1Gbps iSCSI，DS3400則是4Gbps FC。

IBM DS3500與DS3200/3300/3400規(guī)格對比表，包括控制器緩存在內(nèi)的多數(shù)參數(shù)都提高了一倍，這在性能上也得到了相應(yīng)的反映，而磁盤持續(xù)讀取性能更達到了4倍之多

在飛速發(fā)展的IT行業(yè)，三年就可以磨一劍。DS3500與DS3200/3300/3400最大的區(qū)別就是將3Gbps SAS全面升級到SAS 2.0的6Gbps，從內(nèi)部驅(qū)動器連接到前后端通道，單條鏈路的帶寬都成倍增長，從而為支持的驅(qū)動器數(shù)量翻番打下了堅實的基礎(chǔ)。

IBM DS3524（24個2.5英寸驅(qū)動器）

IBM DS3512（12個3.5英寸驅(qū)動器）

從外觀來看，DS3500仍為2U機架雙控設(shè)計，但是增加了24個2.5英寸驅(qū)動器的DS3524——不難想到，12個3.5英寸驅(qū)動器的型號為DS3512。兩者的控制器是一樣的，區(qū)別就在于磁盤柜為容納不同尺寸規(guī)格和數(shù)量的驅(qū)動器而設(shè)計。借助每個控制器上的一個6Gbps SAS x4后端通道（仍為SFF-8088連接器，不同的是總帶寬24Gbps），DS3500可以連接EXP3512或EXP3524驅(qū)動器擴展單元（簡稱“擴展柜”），從而支持最多96個驅(qū)動器。

IBM DS3500（3.5英寸驅(qū)動器）滿配連接示意圖，一共8個盤柜，最上面的是控制器所在的主盤柜DS3512，其余7個是擴展柜EXP3512

從結(jié)構(gòu)上來講，作為擴展柜的EXP3512和EXP3524，與帶控制器的主盤柜DS3512和DS3524基本一樣，分別提供12個3.5英寸和24個2.5英寸驅(qū)動器，只是把控制器換成了環(huán)境服務(wù)模塊（Environmental Services Module，ESM）。ESM同樣有單雙之分，但不具備處理能力，是連接控制器與所在盤柜驅(qū)動器背板的橋梁。DS3512可以連接多達7個EXP3512，提供96個3.5英寸驅(qū)動器；DS3524則可以連接3個EXP3524驅(qū)動器擴展單元，提供96個2.5英寸驅(qū)動器。

上圖中左側(cè)為DS3512陣列柜（上）和對應(yīng)的EXP3512擴展柜（下），它們之間只在于控制器和ESM的區(qū)別；右側(cè)的DS3524（上）和對應(yīng)的EXP3524（下）也是同樣的道理

當(dāng)然，組合方式絕不僅限于這兩種。不論DS3512或是DS3524，都可以自由搭配EXP3512和EXP3524使用，只要驅(qū)動器總數(shù)不超過96個的上限即可，具有足夠的靈活性，能夠滿足分級存儲等需求。

接口隨需應(yīng)變，不止以一當(dāng)三

相信有些細心的讀者在看到DS3500的名稱之后會提出疑問——之前根據(jù)主機接口不同而劃分為三款產(chǎn)品（DS3200/3300/3400），怎么現(xiàn)在合并成一個了呢？

DS3300后視圖，可以看到每控制器有2個1Gbps iSCSI端口

尤其是DS3500依然提供了SAS、iSCSI、FC的主機接口選項，可謂以一當(dāng)三……這里面就更有玄機了。

DS3500每個控制器標配2個6Gbps SAS x4主機端口

奧妙在于，DS3500采用了每控制器標配2個6Gbps SAS x4主機端口，并通過更換主機接口子卡（Host Daughter Card）升級的設(shè)計?？蛇x的主機接口子卡有三種，分別提供2個6Gbps SAS x4主機端口、4個8Gbps FC（8GFC）主機端口、4個1Gbps iSCSI主機端口。

DS3500控制器標配示意圖，可以看到右側(cè)為主機接口子卡預(yù)留的位置

可選的主機接口子卡（Host Daughter Card）

這樣一來，在雙控制器（端口數(shù)x2）的前提下，DS3500可以提供三四種主機接口選擇：4或8個6Gbps SAS x4主機端口；8個8Gbps FC主機端口和4個6Gbps SAS x4主機端口；8個1 Gbps iSCSI主機端口和4個6Gbps SAS x4主機端口。

控制器上安裝不同（SAS/FC/iSCSI）主機接口子卡之后的DS3500

不難看出，這種設(shè)計使DS3500的主機連接性也能伴隨SMB用戶的規(guī)模而成長——確切地說，是可以根據(jù)用戶規(guī)模和應(yīng)用需求的不同，靈活地做出相應(yīng)的調(diào)整：

DS3500基本SAS主機端口連接示意圖

在用戶的起步階段，一臺標配2個6Gbps SAS x4主機端口的DS3500，可以直接連接兩臺服務(wù)器——包括刀片式服務(wù)器。當(dāng)然，塔式或機架式服務(wù)器需要一塊有外部端口的SAS HBA（如LSI SAS 9212-4i4e或LSI SAS 9200-16e），刀片式服務(wù)器也要配合SAS交換模塊，才能組成直連存儲（DAS）解決方案。

DS3500增強SAS主機端口連接示意圖

隨著服務(wù)器數(shù)量的增長，用戶可以考慮為DS3500增配代碼為FC 3610的6Gb SAS 2 Port Daughter Card（2端口子卡）選件，將每個控制器的6Gbps SAS x4主機端口擴充到4個。這樣一來，直接連接的SAS服務(wù)器或帶SAS交換模塊的刀片式服務(wù)器即可達到4臺。

1U半機架寬度規(guī)格的LSI SAS6160 6Gbps SAS交換機，提供16個6Gbps SAS x4端口（SFF-8088連接器）

直連存儲的好處是服務(wù)器主機與存儲系統(tǒng)之間沒有中間設(shè)備（節(jié)省成本），但也因此而無法連接更多的服務(wù)器。好在，SAS 2.0不僅是速率從3Gbps倍增至6Gbps，還強化了擴展器的連接能力，因此以LSI為代表的廠商得以推出具有實用能力的6Gbps SAS交換機。通過SAS交換機，即使只有標配的2個6Gbps SAS x4主機端口，也可以連接10臺以上的SAS服務(wù)器或帶SAS交換模塊的刀片式服務(wù)器。

LSI SAS6161 6Gbps SAS交換機擴展了寬度，更適合機架安裝

每個6Gbps SAS x4端口的帶寬高達24Gbps（2400MB/s），缺點是連接距離太短。IBM為DS3500系列提供1米和3米的SAS線纜，SAS 2.0規(guī)范的建議是10米之內(nèi)，總之都不夠長。如果服務(wù)器部署地點相對分散，與DS3500相距較遠；或者用戶希望在現(xiàn)有以太網(wǎng)環(huán)境下，無需添置其他設(shè)備，便能連接較多的服務(wù)器……可以選配代碼為FC 3612的1Gb iSCSI 4端口子卡，雙控制器就是8個千兆以太網(wǎng)端口，不過總帶寬也只有8Gbps，僅為單個6Gbps SAS x4端口的三分之一。

DS3500 iSCSI+SAS主機端口連接示意圖

雖然萬兆以太網(wǎng)（10GbE）的宣傳甚囂塵上，但IBM沒有為DS3500提供10Gb iSCSI的選項，理由是10GbE基礎(chǔ)設(shè)施在中小型企業(yè)環(huán)境中尚不完備。若是用戶要求較遠的連接距離，應(yīng)用還需要較高的帶寬（如高清視頻編輯）；或者已有FC SAN環(huán)境要增加存儲設(shè)備……可以選配代碼為FC 3611的8Gb FC 4端口子卡——和SAS一樣，也是與服務(wù)器直連或通過FC交換機均可，區(qū)別在于距離更遠，代價更高。

DS3500 FC+SAS主機端口連接示意圖

總的來看，DS3500提供的幾種主機接口選項，不僅涵蓋了滿足中小型企業(yè)IT應(yīng)用中的典型情境，更重要的是借鑒了DS5000系列的可更換主機接口卡（HIC）設(shè)計，可以很好地因應(yīng)用戶的規(guī)模和需求變化，讓中小型企業(yè)在整個成長周期內(nèi)都無須更換存儲系統(tǒng)，而只是對主機接口子卡進行調(diào)整即可。

不僅如此，主機接口子卡的設(shè)計對IBM的好處也是顯而易見的。與DS3200/3300/3400相比，DS3500不需要針對不同的應(yīng)用需求而同時維護三種控制器設(shè)計，代之以一種通用的控制器平臺，搭配三種端口子卡選件，便可更好地達到目的，降低成本且靈活性大增。如果將來萬兆以太網(wǎng)在中小型企業(yè)環(huán)境中的普及率提高，IBM只要推出為DS3500開發(fā)的10Gb iSCSI端口子卡，并提供給有需求的用戶即可。

不過，還有一點不是很容易理解：為何要將2個6Gbps SAS x4主機端口做成控制器的標配，以至于iSCSI和FC也要與之共存，形成混合主機接口的局面？要知道，iSCSI或FC與SAS混合的需求，并不是很多見啊……

要破解此疑問，就必須對DS3500的控制器設(shè)計，進行更深入的解讀了。

架構(gòu)決定能力，傳承中端精髓

雖然IBM及其OEM合作伙伴LSI并未明確提及，但在觀察DS3500控制器的架構(gòu)圖時，還是很容易看到與其DS5000系列中端存儲系統(tǒng)一脈相承的影子。

IBM DS3500控制器架構(gòu)示意，紅色圓框內(nèi)為PCI Express 2.0 x8連接可更換的主機接口子卡

神似之處在于，DS3500與DS5000系列的控制器，都采用PCI Express x8總線連接作為核心處理器的XOR ASIC與可更換的（前端）主機接口子卡。不過，隨著時代的進步，DS3500控制器使用的PCI Express規(guī)范由DS5000系列的1.0升級到了2.0，意味著可提供4GB/s的單向帶寬，完全可以滿足8Gb FC 4端口子卡的需求（8.25Gbps × 4，合3.3GB/s），更不要說4個1Gb iSCSI端口。當(dāng)然，2個6Gbps SAS x4端口4.8GB/s的總帶寬超出了PCI Express 2.0 x8總線的能力范圍，但后者卻并非DS3500控制器的性能瓶頸所在。

DS3500控制器對交換架構(gòu)的采納比DS5000系列更為徹底，而不僅限于核心的XOR ASIC。DS5000的后端驅(qū)動器接口技術(shù)4Gb FC-AL（光纖通道仲裁環(huán)路）本質(zhì)上是一種共享拓撲架構(gòu)，而DS3500的后端驅(qū)動器接口技術(shù)則是全交換的6Gb SAS 2.0。這主要體現(xiàn)在一顆36端口的SAS 2.0擴展器芯片（應(yīng)該是LSISAS2x36），它用24個端口直連24個6Gb SAS驅(qū)動器（DS3524和EXP3524，DS3512和EXP3512實際上只要12個就夠了），另外12個端口均分成三個6Gb SAS x4連接，分別用于本地控制器和另一控制器的核心ASIC，以及擴展柜所需的后端SAS通道。

DS3500控制器的緩存容量提高到了2GB（③），并借鑒了DS5000系列的USB閃存（④）掉電保護技術(shù)

這里必須要指出，IBM介紹DS3500的宣傳材料，在提到SAS的環(huán)節(jié)有失嚴謹。為了提高互連的帶寬，SAS技術(shù)在芯片之間和機箱之間（如服務(wù)器、磁盤柜及擴展柜）往往采用x4并聯(lián)，特別是用于機箱間互連基本都使用x4規(guī)格的SFF-8088連接器（DS3500也不例外），這意味著每條6Gb SAS連接能夠提供2.4GB/s（6Gbps × 4 = 24Gbps）的聚合帶寬（單向）。

但是，在IBM公開發(fā)布的演示材料中，多次將實際為6Gbps SAS x4的地方標示成“One 6 Gbps SAS port”或“6 Gbps SAS Drive Expansion Port”，很容易讓不太了解的人誤解為帶寬僅為6Gbps（600MB/s）。試想，如果DS3500控制器用來連接其余72或84個驅(qū)動器的后端通道只有區(qū)區(qū)600MB/s的帶寬，豈不是個嚴重的瓶頸？

DS3500控制器連接擴展柜的后端通道（紅色方框內(nèi)）帶寬只有600MB/s？從文字描述到圖示，類似的“x4疏忽”比比皆是

因此，可以明確的是，36端口6Gbps SAS擴展器與兩個控制器的ASIC之間，以及后端驅(qū)動器擴展通道，都是x4的連接，單向帶寬均為2.4GB/s。這個數(shù)值與ASIC前端連接主機接口子卡的PCI Express 2.0 x8（4GB/s）或2個固定的6Gbps SAS x4主機端口（4.8GB/s）相比，依然是瓶頸。也就是說，內(nèi)部架構(gòu)決定了單個DS3500控制器的持續(xù)訪問（讀/寫）性能不會超過2.4GB/s。

2個紅色橢圓框標注的位置分別為“SAS擴展器與兩個控制器的ASIC之間”以及“后端驅(qū)動器擴展通道”的SAS通道，看起來像是6Gbps單鏈路（合600MB/s），實為6Gbps SAS x4連接，將DS3500控制器的輸出帶寬限制在2.4GB/s以內(nèi)（雙控配置理論上可以翻倍）

內(nèi)部架構(gòu)的限制也包括作為DS3500控制器核心的XOR ASIC。這個ASIC是個高度集成的RoC（RAID-on-Chip，片上RAID），能夠為RAID 5的XOR運算和RAID 6的P+Q運算提供硬件加速，并支持16個SAS 2.0端口，分成4個6Gb SAS x4連接，其中兩個分別通向本控制器及另一個控制器的36端口6Gbps SAS擴展器，還有兩個表現(xiàn)為前端的SAS主機接口，這也是DS3500控制器標配2個6Gb SAS x4主機端口的原因所在。最關(guān)鍵的還是其800MHz的PowerPC 440處理器內(nèi)核，據(jù)稱具有1.9倍的效率，相當(dāng)于1.5GHz XScale處理器的性能。從IBM提供的數(shù)據(jù)來看，單個DS3500控制器的持續(xù)訪問性能最高可達2000MB/s，也表明該XOR|P+Q ASIC的處理能力與后端磁盤通道的帶寬大致匹配。

細化分層存儲，SAS全代SATA

之前的兩頁，我們先后剖析了DS3500后面（接口部分）和里面（控制器架構(gòu)）與DS3200/3300/3400的不同之處，現(xiàn)在有必要回到正面來看看了。

正面是DS3500相對前代產(chǎn)品變動最大的部分——很顯然，除了12個3.5英寸驅(qū)動器的傳統(tǒng)配置（DS3512），還加入了24個2.5英寸驅(qū)動器的DS3524。DS3500是一款按照SBB 2.0規(guī)范設(shè)計的存儲系統(tǒng)，2U也是SBB 2.0較為偏愛的一種外形規(guī)格。至少，在從前面板插拔驅(qū)動器的前提下，2U規(guī)格能讓3.5英寸和2.5英寸驅(qū)動器都能夠得到妥善的安置，獲得最高的每U驅(qū)動器密度。

分層存儲早已不是什么新概念，但在只有3.5英寸硬盤驅(qū)動器的時候，情況相對簡單——無非是按照轉(zhuǎn)速來劃分，名義上有四個級別，不過主要是代表高性能的15000RPM（15K RPM）和代表大容量的7200RPM，10000RPM（10K RPM）已趨于消亡，而WD的GP系列（5400RPM）和希捷的LP系列（5900RPM）也多用在以節(jié)能為主要賣點的場合。

在2.5英寸硬盤驅(qū)動器加入之后，DS3500的選擇一下增加到了5個：

— 2.5英寸15K RPM：“單挑”IOPS不遜色于3.5英寸15K RPM，甚至略高，更重要的是每2U機架空間內(nèi)的數(shù)量加倍（24 vs. 12），具有最高的總體IOPS性能，和至少兩倍的IOPS密度；

— 3.5英寸7200RPM：最大的容量，較低的能耗；

— 2.5英寸7200RPM：最低的能耗，較大的容量；

3.5英寸15K RPM和2.5英寸10K RPM都是IOPS和容量兼顧，但前者更占優(yōu)勢。3.5英寸15K RPM驅(qū)動器的容量兩倍于2.5英寸10K RPM（600GB vs. 300GB），IOPS性能也略高，因此：硬盤驅(qū)動器總數(shù)相同的情況下（如96個滿配），3.5英寸15K RPM具有兩倍的容量和較高的IOPS性能，但盤柜成本較高（多用一倍的數(shù)量）；占用機架空間相同的情況下，2.5英寸10K RPM提供同樣的容量和較高的IOPS性能，但單位容量成本較高。

兩者的另一共同點是都有自加密的型號（SED，自加密驅(qū)動器），當(dāng)必須為DS3524或EXP3524配備自加密驅(qū)動器時，就只能從2.5英寸10K RPM中選擇。

總的來說，DS3512、DS3524主盤柜和EXP3512、EXP3524擴展柜都支持不同轉(zhuǎn)速的驅(qū)動器混合使用，但為了便于管理，IBM建議分層存儲能夠以盤柜為單位，即一個磁盤柜里只有一種類型（轉(zhuǎn)速，是否加密）的驅(qū)動器。15K RPM硬盤驅(qū)動器組成的第一層（Tier 1）存儲承載OLTP、ERP、電子郵件等對響應(yīng)時間要求較高的應(yīng)用，7200RPM硬盤驅(qū)動器組成的第二層（Tier 2）存儲滿足工程、開發(fā)等需求……2.5英寸驅(qū)動器還可以進一步降低能耗。

IBM DS3500分層存儲示意，不同轉(zhuǎn)速的3.5英寸和2.5英寸硬盤驅(qū)動器，以及SED，都各有定位

DS3500與DS3200/3300/3400的另一大區(qū)別是僅支持SAS驅(qū)動器。換言之，不再通過SAS-SATA橋接卡將7200RPM SATA硬盤驅(qū)動器轉(zhuǎn)換為SAS接口，而是直接使用7200RPM的近線（Nearline，NL）SAS硬盤驅(qū)動器。作為這種硬盤驅(qū)動器的唯一供應(yīng)商，希捷（Seagate）公司宣稱，平均來說，NL SAS硬盤驅(qū)動器僅比同樣規(guī)格的SATA硬盤驅(qū)動器貴3～4%，但省去了橋接的中間環(huán)節(jié)，提高了可靠性，同時在小數(shù)據(jù)塊的I/O上具有更好的性能表現(xiàn)。

不過，NL SAS硬盤驅(qū)動器的機械部分畢竟脫胎于7200RPM SATA硬盤驅(qū)動器，可靠性仍與15K RPM硬盤驅(qū)動器有較大的差距，重建時間也更長，需要RAID 6技術(shù)的保護。DS3500控制器提供的硬件輔助P+Q功能可以加速RAID 6處理，縮小與RAID 5的性能差距。

fanz