IBM DS3524(24個2.5英寸驅動器)。DS3500系列另有一款12個3.5英寸驅動器的DS3512，以及同樣為2U高度的EXP3512和EXP3524 12/24盤位6Gb/s SAS JBOD擴展柜

回顧：架構設計、初始性能及Turbo選項

我們曾列出過下圖：

“IBM DS3500在2011年上半年就已經(jīng)增加支持到192塊盤。3.5英寸3TB 7,200rpm近線SAS驅動器、2.5英寸900GB 10,000rpm和1TB 7,200rpm都是隨著去年10月IBM磁盤存儲新品發(fā)布時的多款型號一同加入。而200GB和400GB的SSD(固態(tài)驅動器)則是原來沒有的，考慮到戴爾MD3200/3600系列從發(fā)布至今只支持一款149GB SSD以及機械硬盤列表中的細微差別，可以看出IBM對DS3500的定位還是要稍微高一些(或者說覆蓋的用戶群更廣)，而Dell則更偏重于SMB市場。

IBM還對此進行了限制說明，每個系統(tǒng)(包括DS3500控制器和所有連接的EXP3524擴展單元)最大支持20個SSD。限于其控制器處理能力和SSD相對高昂的價格，這個數(shù)量對于用戶來說已經(jīng)足夠了。”

在《SPC-1：閃存 vs.磁盤新舊勢力的戰(zhàn)場》一文中，我們還提到過：

“來自NetApp E2600原型系統(tǒng)的High Performance Tier，戴爾PowerVault MD3200/3600系列產(chǎn)品和SGI稱其為高性能層級，在IBM DS3500上則叫做Turbo Performance。它是一個可以在控制器Firmware層級激活的選項，需要單獨購買。根據(jù)筆者的經(jīng)驗，High Performance Tier應該是允許將不同LUN選擇分配給A/B控制器(注意：不是同一個LUN在2個控制器間自動負載均衡)，以實現(xiàn)Active/Active(雙活動)配置最大發(fā)揮性能。而默認情況下只能分配給第一個控制器，在它出現(xiàn)故障時才能由另一個接管上面的LUN…

…可以從側面看出，該產(chǎn)品家族(包括DS3500、MD3200/3600和SGI 5000-SP)單個控制器的IOPS處理能力在48個高轉速SAS硬盤的情況下還不會成為瓶頸;對于曾經(jīng)的滿配——96個驅動器(目前增加到支持192 個)，加上High Performance Tier才能比較充分地發(fā)揮其性能。”

關于DS3500以及上面提到的相關產(chǎn)品，筆者曾經(jīng)陸續(xù)寫過不少東西。上圖是在2年前IBM的發(fā)布會上列出的性能指標，這里我們再來回顧一下包含有紅字的兩列——即Base(基本)和Turbo(激活Turbo選項)狀態(tài)的DS3500。

戴爾PowerVault MD3200/3200i的控制器結構圖，左邊是iSCSI主機接口的MD3200i，而右邊為6Gbps SAS主機接口的MD3200(相當于SAS主機接口的NetApp E2600和IBM DS3500)

由于IBM沒有公布DS3500如此詳細的控制器結構圖，在這里我們引用一下戴爾PowerVault MD3200系列的資料作為參考：

“戴爾隱去了右側MD3200控制器中的2顆主要芯片，它們分別是和左邊一樣的包含了800MHz PowerPC處理核心的6Gbps SAS RoC(RAID on Chip)、以及36端口SAS擴展器。整個方案中還有2個比較重要的芯片，即總共支持32個lane的8端口PCI-E交換芯片和位于它上方的主機接口擴展子卡，在這里左右兩邊就不同了：MD3200i使用的是一顆提供4×1Gb iSCSI端口的以太網(wǎng)控制器(有可能是MAC+PHY)，而MD3200則是一個IOC(8端口SAS控制器芯片)。

我們清楚的看出右側戴爾MD3200的結構圖與IBM DS3500中的SAS主機接口配置完全相同，DS3500使用了16端口的SAS RoC，因此標配2個SAS主機連接，而iSCSI和FC的配置只是將IOC換成了以太網(wǎng)(帶有TOE)或者光纖通道接口子卡。

我們還發(fā)現(xiàn)整個控制器設計中的I/O帶寬瓶頸在于RoC和SAS擴展器之間的x4 SAS連接，它的最大接口速度是600×4=2400MB/s，限制了后端連接磁盤的帶寬。不過根據(jù)同樣使用800MHz PowerPC的LSI MegaRAID系列6Gbps SAS RAID卡的最高性能指標(讀：2800MB/s、寫：1800MB/s以上)來看，目前這一代RoC的處理能力基本也處于同一范圍，而且由于外置控制器的磁盤陣列連接主機需要經(jīng)過比RAID卡更多的協(xié)議轉換，其單控制器性能低于RAID卡也是可以理解的?！?/p>

混合主機接口價值、IOPS上限由控制器決定?

筆者參加LSI亞太存儲論壇2010時，現(xiàn)場展示的一臺Engenio 2600存儲系統(tǒng)控制器和電源

對于IBM DS3500控制器在主機接口方面采取標配6Gb SAS加上可選8Gb FC或者1/10Gb iSCSI接口子卡的混合式設計，我們覺得比戴爾PowerVault MD3200/3600系列單純提供一種主機接口更有特點。同時也給用戶提供了更多的價值和靈活性，可以在初始SAS連接DAS部署的基礎上升級加入光纖通道和IP SAN陣列功能。

96個3.5英寸驅動器(或者192個2.5英寸驅動器)的IBM DS3500滿配連接示意圖，一共8個盤柜，最上面的是控制器所在的主盤柜，其余7個是通過SAS級連的JBOD擴展柜。

在去年9月對IBM STG(系統(tǒng)與科技事業(yè)部)磁盤存儲產(chǎn)品首席技術官Vincent Hsu(許育誠)先生的采訪中，筆者提出這樣一個問題：“DS3500支持的驅動器數(shù)量增加到192個，如果是3.5英寸驅動器就需要級聯(lián)15個SAS JBOD擴展柜，您認為可能帶來的延遲增加，會對性能有不利影響嗎?”

Vincent Hsu：“我覺得現(xiàn)在這種(DS3500的產(chǎn)品)，只要不加固態(tài)盤的話，延遲都是差不多的。因為機械硬盤的速度(平均I/O訪問時間，筆者注)太慢，特別 是我知道DS3500用的是基于硬件的RAID，相對于CPU和內(nèi)存而言，理論上硬盤(的延遲)會差太多。如果數(shù)據(jù)非常隨機的話，緩存的命中率就會低，一 旦訪問硬磁盤速度就會慢下來。

首先它的吞吐量是一樣的，本身的瓶頸不在于驅動器，而是由控制器決定?！?/p>

NetApp網(wǎng)站上的E系列產(chǎn)品線規(guī)格對比(部分)，其中E2600(原LSI Engenio 2600)和E7900分別是IBM DS3500和DS5300的原形產(chǎn)品。我們看到E2600使用SSD的持續(xù)IOPS性能由硬盤時的40,000提高到70,000，不過要是用戶在2U 24個2.5英寸驅動器位的機箱中裝滿(或者只裝一半)SSD的話，這個數(shù)字早就成為瓶頸了吧?

“也就是說如果不用SSD的話，這方面不會有多大的影響。Vincent Hsu對此表示認同。

我們估計實際使用的人不會在里面裝很多個SSD(上文中提到該產(chǎn)品現(xiàn)在最大支持20個SSD)，因為DS3500定位的關系。Vincent Hsu還說：一般來講，用SSD的人太少了，因為1、2個SSD的價格可能就比DS3500(控制器機箱)要高了。”

以上匯總了這么多的回顧，該轉向本文的主題了。要想充分發(fā)揮IBM DS3500的IOPS性能大致有3個因素：Turbo選項、增加驅動器數(shù)量，還有使用SSD。那么我們將在本文下一頁討論兩部分內(nèi)容：

1.DS3500在96塊硬盤的測試中，最大隨機讀磁盤IOPS(這里不討論緩存性能)為40,000;而SSD配置下可達70,000。那么如果使用192個傳統(tǒng)機械硬盤的情況如何呢?

2.對于Turbo選項，看上去它僅僅是一個在固件層面激活的Key。然而根據(jù)我們的了解，通過Turbo選項提高性能也許需要建立在一定的硬件配 置基礎上，或著說有些“最佳實踐”或者約定俗成的規(guī)則?筆者所知有限，寫的內(nèi)容可能不夠嚴謹，只是希望能夠給讀者帶來有用的參考。

192硬盤IOPS接近SSD、HIC子卡助性能提升?

IBM DS3500隨機讀寫IOPS性能與硬盤數(shù)量、Turbo選項之間的關系

上面來自IBM的這張圖表可以說“一圖抵千言”：首先不看Turbo模式對緩存IOPS的幫助;在96個高轉速SAS硬盤的情況下(應該是10.70版本固件)，未激活Turbo模式時隨機讀/寫IOPS分別為30,000和7,500，而打開Turbo模式之后達到了40,000和12,500;而在192塊硬盤(10.75版本)Turbo模式下，隨機讀/寫IOPS進一步上升到65,000和15,000，其中前者已經(jīng)接近使用SSD獲得的性能水平。

也就是說，盡管我們沒有看到在IBM的測試配置中使用了2.5還是3.5英寸驅動器，不過事實證明Vincent Hsu先生所說，“DS3500在192個硬盤配置下無法發(fā)揮其最大性能”這種擔心基本上是多余的。另外，根據(jù)我們看到的一些相關測試數(shù)據(jù)，這里的隨機寫性能應該是在RAID 5/6設置下實現(xiàn)的。

上圖來自SPC-1基準測試結果文檔，一臺DS3524雙控制器陣列級連3個EXP3524擴展柜，一共96個300GB 10K RPM SAS硬盤驅動器。主機訪問通過服務器上安裝的2塊IBM 6Gb SAS HBA來實現(xiàn)。這里我們還看到在每個控制器上添加了一塊HIC SAS接口子卡，是為了增加主機連接數(shù)量嗎?

IBM DS3500運行SPC-1 Benchmark的存儲配置表

根據(jù)這個表格，上面那張連接圖所顯示的配置除了啟用“Turbo Performance”之外，每控制器2個板載的6Gb SAS主機接口(miniSAS x4連接器，雙控一共4個)都沒有使用，而是將服務器全部連接在了HIC子卡提供的SAS端口上面，這是為什么呢?

聯(lián)想到上一頁中的MD3200/DS3500控制器結構圖(右邊那張SAS主機接口的)，我們這樣猜測：LSI SAS2116 CPU中包含800MHz的PowerPC 440處理器，而HIC子卡上代號為“Falcon”的LSI SAS2008控制器也帶有533MHz的PowerPC。那么IBM DS3500運行SPC-1基準測試時，應該是為了讓SAS控制器專注于前端主機I/O，而核心RoC則可以解放出這部分資源來處理RAID和后端磁盤I/O等。

對于FC和iSCSI主機接口的DS3500，如果不同時使用SAS連接的話，可以不用注意這個問題。這款陣列在6Gb/s SAS(x4 link理論帶寬2.4GB/s)訪問的情況下可以達到最高性能，8Gb/s光纖通道基本與之相仿，10Gb/s(萬兆以太網(wǎng))iSCSI略有差距，而千兆iSCSI主要針對非帶寬類型和性能要求不高的應用。

IBM DS3500運行SPC-1 Benchmark的組件價格表

最后再來看一下DS3500 Turbo Performance選件的參考價格——6850美金，這個與帶有雙控制器的DS3524存儲系統(tǒng)相比不算便宜。但在滿配96個300GB 10,000rpm 2.5英寸SAS驅動器等組件之后，只占總價格95,384美元的不到10%，我們認為在應用性能有需要的前提下還是可以接受的。

wangzhen