2013年10月17日存儲在線、ZDNet企業(yè)解決方案中心聯(lián)合發(fā)布：基于閃存(Flash)技術(shù)的固態(tài)盤(SSD)成為存儲市場上的熱點話題已有時日，但在中國的傳統(tǒng)企業(yè)用戶中，也要面對“叫好不叫座”的尷尬。原因當(dāng)然有很多，其中最重要的一條，還是同樣容量下，比硬盤高得多的價格。加之中國的傳統(tǒng)企業(yè)用戶通常比較“羞澀”，所以我們看到出來分享固態(tài)盤使用心得的多是互聯(lián)網(wǎng)企業(yè)，較大型的傳統(tǒng)企業(yè)都少見。

在一個偶然的機會，ZDNet企業(yè)解決方案中心首席分析師張廣彬(新浪微博@狒哥)和DOIT傳媒副總編彭彥明(新浪微博@阿明1977)結(jié)識了中國鐵道出版社的劉波。在我們的印象中，還沒做好把相對高端的PCI Express固態(tài)盤(PCIe閃存卡)與鐵道出版社這樣的企業(yè)聯(lián)系起來的思想準(zhǔn)備——恕我們無知，主要還是對固態(tài)盤在中國傳統(tǒng)企業(yè)用戶中的接受程度不敢樂觀。因此，當(dāng)我們得知劉波已經(jīng)用生產(chǎn)環(huán)境中的設(shè)備體驗了PCIe閃存卡相對老式磁盤陣列的巨大性能提升時，不由得產(chǎn)生了巨大的興趣。

以下是劉波的分享文章，紅色字體的段落是編者的注解……一定要結(jié)合起來看喲!

本文通過對MEMBlaze Q520H型PCIe接口固態(tài)硬盤與EMC CX3-20型SAN傳統(tǒng)磁盤存儲陣列進(jìn)行的對比測試，提出了使用PCIe接口固態(tài)硬盤作為存儲介質(zhì)，提高SQLServer數(shù)據(jù)庫性能的一種技術(shù)途徑。

MEMBlaze Q520H型PCIe接口固態(tài)硬盤

EMC CLARiiON CX3-20存儲陣列

編者注：Q520H是國內(nèi)初創(chuàng)企業(yè)MemBalze公司的上一代產(chǎn)品，而CX3-20又要早上個四五年。在三年恨不得當(dāng)三十年過的IT行業(yè)，相差四五年之間的產(chǎn)品比拼，快趕上“關(guān)公戰(zhàn)秦瓊”了……不過，這種情況在用戶考慮系統(tǒng)升級方案的時候，卻是很有可能出現(xiàn)的。這種不同產(chǎn)品品類之間“非對稱”對比的另一前提在于，用戶只想要更高的單機數(shù)據(jù)庫性能——如果離不開共享存儲和基于SAN的高級軟件功能，全閃存陣列或混合陣列更為合適。

一、 測試設(shè)備

在一臺服務(wù)器中同時架設(shè)Q520H型PCIe接口固態(tài)硬盤與EMC CX3-20型SAN傳統(tǒng)磁盤存儲陣列，分別對存儲設(shè)備的指標(biāo)進(jìn)行測試。其中，

1. 服務(wù)器型號為：DELL R900;

2. 服務(wù)器配置：Intel Xeon E7320 4顆CPU，主頻2.13GHz;內(nèi)存64GB，4個PCIe x8接口;

3. 固態(tài)硬盤加速卡型號：MEMBlaze Q520H型PCIe接口固態(tài)硬盤，插入PCIe x8接口;

4. 存儲陣列型號：5塊光纖接口硬盤RAID 5模式構(gòu)成的4Gb 光纖通道EMC CX3-20存儲陣列;

5. 配置軟件：Windows 2008 Server 64位操作系統(tǒng)、SQL Server 2008 64位數(shù)據(jù)庫

編者注：正如作者所言，包括服務(wù)器、存儲陣列、操作系統(tǒng)和數(shù)據(jù)庫軟件在內(nèi)的整個現(xiàn)有方案，部署于2008年�；叵肽菚r尚可擔(dān)綱主力的R900，提供的還是PCI Express 1.1插槽，而去年基于至強E5平臺的服務(wù)器就已達(dá)到PCI Express 3.0，短短四年間換了兩代，真有恍如隔世之感……

如此的老平臺對Q520倒不是大問題，因其使用的是PCI Express 1.1 x8接口，與服務(wù)器正好匹配，單向帶寬2GB/s。

真正老態(tài)盡顯的是CX3-20。作為EMC在2006年推出的CLARiiON CX3中端存儲家族的一員，CX3-20最多支持120個FC硬盤，4-12個4Gb/s FC主機端口，但4Gb/s FC磁盤端口只有2個，因而磁盤帶寬不會超過800MB/s。

那么，這是一場注定不公平的對決么?


PCIe閃存卡開路先鋒Fusion-io早期的案例：對那些使用SAN，只為獲得大量硬盤堆疊IOPS的用戶來說，以PCIe閃存卡替代，是非常好的選擇。

二、 測試方法

使用CrystalDiskMark3_64位軟件，分別測試連續(xù)讀寫、隨機讀寫，2種模式下的傳輸率，測試5次，取平均值，并推算出IOPS，另選擇了HD_Tune_Pro測試軟件進(jìn)行參考對比，以排除測試軟件誤差。同時進(jìn)行了SQL Server2008數(shù)據(jù)庫實際使用測試。

為排除操作系統(tǒng)緩存的干擾，測試中關(guān)閉了操作系統(tǒng)的寫緩存功能。

編者注：這個測試最有爭議的部分來了，那就是測試軟件的選擇。CrystalDiskMark和HD Tune Pro都是用來測消費類設(shè)備如SSD的，怎么能測這些企業(yè)級存儲產(chǎn)品呢?

這一點我原則上同意，但不贊成持全盤否定的態(tài)度。這里先從技術(shù)上不太“嚴(yán)謹(jǐn)”的探討一下，文尾再說說我的看法，也是刊出本文的價值所在。

一方面，從原理上，存儲產(chǎn)品的測試，企業(yè)級產(chǎn)品和消費類產(chǎn)品、系統(tǒng)級產(chǎn)品(如磁盤陣列)與部件級產(chǎn)品(如硬盤)，沒有本質(zhì)的區(qū)別。譬如說，IOmeter測試消費類產(chǎn)品和企業(yè)級產(chǎn)品，都是可以信賴的;存儲性能委員會(Storage Performance Council，SPC)在存儲系統(tǒng)級Benchmark規(guī)范SPC-1/2的基礎(chǔ)上，開發(fā)出了面向存儲部件(磁盤、SSD、HBA/RAID卡等)的SPC-1C/2C;

另一方面，CrystalDiskMark、HD Tune Pro畢竟不是IOmeter，它們可以說是專門為消費類產(chǎn)品設(shè)計的，沒有考慮到外部存儲系統(tǒng)的一些特性。以我個人以前使用同類軟件的經(jīng)驗來看，它們對內(nèi)置存儲和簡單的直連存儲設(shè)備(包括PCIe閃存卡和USB存儲)測試的結(jié)果一致性比較好，但對外部存儲系統(tǒng)的測試結(jié)果則往往難以解釋;

更不要說企業(yè)級產(chǎn)品都要測持續(xù)性能，SSD還包括抖動、延時、損耗……的考察，這些也不是相對簡單的消費級測試軟件可以承擔(dān)的。

那么，這不是對老存儲系統(tǒng)更不公平了么?莫急，我們可以對看來不太可信的測試結(jié)果進(jìn)行強力“補償”，重點仍然在于最后解釋用戶這么做的合情性……so請性急的看客耐著性子往下看……

三、 測試結(jié)果

1.CrystalDiskMark3_64位軟件測試結(jié)果

2.HD_Tune_Pro軟件測試結(jié)果

3.SQL Server數(shù)據(jù)庫備份還原測試

編者注：正如上一段點評所指出的，CrystalDiskMark和HD Tune Pro測試PCIe閃存卡的成績還算靠譜。以CrystalDiskMark來說，Q520H順序讀(1147MB/s)超過了接口理論帶寬(2GB/s)的一半，而CX3-20就有點過低了。雖然只配5個FC盤，但即使配滿了120個硬盤，實際帶寬也超不過800MB/s。這還是兩個4Gb/s FC磁盤端口全用上的情況，如果只用一個，那CX3-20的帶寬連400MB/s都到不了。

這也不能怪CX3-20，因為傳統(tǒng)磁盤陣列堆那么多硬盤，不是為了湊順序訪問帶寬，而是拼隨機訪問的IOPS(I/O per second，每秒I/O操作數(shù))。EMC曾經(jīng)給出過15000RPM(15K RPM)硬盤在CLARiiON這樣的中端存儲系統(tǒng)中隨機訪問性能的經(jīng)驗值——大約200IOPS。照這樣算的話，5個盤的讀IOPS可以有1000，兩款軟件的隨機測試成績有點過低了。但即使按1000算，比Q520H也還差很多。

EMC官方發(fā)布的CLARiiON CX3應(yīng)用性能，注意CX3-20滿配的OLTP性能，單位是TPM，即每分鐘交易數(shù)，折合成每秒I/O的話……

第三項是真實應(yīng)用中的測試，SQL Server備份的速度比EMC官方發(fā)布的CLARiiON CX3應(yīng)用性能指標(biāo)要低不少。一則官方數(shù)據(jù)中的CX3-20是滿配，硬盤數(shù)24倍于本文配置;二則看起來劉波的測試中備份源與目標(biāo)都是同一設(shè)備(Q520H或CX3-20)，既讀又寫，備份速度肯定大打折扣。

解釋的差不多了，看結(jié)論……

四、 數(shù)據(jù)分析

1. 連續(xù)傳輸率比較

讀比率：PCIe固態(tài)盤/RAID5光纖盤=1147/205.9= 5.57

寫比率：PCIe固態(tài)盤/RAID5光纖盤=647.3/224= 2.89

結(jié) 論：PCIe固態(tài)盤比RAID5光纖盤連續(xù)存取傳輸率有大幅提升。

2. 隨機讀寫傳輸率比較

(1)512KB測試塊：

讀比率：PCIe固態(tài)盤/RAID5光纖盤=952.9/55.01= 17.32

寫比率：PCIe固態(tài)盤/RAID5光纖盤=644.4/96.99= 6.64

(2)4KB測試塊：

讀比率：PCIe固態(tài)盤/RAID5光纖盤=25.67/0.951= 26.99

寫比率：PCIe固態(tài)盤/RAID5光纖盤=83.97/12.71= 6.61

結(jié) 論：PCIe固態(tài)盤比RAID5光纖盤的隨機存取傳輸率有大幅提升，與連續(xù)存取傳輸率的提升比較，性能指標(biāo)提升的幅度更大，最高達(dá)26.99倍。

3.連續(xù)讀寫與隨機讀寫的差異比較

(1)PCIe固態(tài)盤差異：

連續(xù)傳輸率對比512K隨機傳輸率：

讀比率：1147/952.9=1.20

寫比率：647.3/644.4=1.00

連續(xù)傳輸率對比4K隨機傳輸率：

讀比率：1147/25.67=44.68

寫比率：647.3/83.97=7.71

(2)RAID5光纖盤差異：

連續(xù)傳輸率對比512K隨機傳輸率：

讀比率：205.9/55.01=3.74

寫比率：224/96.9=2.31

連續(xù)傳輸率對比4K隨機傳輸率：

讀比率：205.9/0.951=216.51

寫比率：224/12.71=17.62

結(jié) 論：無論是對讀操作還是寫操作，對于連續(xù)傳輸傳輸率與隨機存取傳輸率的性能差異，PCIe固態(tài)盤都比RAID5光纖盤的性能落差都有所收窄，并且這種性能落差的收窄幅度是與數(shù)據(jù)塊大小成負(fù)相關(guān)。即數(shù)據(jù)塊越小，相對于RAID5光纖盤而言，PCIe固態(tài)盤的性能提升越明顯。對于4K數(shù)據(jù)塊讀操作，性能提升最高達(dá)到4.85倍。

編者注：雖然在測試軟件的選擇和部分測試結(jié)果上存在著不同程度的爭議，Q520H與CX3-20在性能上的差距可能被拉大了一些，但上述分析結(jié)果的方向還是正確的，符合SSD隨機訪問能力優(yōu)異，硬盤適合順序讀寫的認(rèn)知。所以，隨機訪問的數(shù)據(jù)塊越小，SSD優(yōu)勢越明顯;數(shù)據(jù)塊越大，硬盤的落后幅度就會小一些。

換句話說，劉波用不規(guī)范的測試手段，得到了總體正確的結(jié)論。那么，這對我們有何啟發(fā)?

五、總 結(jié)

連續(xù)傳輸率和隨機傳輸率是衡量存儲系統(tǒng)的重要指標(biāo)，這2個指標(biāo)的提高對于提升數(shù)據(jù)庫的訪問性能具有直接作用。從以上測試結(jié)果說明：

1. PCIe固態(tài)硬盤在這2個指標(biāo)上都比SAN光纖傳統(tǒng)硬盤有大幅度提高，并且各指標(biāo)表現(xiàn)更加均衡。

2. 相對傳統(tǒng)機械硬盤存儲而言，小數(shù)據(jù)塊隨機傳輸率的提升尤為顯著。小數(shù)據(jù)塊隨機傳輸率的提升會提高存儲設(shè)備的IOPS指標(biāo)。而IOPS是任何以數(shù)據(jù)庫為支撐的信息系統(tǒng)最為關(guān)心的指標(biāo)之一。對于傳統(tǒng)機械硬盤，這個指標(biāo)難以大幅度提高的，即時有所提高，代價也相對昂貴。通過發(fā)揮PCIe固態(tài)盤存儲介質(zhì)的優(yōu)勢，會直接提高數(shù)據(jù)庫的事物處理能力，對于提高OTLP類應(yīng)用的并發(fā)處理能力，是高效而低成本的性能提升手段。

3. 對于固態(tài)硬盤而言，由于隨機傳輸率的性能與連續(xù)傳輸率的性能呈正相關(guān)，并且連續(xù)傳輸率與隨機傳輸率的性能落差已大為縮小，因此連續(xù)傳輸率將成為反映固態(tài)硬盤性能的主要代表指標(biāo)之一，而連續(xù)傳輸率指標(biāo)將是由固態(tài)硬盤的內(nèi)部結(jié)構(gòu)及接口速率決定，因此考察固態(tài)硬盤的性能可以重點觀察固態(tài)硬盤的接口速率及讀寫延遲指標(biāo)。

4. 測試還證明，吞吐量的提升將會縮短數(shù)據(jù)庫備份還原時間，這會壓縮系統(tǒng)維護(hù)時間窗口，提高系統(tǒng)在線服務(wù)能力。

編者注：對上述結(jié)論，我們首先有一些補充意見：

1. 隨機訪問性能是基于半導(dǎo)體技術(shù)的閃存相對機械硬盤最大的優(yōu)勢所在，不要說老舊的CX3-20，一塊優(yōu)秀的PCIe閃存卡，IOPS性能優(yōu)于配備了幾百個高轉(zhuǎn)速硬盤的傳統(tǒng)磁盤陣列(或曰全磁盤的存儲系統(tǒng))，早已不是天方夜譚;

2. 相對而言，硬盤的順序讀寫能力不算差。以前受限于SAS/SATA接口的帶寬限制，SSD的順序讀性能至多是硬盤的兩三倍，現(xiàn)在有了PCI Express 3.0的支持，一個PCIe閃存卡的順序讀性能可以十倍于硬盤。但是，大量的硬盤堆疊起來，只要存儲系統(tǒng)的帶寬足夠，是可以與SSD一爭高下的。加上硬盤在容量和成本上的優(yōu)勢，用磁盤存儲系統(tǒng)來做備份，還是更好的選擇。

這么說來，劉波的測試不過是證明了已有結(jié)論的事實?那為什么還要做這“無用功”呢?

或許恰恰說明了閃存產(chǎn)品在中國的傳統(tǒng)企業(yè)市場上接受度未如人意的原因。雖然在大小廠商的發(fā)布活動上，動輒可見SSD或閃存陣列I/O性能“10X”、“30X”乃至“100X”于磁盤或磁盤陣列的對比，可能也沒有夸大，但一則面向用戶宣傳的力度還不夠，二則用戶對廠商自說自話的宣傳也心存疑慮。在缺乏可信的第三方測試數(shù)據(jù)支持的情況下，用戶自己測試是既負(fù)責(zé)又無奈的行為。

可能有人會說了，用戶自己測試可以呀，多搞些實際應(yīng)用環(huán)境中的測試，不要這么“小兒科”嘛……可是，用戶的本職工作是服務(wù)好所在企業(yè)的應(yīng)用，沒有成為專職測試人員的義務(wù)，大多數(shù)人也沒有這條件，不信請看：

3. 本文中在SQL Server環(huán)境中進(jìn)行了測試，算比較貼近該用戶的應(yīng)用。不過，我們知道，要檢驗存儲設(shè)備在SQL Server環(huán)境中的性能，主要考察的應(yīng)該是隨機訪問(IOPS)，復(fù)制/恢復(fù)屬于次要場景。但是，像SQL Server這樣的商業(yè)數(shù)據(jù)庫，專門設(shè)計的測試軟件并不多，現(xiàn)屬戴爾的Toad for SQL Server在高級版本里提供了測試工具，一則需要購買軟件許可，二則配置復(fù)雜，不能指望大多數(shù)企業(yè)用戶為了測試存儲的性能，下這么大的功夫在本分以外的工作上。針對Oracle數(shù)據(jù)庫的Orion是免費的，但也需要相當(dāng)?shù)臏y試經(jīng)驗才能使用。至于編個腳本進(jìn)行針對性的測試，就更是對用戶的苛求了。

這一點同樣可以解釋該用戶使用CrystalDiskMark和HD Tune Pro，而不是IOmeter來進(jìn)行Benchmark測試。作為一款相對專業(yè)的測試工具，IOmeter可以調(diào)整很多參數(shù)，定制測試模型，也意味著更難上手;CrystalDiskMark和HD Tune Pro則相反，測試模型雖不透明但貴在簡單，出結(jié)果快且直觀，拿來就用很是方便。

這也引發(fā)了關(guān)于“實際用戶場景測試”的思考。“貼近用戶實際應(yīng)用的測試”一直是ZDNet企業(yè)解決方案中心的宗旨，而有時面對“在實際用戶環(huán)境中測試的結(jié)果”這類要求，則令我們頗感為難。須知用戶是不會貿(mào)然直接在生產(chǎn)環(huán)境中使用新產(chǎn)品的，據(jù)說即使是百度這樣的互聯(lián)網(wǎng)用戶，其測試部門也拿不到生產(chǎn)部門的數(shù)據(jù)集和代碼，只能以盡量貼近的腳本來模擬。這一步通常屬于驗證性的，因為用戶顯然不能對廠商的宣傳照單全收，特別是在大規(guī)模的采購部署之前，一定要先對性能和兼容性等方面有個基本的把握。至于在用戶應(yīng)用環(huán)境中的實際表現(xiàn)如何，那就屬于應(yīng)用案例的范疇，雖然數(shù)據(jù)更準(zhǔn)確也更有“可信度”，卻不能強加到產(chǎn)品測試的環(huán)節(jié)啦。

在磁盤陣列的時代，不同廠商的同代產(chǎn)品之間，性能通常不會有數(shù)量級的差別，用戶可以將注意力集中在軟件功能和對應(yīng)用的支持上。閃存作為一種顛覆性技術(shù)，雖然聲勢日隆，畢竟用過的企業(yè)用戶還不算多(尤其在中國)。沒接觸過的企業(yè)不能毫無保留的信任，是對自身負(fù)責(zé)的表現(xiàn)。在這種情況下，我們第三方測試機構(gòu)有義務(wù)幫助企業(yè)級閃存技術(shù)/產(chǎn)品的潛在用戶，在貼近自身應(yīng)用的場景中，檢驗新產(chǎn)品新技術(shù)的實際效能。（實際測試者：中國鐵道出版社劉波，文中編輯點評：ZDNet企業(yè)解決方案中心首席分析師張廣彬。）

ZDNet企業(yè)解決方案中心聯(lián)合發(fā)布本文：《一個PCIe閃存卡測試引發(fā)的思考》