要改善物理服務(wù)器或虛擬服務(wù)器應(yīng)用的I/O性能，一個(gè)重要因素就是縮短I/O發(fā)起者與目標(biāo)存儲(chǔ)之間的延時(shí)。延時(shí)是應(yīng)用程序性能的頑固之?dāng)�，有著�?jiǎn)單的算術(shù)關(guān)系：隨著時(shí)延增加，性能降低。

延時(shí)與下面幾個(gè)因素直接相關(guān)：

· 距離延遲，這受限于光的速度

· 存儲(chǔ)協(xié)議延遲，如TCP/IP，F(xiàn)CP，iSCSI，F(xiàn)CoE、 AoE、 SCSI、 SATA、 SAS等

· I/O 處理步驟延遲，這是由于I/O處理路徑需要經(jīng)過(guò)從應(yīng)用到目標(biāo)存儲(chǔ)，包括PCIe、 SAS、 SATA、 FC等類(lèi)型的存儲(chǔ)控制器

· 切換延遲

· 爭(zhēng)用延遲

· 存儲(chǔ)的讀寫(xiě)延遲 (這項(xiàng)對(duì)于旋轉(zhuǎn)介質(zhì)相對(duì)較高) 延遲是添加劑。關(guān)于降低延遲和提高 I/O 性能的傳統(tǒng)觀點(diǎn)是消除或盡可能多地減輕相關(guān)因素。

· 減輕距離延遲：通過(guò)使目標(biāo)存儲(chǔ)盡可能接近 I/O 發(fā)起者

· 緩解存儲(chǔ)協(xié)議延遲：通過(guò)使用需要處理或轉(zhuǎn)換最少的協(xié)議

· 緩和 I/O 處理延遲：通過(guò)移除I/O處理路徑上的某些步驟或控制器

· 避免切換延遲：不經(jīng)過(guò)任何切換

· 減少爭(zhēng)用延遲：通過(guò)限制I/O 必須經(jīng)過(guò)的共享交換結(jié)構(gòu) PICe閃存卡 讀/寫(xiě)延遲是存儲(chǔ)管理員最關(guān)注并著力解決的，盡管它只是延遲全圖中的一部分。

減輕這部分的延遲在今天看來(lái)是比較簡(jiǎn)單容易辦到的，使用基于閃存的存儲(chǔ)驅(qū)動(dòng)器。支持SATA, SAS, FC或FcoE接口類(lèi)型的閃存驅(qū)動(dòng)器(又名固態(tài)硬盤(pán)或SSD)直接安裝在服務(wù)器內(nèi)，對(duì)減緩上邊提到的其他類(lèi)型延遲效果并不明顯。

另一方面，PCIe閃存卡也確實(shí)減輕了那些延遲，因?yàn)樗鼈兪侵苯忧度隤CIe通道，而不是通過(guò)PCIe連接到外部的SAS，SATA或FC存儲(chǔ)控制器。它們幾乎不需要從應(yīng)用到達(dá)目標(biāo)存儲(chǔ)路徑的步驟。它們沒(méi)有對(duì)交換的競(jìng)爭(zhēng)。他們唯一的競(jìng)爭(zhēng)來(lái)自于PCIe通道上的其他設(shè)備。

PCIe閃存驅(qū)動(dòng)器對(duì)于減輕或消除所有延遲因素的能力，使得它很容易能提高應(yīng)用的I/O性能。

隨著NAND非模的繼續(xù)下降，PCIe閃存卡的可擴(kuò)展性一直穩(wěn)步上升。今天，大容量的PCIe閃存卡可從3.2TB到4.8TB。一臺(tái)具備四個(gè)PCIe插槽的服務(wù)器可擁有高達(dá)19.2TB的高性能低延遲的閃存。隨著NAND發(fā)展到19nm和20nm以及3-D，容量會(huì)繼續(xù)擴(kuò)大。

這使近年來(lái)PCIe閃存卡如何占據(jù)服務(wù)器端閃存變得容易理解。然而，沒(méi)有一種技術(shù)是完美的，PCIe閃存卡也不例外，它有很大的限制。那些PCIe閃存卡安裝在物理服務(wù)器內(nèi)部，它們只是本地存儲(chǔ)。如果要在多個(gè)服務(wù)器上共享，它們需要特定軟件將其虛擬化并轉(zhuǎn)換成共享存儲(chǔ)。這就增加了延遲并降低了I/O性能。增加的延遲量依賴(lài)于服務(wù)器的網(wǎng)絡(luò)互連和TCP/IP。另一個(gè)針對(duì)虛擬化/共享的PCIe閃存卡的降低延遲的方法就是將數(shù)據(jù)復(fù)制到不同物理服務(wù)器上的閃存卡里。數(shù)據(jù)復(fù)制導(dǎo)致PCIe閃存卡容量至少增加了一倍(產(chǎn)生更多成本)。

還有就是服務(wù)器中的PCIe插槽有限，通常介于二至八個(gè)(根據(jù)不同廠商，可能會(huì)有更多，但也多不了太多)。那些PCIe插槽被用于眾多不同的適配器，比如以太網(wǎng)卡，光纖卡等，使得可用于PCIe閃存卡的數(shù)目大大受限。刀片服務(wù)器和雙服務(wù)器有著更嚴(yán)重的PCIe插槽受限和尺寸受限。

過(guò)去幾年，或許PCIe閃存卡的最大問(wèn)題一直是存在大量專(zhuān)有的軟件驅(qū)動(dòng)。每家廠商都有自己的驅(qū)動(dòng)程序，API和軟件。使用多家廠商的PCIe閃存卡甚至是交換機(jī)、第三方緩存軟件而變得困難。

然而，業(yè)內(nèi)人士已經(jīng)走到一起來(lái)解決這個(gè)問(wèn)題。主要的市場(chǎng)領(lǐng)導(dǎo)者(英特爾，戴爾，閃迪SanDisk，EMC，NetApp，三星，美光，安華/LSI，希捷，PMC，甲骨文，思科，西數(shù)/日立等)共同組織了以NVM Express(NVMe)來(lái)標(biāo)準(zhǔn)化PCIe閃存卡/SSD和API。所有供應(yīng)商和其他大多數(shù)的PCIe閃存卡廠商都承諾將致力于NVMe。假以時(shí)日，這個(gè)問(wèn)題將得以解決。

為應(yīng)用很多用戶(hù)需要的特性和功能，如提高可用性和正常運(yùn)行時(shí)間共享，服務(wù)器虛擬化需要額外的存儲(chǔ)。利用PCIe閃存卡和共享存儲(chǔ)則需要額外的軟件。該軟件可能是直寫(xiě)式高速緩存軟件(又名讀緩存)或回寫(xiě)緩存。兩者都會(huì)增加延遲以及許可和操作成本。

直寫(xiě)式高速緩存是最常見(jiàn)的。它將所有寫(xiě)操作都送到共享存儲(chǔ)，并將訪問(wèn)頻繁的讀數(shù)據(jù)放入PCIe閃存卡中緩存。直寫(xiě)式高速緩存不會(huì)加速寫(xiě)I/O。但它能加快讀I/O操作�；貙�(xiě)式緩存每次在數(shù)據(jù)被確認(rèn)寫(xiě)入時(shí)只將數(shù)據(jù)保留在PCIe閃存卡中。當(dāng)初始寫(xiě)操作被確認(rèn)寫(xiě)入后，寫(xiě)數(shù)據(jù)也被復(fù)制到共享存儲(chǔ)�；貙�(xiě)式緩存確實(shí)能加速寫(xiě)操作，但也加快了閃存的磨損。

內(nèi)存閃存型存儲(chǔ)

內(nèi)存閃存型存儲(chǔ)通過(guò)將閃存直接插到DIMM插槽，而使它距離應(yīng)用的I/O更近。而這也使閃存看起來(lái)像DDR3內(nèi)存一樣。在DIMM通道上導(dǎo)致減速的因素更少，如I/ O集線器(最近納入了英特爾最新的至強(qiáng)芯片組)，PCIe控制器或存儲(chǔ)控制器都可暢通無(wú)礙。DIMM通道上無(wú)需管理同其它設(shè)備的I/O競(jìng)爭(zhēng)，而在PCIe通道上卻必須協(xié)調(diào)。應(yīng)用與內(nèi)存存儲(chǔ)之間的距離已不能再短，因?yàn)樗�已駐留在內(nèi)存通道。內(nèi)存閃存的平均寫(xiě)延遲可以小于5微秒，而PCIe閃存卡是這個(gè)數(shù)字的兩到三倍。讀延遲則基本相當(dāng)。

但是，內(nèi)存閃存型存儲(chǔ)的真正性能優(yōu)勢(shì)是延遲的一致性。內(nèi)存閃存存儲(chǔ)具有很低的延遲變化率，而PCIe閃存卡的延遲變化率被證明要大得多。一個(gè)金融服務(wù)公司的測(cè)試結(jié)果顯示，PCIe閃存卡的延遲變化率超過(guò)內(nèi)存閃存三個(gè)數(shù)量級(jí)(1000倍以上)。

這可不是小事。

具有高分頁(yè)比而又內(nèi)容受限的應(yīng)用將會(huì)得益于連續(xù)一致的低延遲。這類(lèi)應(yīng)用程序中有內(nèi)存數(shù)據(jù)庫(kù)，高頻交易，衍生品交易，布萊克斯科爾斯建模，BGM/LIBOR建模，石油和天然氣儲(chǔ)層建模，地震資料解釋?zhuān)�流體學(xué)模擬，湍流模型，三維建模，動(dòng)畫(huà)渲染，CGI，蛋白質(zhì)-基因組匹配等。

雖然DIMM插槽比較有限，但19納米的NAND非�？梢源蛟�200或400 GB的內(nèi)存閃存。正如PCIe閃存卡將受益于更小的NAND非模以及3D NAND，內(nèi)存閃存也一樣。

服務(wù)器DIMM插槽就是更好的事例。雖然服務(wù)器的PCIe插槽有限，DIMM插槽卻多得多。舉個(gè)例子，以Intel最新的四插槽(4顆至強(qiáng)E7-4890)主板為例，有96個(gè)DIMM插槽，或每CPU插槽24個(gè)DIMM。

假設(shè)每CPU至少有兩個(gè)DIMM插槽用于SDRAM，那么一共留下88個(gè)DIMM插槽可供內(nèi)存閃存使用，約35.2 TB的極速閃存存儲(chǔ)。

就像PCIe閃存卡，內(nèi)存閃存存儲(chǔ)也有其不足之處。目前只有一家供應(yīng)商(Diablo Technologies)，并且它通過(guò)閃迪Sandisk公司出售其內(nèi)存閃存。

閃迪的智能存儲(chǔ)將Diablo的技術(shù)與自身的Guardian軟件相搭配，以提高閃存的性能，增強(qiáng)NAND耐受性，減少寫(xiě)入放大，并提供卓越的檢糾錯(cuò)功能。合并后的產(chǎn)品以ULLtraDIMM進(jìn)行銷(xiāo)售。

預(yù)計(jì)其他廠商將迅速進(jìn)入內(nèi)存閃存市場(chǎng)。但在那以前，經(jīng)濟(jì)規(guī)律的稀缺法則意味著內(nèi)存閃存的每GB價(jià)格將比PCIe閃存卡更高。

IBM在其System X服務(wù)器中是eXFlash技術(shù)的早期OEM。IBM MSRP顯示每GB容量?jī)?nèi)存閃存比PCIe閃存卡有大約3倍到4倍的溢價(jià)。

那么，誰(shuí)將贏得這場(chǎng)較量?

如同所有的技術(shù)對(duì)比，它取決于具體情況。當(dāng)應(yīng)用程序?qū)ρ舆t的一致性要求高，并且這是很重要的，那么內(nèi)存閃存更具優(yōu)勢(shì)。當(dāng)應(yīng)用程序內(nèi)存受限或服務(wù)器插槽緊張(PCIe插槽少，刀片服務(wù)器等)，內(nèi)存閃存再次具有優(yōu)勢(shì)。而另一方面，當(dāng)技術(shù)成熟度，產(chǎn)業(yè)標(biāo)準(zhǔn)化，廠商選擇以及成本是重要因素，則PCIe閃存卡擁有優(yōu)勢(shì)。