NetApp E5400存儲(chǔ)系統(tǒng)，來自從LSI收購(gòu)的Engenio部門

從NetApp的官方新聞稿中，我們簡(jiǎn)單總結(jié)出如下重點(diǎn)：

1.NetApp E5400是一款第六代存儲(chǔ)系統(tǒng)，針對(duì)高帶寬應(yīng)用、極高存儲(chǔ)密度及超長(zhǎng)運(yùn)行時(shí)間而優(yōu)化。

這里面的“第六代”讓我們感到有些困惑，在“NetApp收購(gòu)Engenio 雙線出擊求增長(zhǎng)”一文中我們?cè)岬紼7900（原Engenio 7900，對(duì)應(yīng)IBM DS5300）的控制器設(shè)計(jì)，采用了LSI已經(jīng)發(fā)展到第七代基于PowerPC處理器的XBB2架構(gòu)。那么上面的“第六代”又是從何算起呢？我們暫時(shí)沒有得到來自NetApp的更多信息。

對(duì)于“高帶寬”和“存儲(chǔ)密度”（4U規(guī)格將控制器與驅(qū)動(dòng)器集成在一起），我們將在下文中進(jìn)一步分析。而“超長(zhǎng)運(yùn)行時(shí)間”則代表E5400具備99.999%（5個(gè)9）的可用性，這一點(diǎn)與定位中端存儲(chǔ)系統(tǒng)的E7900相同，低端的E2600（原Engenio 2600，對(duì)應(yīng)IBM DS3500）則沒有表示能夠達(dá)到這個(gè)水平。

2.NetApp為聯(lián)邦政府量身定制提供了一套存儲(chǔ)解決方案來處理其對(duì)全動(dòng)態(tài)視頻的特殊要求。利用NetApp E系列平臺(tái)中新增的 E5400，并與Quantum公司的StorNext數(shù)據(jù)管理解決方案相結(jié)合，使其成為對(duì)要求高帶寬的全動(dòng)態(tài)視頻進(jìn)行捕獲及分析的理想之選。

Quantum StorNext文件系統(tǒng) + LSI 2600-HD（如今的NetApp E2600）聯(lián)合解決方案

NetApp E5400加上昆騰StorNext SAN共享文件系統(tǒng)，組成的針對(duì)（高清）視頻采集/編輯應(yīng)用解決方案，讓我們想起了以前給大家介紹過的LSI Engenio 2600-HD（現(xiàn)已更名為NetApp E2600-60）。同樣是在4U機(jī)箱中可以容納60個(gè)3.5英寸驅(qū)動(dòng)器，二者之間的具體區(qū)別我們稍后就會(huì)談及。

3.Hadoop存儲(chǔ)解決方案是構(gòu)建在現(xiàn)在正發(fā)售的NetApp E2600 產(chǎn)品之上的一套預(yù)配置的模塊化產(chǎn)品。作為E系列平臺(tái)的一部分，這套解決方案具有一個(gè)16到32節(jié)點(diǎn)的基礎(chǔ)配置。它所具有的系統(tǒng)規(guī)模設(shè)定與驗(yàn)證功能讓客戶能夠省去不必要的猜測(cè)，在幾小時(shí)內(nèi)完成 Hadoop 集群的部署，而不像從前那樣需要花數(shù)星期的時(shí)間。

NetApp在談到的“Hadoop存儲(chǔ)解決方案”，對(duì)應(yīng)的產(chǎn)品似乎不是新發(fā)布E5400而是大約一年前推出的E2600。這樣由SAS連接Engenio陣列共享DAS的理念，在外置RAID控制器的存儲(chǔ)系統(tǒng)產(chǎn)品中，倒是和Hadoop分布式文件系統(tǒng)（HDFS）通常搭配JBOD + SATA硬盤的廉價(jià)存儲(chǔ)方式相對(duì)較為接近。

NetApp E2600——8個(gè)SAS主機(jī)端口配置時(shí)，非冗余連接示意圖（也可實(shí)現(xiàn)4臺(tái)服務(wù)器分別到2個(gè)RAID控制器之間的故障切換連接）

NetApp E2600的雙控制器最多可以提供8個(gè)（每控制器4個(gè)）使用SFF-8088連接器的miniSAS（wide-port，其中各包含4條6Gb/s SAS連接）主機(jī)接口。在某種程度上，可以相當(dāng)于將HDFS方案中連接到服務(wù)器SAS HBA卡外部端口的JBOD擴(kuò)展柜“集中”起來。并增加了RAID硬盤冗余和緩存保護(hù)等RAID卡才具備的功能，同等容量帶來的成本上升應(yīng)該明顯低于Isilon那樣的集群NAS存儲(chǔ)系統(tǒng)。從連接性的角度如此，那么要是從容量和性能的角度來看呢？這就是我們接下來要討論的。

NetApp E5400定位？帶寬/驅(qū)動(dòng)器數(shù)量相匹配

NetApp網(wǎng)站上的E系列產(chǎn)品線規(guī)格對(duì)比（部分）

如上圖，筆者將準(zhǔn)備進(jìn)一步展開的技術(shù)規(guī)格點(diǎn)標(biāo)出了紅框。

首先是60個(gè)驅(qū)動(dòng)器。我們知道最近NetApp E2600支持的驅(qū)動(dòng)器數(shù)量，已經(jīng)從去年LSI Engenio 2600發(fā)布時(shí)的96個(gè)增加到192個(gè)。那么按照傳統(tǒng)的眼光來看，支持驅(qū)動(dòng)器較多的陣列除了容量之外，往往還能提供更高的IOPS和帶寬性能（主要針對(duì)同一時(shí)代的產(chǎn)品而言，當(dāng)然這里的E2600屬于例外）。E5400的定位是否存在問題？

其實(shí)早在Engenio部門被NetApp收購(gòu)之前，LSI就相對(duì)低調(diào)的推出了2600-HD這款產(chǎn)品（如今已成為E2600-60這一款子型號(hào)）。為什么這樣說呢？因?yàn)長(zhǎng)SI Engenio的主要業(yè)務(wù)都是來自IBM、戴爾等OEM客戶，而2600-HD在NetApp收購(gòu)Engenio之前卻沒有立即被這些廠商轉(zhuǎn)銷，而是被LSI加上StorNext、GPFS/Lustre這些文件系統(tǒng)等組成行業(yè)解決方案。

IBM上周剛剛推出了OEM自NetApp E2600-60的System Storage DCS3700存儲(chǔ)系統(tǒng)，專門針對(duì)高性能計(jì)算和流媒體環(huán)境的應(yīng)用需求。

有國(guó)外媒體誤以為DCS3700對(duì)應(yīng)的是E5400，估計(jì)是由于二者在機(jī)箱外觀上較為接近，都是5個(gè)可以從前面裝載的12硬盤位“抽屜”，并可以在保持活動(dòng)訪問的情況下添加驅(qū)動(dòng)器。盡管DCS3700屬于DAS/SAN塊存儲(chǔ)設(shè)備，但I(xiàn)BM卻主要是為了搭配自己的GPFS（通用并行文件系統(tǒng)）來支持可以大規(guī)模擴(kuò)展、分布式的企業(yè)級(jí)寬范圍基于文件存儲(chǔ)的應(yīng)用。

NetApp E2600-60機(jī)箱（除了控制器之外）的特點(diǎn)與E5400大致相同，都是4U高密度可容納60個(gè)3.5英寸驅(qū)動(dòng)器，不過它的后端還能級(jí)聯(lián)2個(gè)JBOD機(jī)箱最多擴(kuò)展到180個(gè)驅(qū)動(dòng)器。這里我們注意到一個(gè)問題，E2600-12（2U 12個(gè)3.5英寸驅(qū)動(dòng)器）/ 24（2U 24個(gè)2.5英寸驅(qū)動(dòng)器）/ 60的性能并不會(huì)完全隨著驅(qū)動(dòng)器數(shù)量的增加而線形提升，特別是帶寬。筆者以前曾經(jīng)介紹過，IBM DS3500/Engenio 2600在激活Turbo性能模式選項(xiàng)（在戴爾MD3200系列上稱其為High Performance Tier，高性能層級(jí)）之后的最大持續(xù)讀/寫帶寬分別為4,000MB/s和2,200MB/s，見下圖。

上面的表格列出了DS3500和IBM其它型號(hào)低、中端存儲(chǔ)產(chǎn)品的性能比較，中間紅色的兩列分別為DS3500的基本和打開了Turbo性能升級(jí)選件的型號(hào)。

LSI Engenio還曾使用10臺(tái)2600-HD（不帶擴(kuò)展柜），組成了專門針對(duì)高性能計(jì)算的DenseStak（StorageStak）集群存儲(chǔ)方案，最大持續(xù)磁盤IOPS和帶寬分別達(dá)到27萬和40GB/s。不過我們認(rèn)為該方案也未能充分發(fā)揮出600個(gè)驅(qū)動(dòng)器所能達(dá)到的帶寬。以高清視頻后期制作為代表的帶寬密集型存儲(chǔ)應(yīng)用，通常使用大容量高性價(jià)比的3.5英寸7200rpm SATA/SAS驅(qū)動(dòng)器，單塊硬盤外圈讀/寫帶寬早已超過100MB/s。如果以RAID 5（8+1）這樣的典型情況為例，一個(gè)機(jī)箱中60個(gè)硬盤實(shí)現(xiàn)6,000MB/s左右的順序讀帶寬理論上完全是可行的（順序?qū)戇€要受處理能力等因素影響，相對(duì)復(fù)雜些）。

NetApp如今推出的E5400，可以說就是這樣一款專門為容量密度和高帶寬定制的產(chǎn)品。上圖中我們看到了E5400的吞吐量（MB/s）指標(biāo)，以及僅支持2TB容量的NL-SAS（近線SAS）一種驅(qū)動(dòng)器類型。盡管定位更高的E7900（對(duì)應(yīng)IBM DS5300）可以實(shí)現(xiàn)更好一些的順序讀性能，但以其最多支持480個(gè)驅(qū)動(dòng)器的設(shè)計(jì)，只配置60塊硬盤時(shí)的性價(jià)比肯定沒有E5400合適。

E5400使用了什么樣的架構(gòu)設(shè)計(jì)來實(shí)現(xiàn)“帶寬/驅(qū)動(dòng)器數(shù)量相匹配”呢？仍然沿用E2600、7900的PowerPC還是換成了Intel x86處理器？

E5400架構(gòu)猜想：Xeon C5500 + Intel 5520 IOH？

NetApp E5400引起我們注意的其它規(guī)格，還包括最大24GB緩存和16個(gè)8Gb/s FC主機(jī)接口，也就是每控制器最多12GB（3條4GB內(nèi)存？）和8個(gè)8Gb/s光纖通道。這讓我們本能地想起集成3通道DDR3內(nèi)存控制器的Intel Xeon 5500/5600，還有加入了存儲(chǔ)特性的Xeon C5500/3500系列CPU。進(jìn)一步分析，究竟是前者還是后者呢？別著急，盡管這仍屬于猜測(cè)，但我們覺得距離真相已經(jīng)越來越近了。

NetApp E5400技術(shù)規(guī)格（部分）

查看E5400的更多技術(shù)規(guī)格，可以發(fā)現(xiàn)它的控制器設(shè)計(jì)為帶有自動(dòng)I/O路徑故障切換的Dual-Active（雙活動(dòng)，Active/Active）模式；另外，雙控制器的數(shù)據(jù)緩存互為鏡像并且提供電池備份（BBU）和離線保存到閃存的特性。這2點(diǎn)都與Engenio家族的E2600和E7900相同。既然先前我們已經(jīng)判斷E5400使用了x86平臺(tái)，那么如果使用了單獨(dú)的RoC/RAID卡及其本地緩存，被保護(hù)的“鏡像”緩存容量寫成24GB（系統(tǒng)內(nèi)存）顯然不合適。如此則表明E5400的RAID功能，很可能是通過帶有XOR/P+Q硬件加速和異步內(nèi)存刷新（ADR，專門用于緩存保護(hù)）的Xeon C系列處理器來實(shí)現(xiàn)的。見下圖：

Intel在2010年春季北京IDF上介紹的至強(qiáng)C5500/C3500架構(gòu)設(shè)計(jì)。上圖右下方提到了CPU的封裝為L(zhǎng)GA1366，這樣理解硬件上都是可以支持3通道內(nèi)存的，那么上面的“1-3條內(nèi)存通道”意味著什么呢？

接下來我們嘗試進(jìn)一步縮小范圍。

在Xeon C5500/3500系列CPU的DataSheet中，除了下面3款LC3518、LS3528和Celeron P1053（賽揚(yáng)，貌似不屬于至強(qiáng)系列哈？）支持雙通道內(nèi)存之外，其余的都是3通道。我們?cè)治鲞^，IBM中端存儲(chǔ)系統(tǒng)Storwize V7000使用的CPU應(yīng)該是2.13GHz的Intel Xeon EC3539，具備3通道內(nèi)存控制器而實(shí)際配置為雙通道（2條4GB）DDR3 1066MHz內(nèi)存。Intel在上表中似乎還有點(diǎn)筆誤，不知讀者發(fā)現(xiàn)沒有？畢竟這樣的細(xì)節(jié)技術(shù)文檔沒有一定需求的人很少去認(rèn)真閱讀。

下面，暫時(shí)先假設(shè)NetApp E5400使用的也是同一款——Xeon EC3539，在性能（主要是帶寬）上能夠滿足需求嗎？我們先參考一下IBM Storwize V7000的控制器結(jié)構(gòu)圖。

E5400的控制器與Storwize V7000相比。除了內(nèi)存配置為3通道、容量不同之外；主機(jī)接口部分沒有2個(gè)GbE（千兆以太網(wǎng)，灰色部分）iSCSI，也就是說相當(dāng)于在PCIe x8總線連接一個(gè)FC控制器（紅色）之外，左側(cè)一排淺綠色的“前端 – 可插拔PCIe卡”部分連接另一個(gè)4端口8Gb/s光纖通道子卡（就像E2600選配的HIC主機(jī)接口子卡那樣）。

至于后端的驅(qū)動(dòng)器連接部分，盡管NetApp E5400不需要向外提供連接JBOD擴(kuò)展柜的SAS端口，但僅憑一顆8端口SAS控制器加上36端口SAS擴(kuò)展器的組合，也無法支持陣列內(nèi)部的60個(gè)驅(qū)動(dòng)器。增加SAS控制器芯片？別忘了還需要有一個(gè)PCIe x8連接到背板用于雙控制器之間的NTB（非透明橋接，實(shí)現(xiàn)緩存鏡像等數(shù)據(jù)交換），那么在此處48信道的PCIe Switch（交換）芯片作為I/O連接中心就有點(diǎn)捉襟見肘了。

雖然Intel 3420 PCH芯片（相當(dāng)于x86架構(gòu)中傳統(tǒng)意義上的南橋）也可以提供8個(gè)PCIe Gen2 @2.5GT/s信道，但一方面它們只有PCI-E 1.0的帶寬，還要受限于CPU to PCH之間的DMI連接（實(shí)際應(yīng)為PCI-E 1.0 x4），使得這部分I/O相對(duì)不適合高速通信。通常用于像Storwize V7000那樣的1Gb/s iSCSI以及管理網(wǎng)口等功能。

基于Xeon C5500/3500的平臺(tái)加上Intel 5520 IOH（芯片組）提供更多的PCIe信道

Intel Xeon C5500/3500平臺(tái)還有一種I/O增強(qiáng)的設(shè)計(jì)，即添加一顆Intel 5520 IOH芯片組專門用來提供更多的PCIe信道。Xeon C處理器通過專用的QPI高速通道連接IOH，這樣就避免了Storwize V7000使用PCIe x16連接CPU和PCIe Switch造成的I/O信道“浪費(fèi)”（對(duì)沖），以至于只有32個(gè)lane用于向外連接。而上圖所示的方案，既釋放了CPU自帶的PCI Express 2.0 x16，再加上Intel 5520提供的36 lane PCI Express 2.0，這時(shí)PCIe信道數(shù)量就不再是問題了。

不過根據(jù)前面的表格，Xeon EC3539處理器沒有提供QPI連接，這樣它就無法支持5520 IOH和雙處理器（DP）設(shè)計(jì)。那么在以上推測(cè)成立的前提下，我們只能將目光投向剩下的5款Xeon C5500系列。由于NetApp公開的資料相當(dāng)有限，無法進(jìn)一步判斷E5400的每個(gè)控制器是否為雙CPU配置，但它的處理能力不應(yīng)低于Storwize V7000，因此雙核心的Xeon EC5539可以基本排除？

我們?cè)僭O(shè)想一下，如果是2個(gè)8端口6Gb/s SAS控制器芯片（如：LSISAS2008），分別向下連接36端口6Gb/s SAS擴(kuò)展器（如：LSISAS2x36）。每組SAS Controller和Expander之間使用6條SAS Link（單鏈路理論帶寬600MB/s）用于互相通信，而擴(kuò)展器余下的30個(gè)SAS Link（2個(gè)Expander就是60）正好對(duì)應(yīng)60個(gè)驅(qū)動(dòng)器。

按照上面的推測(cè)，控制器前后端帶寬都能比較好的發(fā)揮出來，而且單一控制器的順序訪問（至少是讀）性能就可以達(dá)到6,000MB/s。那么還有別的疑問嗎？當(dāng)然，如果E5400單控制器設(shè)計(jì)性能沒有這么高，是否也可以像E2600那樣實(shí)現(xiàn)雙控制器的負(fù)載均衡呢？

戴爾PowerVault MD3200/3200i的控制器結(jié)構(gòu)圖，左邊是iSCSI主機(jī)接口的MD3200i，而右邊為6Gbps SAS主機(jī)接口的MD3200（相當(dāng)于SAS主機(jī)接口的NetApp E2600和IBM DS3500）

我們回想之前LSI Engenio存儲(chǔ)系統(tǒng)的設(shè)計(jì)。以E2600為例，每個(gè)控制器的LSISAS2116 RoC（RAID-on-Chip，片上RAID）專門有一條被稱為Alt Ctrl（功能控制）的6Gbps SAS x4鏈路，通過SBB 2.0背板與另一個(gè)控制器的LSISAS2x36擴(kuò)展器相連，直接實(shí)現(xiàn)對(duì)所有驅(qū)動(dòng)器（包括級(jí)聯(lián)JBOD擴(kuò)展柜中）的可訪問性。

盡管我們無法確定“Alt Ctrl”與雙控制器負(fù)載均衡之間的必然聯(lián)系，不過可以大致分析出一點(diǎn)：如果NetApp E5400的也設(shè)計(jì)有Alt Ctrl數(shù)據(jù)通道，我們前面猜想的2個(gè)8端口6Gb/s SAS控制器很可能無法滿足需要。這時(shí)可以考慮替換為16端口的LSISAS2116當(dāng)作控制器來使用，就像LSISAS9200-16e/9201-16e外部端口6Gb/s SAS HBA卡那樣。

總結(jié)在E5400身上的改變之處——控制器更換為Intel IA架構(gòu)早在LSI Engenio被NetApp收購(gòu)之前就已經(jīng)有所透露，而且這幾乎也是整個(gè)企業(yè)存儲(chǔ)行業(yè)的大勢(shì)所趨。E5400專門針對(duì)高容量密度和帶寬型應(yīng)用而定制，仍然沒有像IBM Storwize V7000那樣加入自動(dòng)精簡(jiǎn)配置（Thin Provisioning）、自動(dòng)分層存儲(chǔ)、存儲(chǔ)虛擬化等高級(jí)軟件功能，這可以說是Engenio的不變之處。

最后一頁(yè)，我們?cè)賮碚務(wù)凬etApp E2600的升級(jí)，當(dāng)然也包括IBM相關(guān)產(chǎn)品的同步更新。又些什么變化和疑問呢？

E2600升級(jí)：192個(gè)驅(qū)動(dòng)器、萬兆iSCSI

在前文中，我們已經(jīng)不可避免地談到支持180個(gè)驅(qū)動(dòng)器的NetApp E2600-60（原LSI Engenio 2600-HD），由于有它在前，我們對(duì)E2600的驅(qū)動(dòng)器數(shù)量增加到192個(gè)并不感到多么意外。同時(shí)加入的新特性還包括可選4個(gè)10Gb iSCSI主機(jī)接口（每控制器2個(gè)），其實(shí)只是將2600的HIC（主機(jī)接口控制器）子卡更換為雙端口萬兆以太網(wǎng)控制器罷了，本來就有廠商提供可選2 x 10GbE或者4 x 1GbE部署的單芯片方案。

不過筆者曾經(jīng)認(rèn)為，支持192個(gè)驅(qū)動(dòng)器對(duì)于2.5英寸24盤位的2600-24控制器/JBOD擴(kuò)展柜來說相對(duì)不算復(fù)雜，將NetApp DE5600（JBOD）級(jí)連的數(shù)量從3個(gè)增加到7個(gè)就可以了；而支持12個(gè)3.5英寸驅(qū)動(dòng)器的2600-12，則意味著DE1600需要從原來的7個(gè)增加到15個(gè)。這樣可能會(huì)帶來什么不良影響嗎？

IBM System Storage DS3500低端磁盤陣列與NetApp E2600同步升級(jí)，戴爾則只推出了萬兆iSCSI接口的PowerVault MD3600i/3620i（支持3.5/2.5英寸驅(qū)動(dòng)器），暫時(shí)沒有增加驅(qū)動(dòng)器數(shù)量。上面截自IBM DS3500最新的Data Sheet文檔，現(xiàn)在它也能最多支持到192個(gè)驅(qū)動(dòng)器和15個(gè)EXP3512擴(kuò)展柜（或者7個(gè)EXP3524）

最近升級(jí)之前的IBM DS3500（3.5英寸驅(qū)動(dòng)器）滿配連接示意圖，一共8個(gè)盤柜，最上面的是控制器所在的主盤柜DS3512，其余7個(gè)是擴(kuò)展柜EXP3512

在這個(gè)示意圖中，我們看到廠商推薦左側(cè)的控制器從上到下級(jí)連JBOD，而右側(cè)控制器則先連接最底下的JBOD，而后再向上級(jí)連。這樣做的好處是什么呢？

由于每臺(tái)JBOD擴(kuò)展柜的核心就是位于ESM（環(huán)境服務(wù)模塊）上的LSISAS2x36——36端口6Gb/s SAS擴(kuò)展器芯片，因此每增加一個(gè)JBOD級(jí)連就意味著數(shù)據(jù)流多經(jīng)過一個(gè)SAS擴(kuò)展器，通信延遲則會(huì)相應(yīng)增大。那么上圖中理想的拓?fù)淝闆r就是：控制器柜下面的4個(gè)JBOD使用左邊的鏈路，而另外4個(gè)JBOD（也就是靠近底下的）通過右側(cè)控制器的擴(kuò)展端口來連接。如果冗余鏈路的一側(cè)由于故障而中斷，通信路徑和延遲就會(huì)受到影響，最壞的情況是一個(gè)RAID控制器損壞，只剩下左/右一邊的級(jí)連數(shù)據(jù)路徑可用。

盡管上圖列舉的是SAS 1.0規(guī)范（即3Gb/s SAS）中的不足，但“超過4個(gè)JBOS深度時(shí)I/O延時(shí)偏高”的問題如今依然存在，只是程度不同罷了。我的同事，CBSi企業(yè)解決方案中心首席分析師張廣彬在“Storwize V7000剖析：走進(jìn)存儲(chǔ)系統(tǒng)的SVC”一文中就曾提到：“Storwize V7000的擴(kuò)展能力是以盤柜為單元來計(jì)算的，兩條SAS鏈路各自管理5個(gè)盤柜，加在一起是10個(gè)盤柜。如果都用24個(gè)2.5英寸驅(qū)動(dòng)器的盤柜就達(dá)到支持驅(qū)動(dòng)器數(shù)量的最大值240個(gè)；如果都用12個(gè)3.5英寸驅(qū)動(dòng)器的盤柜則僅能支持120個(gè)驅(qū)動(dòng)器。”

相比之下，如今NetApp E2600/IBM DS3500在配置192個(gè)3.5英寸驅(qū)動(dòng)器時(shí)最多可能的JBOD級(jí)連數(shù)量達(dá)到了15個(gè)，那么從控制器到最遠(yuǎn)端JBOD的延遲大小可想而知。如果在這種情況下跨不同JBOD中的硬盤做RAID，或許達(dá)不到理想的性能吧？

有人說，這里的192個(gè)驅(qū)動(dòng)器在投標(biāo)時(shí)會(huì)增加有利因素（技術(shù)規(guī)格中的擴(kuò)展性）。我們?cè)诖瞬幌敕穸ㄋ跀U(kuò)大容量（翻倍）方面的意義，但用戶也不要指望性能總是隨著驅(qū)動(dòng)器數(shù)量一同提高。另外我們建議在購(gòu)買和部署之前，還是應(yīng)該參考一下廠商提供的“最佳實(shí)踐”等技術(shù)文檔吧？

fanz