上圖是eBird的產(chǎn)品外觀,這是一個四口的設(shè)備,說它可以同時對四臺機器進行測試。
測試設(shè)備和測試機之間通過網(wǎng)絡(luò)連接,分布式的連接方式使我們的終端非常靈活,用戶可以選擇服務(wù)器、臺式機或者筆記本電腦進行測試。
測試設(shè)備通過網(wǎng)絡(luò)把測試內(nèi)容發(fā)放到測試機上,然后,在測試機本地進行測試,測試系統(tǒng)支持Windows、Linux和國產(chǎn)OS,這些配置和連接方式使用戶能夠構(gòu)建與實際應(yīng)用場景一致的測試環(huán)境,使測試結(jié)果更真實可信。
eBird是行業(yè)內(nèi)目前已知的,唯一一個實現(xiàn)跨平臺的SSD專業(yè)測試設(shè)備,也就是說,一套測試腳本可以跑在多種測試環(huán)境下,支持PCIe Gen3/Gen4/Gen5的硬件平臺,也可以測試Windows、Linux或者是國產(chǎn)OS系統(tǒng),既可以是服務(wù)器,也可以是筆記本電腦。
這使得測試機的選擇會非常靈活,終端配置也非常靈活,讓客戶更加貼近實際應(yīng)用場景,讓測試更真實。
上圖是eBird的軟件界面,風格簡單易用,測試的內(nèi)容都以用例化的形式呈現(xiàn),用戶可以根據(jù)需求去勾選,隨后點擊開始即可進行測試。
協(xié)議級測試方面,我們提供了一個完整的協(xié)議規(guī)范測試,整套用例都已經(jīng)提供,用戶可以直接選擇測試用例去跑測試。
應(yīng)用級測試方面,我們從系統(tǒng)應(yīng)用層面設(shè)計了一些用例,比如性能、校驗、壓力、QoS等等測試可選,勾選之后,點擊“Start”即可進行相關(guān)測試。
界面下半部分的標簽顯示著Test-PC1、Test-PC2、Test-PC3、Test-PC4,意味著用戶可以選擇任何四臺中的一臺去任何測試,四臺相互完全獨立,相互不干擾,四臺可以完全并發(fā)地去跑不同的測試內(nèi)容,比如,一臺跑協(xié)議測試,一臺跑應(yīng)用測試,一臺跑掉電測試,都沒問題。
左邊的側(cè)邊欄是一些常規(guī)的操作按鈕,比如說Smart、identify,以及一些寄存器的操作。寄存器部分,我們開發(fā)了兩個小工具,可以針對寄存器操作。
上圖就是控制寄存器的小工具,通過工具界面就能輕松對寄存器進行讀寫,比如,可以指定寫的位置,寫的內(nèi)容,點一個write,就寫下去了。同時,還可以去做驗證,把你要讀的地址寫在這里,你點read,就會要讀的內(nèi)容呈現(xiàn)出來,該功能在實際開發(fā)中比較實用。
這是一個Command Unit(命令集接口),把所有的NVMe命令以及一些常規(guī)操作,以一個圖形化的方式進行呈現(xiàn)。
比如,可以敲一個deleteCQ,我們可以隨便指定一個qid,發(fā)送一個命令,就實現(xiàn)了cqid命令的操作。在開發(fā)和調(diào)試中,將給開發(fā)人員和測試人員提供很多便利,客戶的實際反饋也比較好。
整機掉電測試部分,常說的掉電主要是指對SSD進行掉電,但實際應(yīng)用中,除了SSD掉電以外,更多真實場景下,可能是整臺機器掉電了,掉電分為異常、正常兩種,但都會讓SSD和主機有一個互動,完整地走完一個上電或者下電的流程,這一過程中觸發(fā)一些問題的概率會比單純讓SSD掉電大得多。
從之前的產(chǎn)品經(jīng)驗來看,我們在整機掉電的地方,確實發(fā)現(xiàn)了很多很多的關(guān)于recovery(恢復(fù)),還有一些數(shù)據(jù)一致性等問題。在實際過程中,我們可以把正常、異常,還有盤的形態(tài),比如說主盤從盤,做一個組合,可以羅列任何你想要測試的組合,同時,可以去選擇是否做填盤,做不做數(shù)據(jù)校驗。
比如,用戶可以設(shè)置testloops為1000次,設(shè)置每次讀寫的時間,然后點擊“start”就可以讓這個測試跑起來了。
另外,這里也提供了Host和測試機交互的接口,測試設(shè)備可以去detect測試機的信息,一旦遇到異常,系統(tǒng)就會讓它停下來,保留現(xiàn)場給開發(fā)人員去調(diào)試。
eBird內(nèi)容主要就是NVMe協(xié)議級別、應(yīng)用級別、SSD整機掉電以及PCIe Link級別和開發(fā)級別等,能提供整套測試框架和接口,eBird以一個產(chǎn)品化的平臺基本上涵蓋了SSD所有要測的東西。
我們的產(chǎn)品化經(jīng)驗非常豐富,也非常了解容易發(fā)現(xiàn)問題的地方,我們以一個測試用例的形式進行提供,這樣也使得這個測試用例更具有實用性和高效性。
這是測試內(nèi)容列表,比如說協(xié)議級的測試,會提供一個常規(guī)的NVMe協(xié)議的覆蓋,也會提供些feature的測試,寄存器的測試等等,這部分可以通過進一步的資料去了解。
PCIe Link層,我們有一個測試套件,可以幫助大家對Hot-reset、Link_reset,還有Speed相關(guān)內(nèi)容進行測試,能用于測試SSD和主板的兼容性問題。
NVMe應(yīng)用級測試,從系統(tǒng)應(yīng)用層面來看,一個SSD要進行哪些測試,比如說性能、數(shù)據(jù)網(wǎng)點性、壓力,以及像QoS等等標準測試,這些都是SSD在系統(tǒng)級作為一個產(chǎn)品要進行的一些測試,這些都已經(jīng)把它例化成現(xiàn)成的用例,可以直接用。
整機掉電部分,可以選擇掉電的模式,選擇盤的狀態(tài)狀態(tài),是主盤從盤亦或是各種組合,基本上囊括了一個SSD所能遇到的各種掉電場景,這些都是實際場景中發(fā)生過很多,幫用戶發(fā)現(xiàn)了很多問題。
我們的測試平臺會向用戶提供整套的測試框架,包括測試腳本、測試庫以及NVMe接口、寄存器接口等等的,同時也會提供一些驅(qū)動接口,用戶可以用來做二次開發(fā)。
為了常規(guī)的測試內(nèi)容,我們準備了一些測試套件供用戶選擇,根據(jù)實際情況,比如說像企業(yè)級的一些feature,比如NVMe-MI的feature,ZNS、TCG、SR-IOV、DualPort、Multi-nameSpace、端對端保護,這些偏企業(yè)級的一些功能。
另外,我們也提供功耗測量套件,包括電壓拉偏這種套件,軟硬議題的方案,這里不展開介紹了。
Trace這一塊,我們會提供針對開發(fā)者的模式,由于在實踐中經(jīng)常需要把Trace打印出來,所以,這里做了一個Debug Mode,需要的時候可以打開該模式,他能把整個NVMe整個通路的信息打印出來,能讓用戶更清楚地知道命令發(fā)送和處理的流程,定位問題。
Trace打印等級三個點,information顯示的比較完整,更常用的是error等級,只在出錯時打印信息,另外一個等級介于這兩者之間,用戶可自行選擇。
除了現(xiàn)成的測試用例之外,我們也提供了整個框架和用戶手冊,大家可以根據(jù)這個開發(fā)手冊去了解每條命令的使用,它的參數(shù),以及每條命令的用法示例,手冊內(nèi)容覆蓋整個協(xié)議的所有操作。
另外,我們還提供了一整套的參考代碼,包括命令、常規(guī)的操作以及它的一些源代碼,方便大家去做二次開發(fā)。
當用戶有了整個框架,也有了用戶手冊,也有了源代碼,當用戶在做開發(fā)的時候,會非常容易上手,當然,過程中我們也會提供一些技術(shù)支持。
測試完之后,接下來就需要整理和分析測試結(jié)果,并以報表的形式進行呈現(xiàn)。
比如這個后面是性能的結(jié)構(gòu),我們會把這個測試的結(jié)果,以一個表格的形式給大家呈現(xiàn)出來,顯示帶寬和IOPS的情況,延遲和QoS的數(shù)據(jù)。
所有測試過程中生成的數(shù)據(jù)都能以表格的形式呈現(xiàn),方便統(tǒng)計出各種讀寫數(shù)據(jù),非常直觀。
這是SNIA的一個結(jié)果,顯示的是一個寫飽和的趨勢圖,通過對大量測試后得到的數(shù)據(jù)進行分析提取,最終呈現(xiàn)出了這個結(jié)果。
這里統(tǒng)計了平均延遲和帶寬,讀寫混合的測試數(shù)據(jù)也都進行了統(tǒng)計和展示。
這是我們的量產(chǎn)測試設(shè)備,我們除了研發(fā)端的測試設(shè)備,也提供一個多端口的量產(chǎn)測試設(shè)備,大家可以用這個測試設(shè)備去做一個穩(wěn)定性、可靠性的質(zhì)量測試,我們支持國產(chǎn)系統(tǒng)、Windows系統(tǒng)和Linux系統(tǒng)。
這使得我們可以完全適配客戶真實的工作環(huán)境,使測試與實際應(yīng)用相吻合,從而減少兼容性問題,讓測試結(jié)果更可靠。
比如想通過一個小型服務(wù)器來做企業(yè)級SSD的測試,但這與實際使用場景的差距還是和大的,這種測試并不能避免兼容性的問題,而我們的平臺能兼容市面上各種主流平臺,包括硬件平臺和軟件平臺。
我們的測試用例比較豐富的,不但能從協(xié)議級做協(xié)議規(guī)范性測試,還從應(yīng)用級進行測試,對SSD在實踐中真正要用到的能力進行測試,我們測試的覆蓋面還是比較全的。
我們的測試產(chǎn)品簡單易用,所有的測試用例都以圖形化的形式呈現(xiàn),配置使用簡單方便,另外,可以多線程并發(fā)測試,可以快速搭建測試團隊,使用戶的測試水平盡量達到一個一線的水準。
我們4口化的設(shè)計,支持4臺機器完全獨立同時進行測試,且相互完全不干擾,測試設(shè)備能夠減少對測試人員的資源占用,測試容量和測試效率也有很大提升。
這樣一來,在同等測試任務(wù)的情況下,能夠節(jié)省人力以及投入的時間。測試效率上能夠大大地提升,縮短產(chǎn)品的一個開發(fā)和發(fā)布周期。
上圖可見,以eBird設(shè)備為節(jié)點,能夠快速搭建智能化的實驗室,配合自動化管理軟件,很容易實現(xiàn)整個實驗室的自動化的運行,能夠高效地分配、管理測試用例,對測試結(jié)果進行收集和整理并最后生成報告。
很容易打造成一個智能化的形式。
最后,也歡迎大家聯(lián)系我們,一起來探討SSD測試相關(guān)的技術(shù),我們在上海和蘇州都有研發(fā)中心,也歡迎通過合作伙伴燊容電子科技來溝通,燊容電子科技是存儲領(lǐng)域非常專業(yè)的的測試設(shè)備提供商和技術(shù)支持者,在測試行業(yè)有出色的表現(xiàn)。
以上就是我們的介紹內(nèi)容,謝謝大家!