3.性能優(yōu)化技術(shù)
分布式存儲系統(tǒng)的IO路徑很長，從客戶端的消息編碼、發(fā)送，到數(shù)據(jù)存儲服務(wù)器端的消息接收、解碼，從磁盤讀寫數(shù)據(jù)，再發(fā)回應(yīng)答。每個環(huán)節(jié)處理不好都會拖慢整體的性能。只有處理好每一個細(xì)節(jié)，才能取得優(yōu)異的性能。
在所有影響性能的因素中，并發(fā)性是第一重要的因素。
目前計算機系統(tǒng)中應(yīng)用程序級別實現(xiàn)并發(fā)的方法，主要有進程池、線程池、基于非阻塞IO的事件驅(qū)動等方式。學(xué)術(shù)界和工業(yè)界對這些方法的優(yōu)劣存在長期的爭論，新編程語言的出現(xiàn)也使得這一選擇更加難以分辨。實踐是檢驗真理的標(biāo)準(zhǔn)。碧海存儲系統(tǒng)在開發(fā)過程中，嘗試比較了所有的方法，最終選擇“進程池+事件驅(qū)動”的并發(fā)模型，每個CPU啟動一個IO進程，每個進程內(nèi)部使用事件驅(qū)動模型。這樣既能夠發(fā)揮多核CPU的性能,又消除了多線程并發(fā)方式導(dǎo)致的調(diào)度開銷和鎖開銷，為優(yōu)異性能奠定了基礎(chǔ)，程序的容錯性也更好。當(dāng)然，事件驅(qū)動模式使得程序的開發(fā)和調(diào)試更加困難，這是其代價。
其它面向性能優(yōu)化的措施有：
●?通信協(xié)議設(shè)計大量使用復(fù)合過程，減少IO交互次數(shù)；
●使用二進制編解碼方式；
●使用類似于Slab、復(fù)雜度為O(1)的緩存管理算法；
●基于零拷貝方式在不同模塊間傳遞數(shù)據(jù)，避免數(shù)據(jù)拷貝；
●在處理大數(shù)據(jù)量時，使用高效的算法和數(shù)據(jù)結(jié)構(gòu)。
4.流控與IO公平性
分布式系統(tǒng)中，流控可能是最具挑戰(zhàn)性的問題之一。既要高吞吐量、低延遲，又要避免網(wǎng)絡(luò)擁塞和存儲系統(tǒng)IO Hang，這也是TCP協(xié)議發(fā)展幾十年，還需要不斷研究和發(fā)展的原因。
碧海存儲系統(tǒng)并沒有設(shè)計新的流控算法和機制，而是充分利用了TCP的流控機制，實現(xiàn)了端到端的流控。在具體實現(xiàn)中，流控問題轉(zhuǎn)換為緩沖區(qū)的分配問題。在收到讀請求時，立即為其預(yù)留緩存區(qū)，而不是在執(zhí)行讀操作時因缺乏緩沖區(qū)而返回失??；寫請求也采取同樣策略；只有當(dāng)可用緩沖區(qū)大小超過設(shè)定閾值時才接收新的讀寫請求，否則不再接收新的請求。這樣就可以從全局避免類似于“receive-livelock”問題。
在分布式存儲系統(tǒng)中，多副本的推送會形成環(huán)狀的依賴關(guān)系，相互等待，導(dǎo)致性能劇烈波動。碧海存儲系統(tǒng)采用數(shù)據(jù)寫入磁盤后才發(fā)送確認(rèn)的方式，抑制發(fā)送方過快發(fā)送數(shù)據(jù)。
碧海存儲系統(tǒng)實現(xiàn)了針對TCP連接的IO公平性調(diào)度。在多個業(yè)務(wù)共享存儲系統(tǒng)時，運行更穩(wěn)定。在VDI場景中，能夠?qū)崿F(xiàn)多個虛機同時顯示登錄界面的效果。
5.易用性
碧海存儲系統(tǒng)的易用性，源自對用戶體驗的極致追求，每個菜單和交互過程，都力求符合用戶的直覺。用戶無需編寫任何配置文件，部署實施簡單快速，20節(jié)點1PB容量的存儲系統(tǒng)可在15分鐘內(nèi)創(chuàng)建完成；Web界面簡潔，運維管理輕松直觀，集群、節(jié)點、磁盤實時性能狀態(tài)一目了然。長達一年的歷史性能記錄，為業(yè)務(wù)負(fù)載分析、故障排錯提供強有力的支持。
6.性能測試
在使用固態(tài)盤和native客戶端時，碧海存儲系統(tǒng)的隨機讀IOPS達到ceph的3倍，隨機寫性能達到Ceph的4倍；讀寫延遲分別為Ceph的1/3和1/4（對比版本為：Ceph 12.2.5）。碧海存儲系統(tǒng)的性能也超越了優(yōu)異的同類產(chǎn)品Scaleio。
7.客戶體驗
目前碧海存儲已經(jīng)廣泛應(yīng)用于虛擬化與私有云、海量文件存儲、高性能計算等業(yè)務(wù)領(lǐng)域，客戶覆蓋金融、教育、醫(yī)療、政府等行業(yè)。其優(yōu)異性能、穩(wěn)定可靠、易于使用等優(yōu)點得到了客戶的肯定和好評。
