騰訊云超高性能 SSD 云盤如何練就業(yè)界頂級的 IOPS 性能？下面逐一對騰訊云超高性能云盤使用的核心技術(shù)進(jìn)行揭秘。

1.使用 SPDK 充分發(fā)掘 NVMe SSD的性能

Linux下 IOPS 越高系統(tǒng)的開銷越大，在單機(jī)高密度盤場景下很難將所有NVMe SSD 盤的性能發(fā)揮出來。我們突破性地使用 SPDK 來讀寫 NVMe SSD，由于 NVMe 的驅(qū)動程序在用戶空間，因此不需要用中斷來通知 IO 完成，也就無需經(jīng)過厚重的內(nèi)核 IO 棧。相比于使用 Linux內(nèi)核，SPDK 用戶空間 NVMe 驅(qū)動程序在極小化系統(tǒng)開銷的同時，可將 IO 延遲降低 10 倍，單核單盤的性能可達(dá)百萬 IOPS。

2.基于 25Gb 的 RDMA 的超高性能網(wǎng)絡(luò)框架

云盤的讀寫離不開網(wǎng)絡(luò)傳輸。使用 TCP socket 傳輸數(shù)據(jù)時，大部分的延遲都是由網(wǎng)絡(luò)協(xié)議棧帶來的，且網(wǎng)絡(luò)協(xié)議棧太復(fù)雜，難于優(yōu)化。相對于傳統(tǒng)的 TCP socket 數(shù)據(jù)傳輸，RDMA 技術(shù)可以將應(yīng)用程序 Buffer 中的數(shù)據(jù)直接拷貝到網(wǎng)卡內(nèi)存并發(fā)送到遠(yuǎn)端，遠(yuǎn)端把數(shù)據(jù) DMA 到應(yīng)用的緩存中，相當(dāng)于在應(yīng)用之間建立了更快速更直接的通道，如圖所示。通過上面的工作原理可以看到，使用 RDMA 做數(shù)據(jù)傳輸有以下幾個優(yōu)勢：

1) zero-copy：數(shù)據(jù)不需要在網(wǎng)絡(luò)協(xié)議棧的各個層之間來回拷貝，這縮短了數(shù)據(jù)流路徑。

2) kernel-bypass：應(yīng)用直接操作設(shè)備接口，不再經(jīng)過系統(tǒng)調(diào)用切換到內(nèi)核態(tài)，沒有內(nèi)核切換開銷。

3) none-CPU：數(shù)據(jù)傳輸無須CPU參與，完全由網(wǎng)卡搞定，無需再做發(fā)包收包中斷處理，不耗費(fèi)CPU資源。

騰訊云專門開發(fā)了針對 RDMA 的超高性能網(wǎng)絡(luò)框架，可以充分發(fā)揮 RDMA的傳輸優(yōu)勢。在 4K-16K小 IO 場景下，相對 TCP 網(wǎng)絡(luò)延遲下降 50%，同時有超過 5 倍的性能提升。25Gb 網(wǎng)絡(luò)讓云盤的理論讀寫帶寬達(dá)到 2.5GB/s以上，可以讓一臺云主機(jī)的多塊盤同時跑出極限性能。

3.基于 3D Xpoint 的 log 緩存

3D Xpoint 技術(shù)可謂是 NAND Flash 誕生以來存儲界的最大突破。相比DRAM，3D Xpoint 盤有非易失、低功耗、高密度的優(yōu)勢；相比 NAND，其速度更快，壽命更長。由于云盤存儲引擎采用類似 LSM 的模式，因此將高性能、長壽命的 3D Xpoint 盤作為一級 log ，內(nèi)存用作一級 log 的索引緩存非常合適。既通過內(nèi)存的高速度保證了訪問的性能，又通過 3D Xpoint 盤的非易失性保證了數(shù)據(jù)的安全。3D Xpoint 盤同時還用于存儲元數(shù)據(jù)，實(shí)現(xiàn) metadisk機(jī)制，保證需實(shí)時存儲的小 IO 元數(shù)據(jù)及時落盤。

4.云盤系統(tǒng)架構(gòu)

云盤接入層和存儲節(jié)點(diǎn)通過 RDMA 傳輸數(shù)據(jù)，騰訊云專門開發(fā)了針對RDMA 的超高性能網(wǎng)絡(luò)框架，滿足超高 IOPS 下的數(shù)據(jù)傳輸需求；Dispatch 模塊用來進(jìn)行多副本的數(shù)據(jù)分發(fā)同步；3D Xpoint 盤和 NVMe SSD 盤分別負(fù)責(zé)日志元數(shù)據(jù)和用戶數(shù)據(jù)的存儲。整個系統(tǒng)從設(shè)計(jì)上盡量縮短 IO 的中間路徑，使用 RMDA 和 SPDK 將 IO 從耗時的網(wǎng)絡(luò)內(nèi)核棧和 IO 內(nèi)核棧中解放出來，消除 IO 路徑上的瓶頸點(diǎn)，將后端洶涌澎湃的 IO 能力送達(dá)云主機(jī)。

此次超高性能 SSD 云盤的推出標(biāo)志了騰訊云積累多年的分布式存儲技術(shù)和順應(yīng)時代新硬件的完美結(jié)合。騰訊云在存儲領(lǐng)域快速應(yīng)用 RDMA、SPDK、3D Xpoint 等新技術(shù)，不斷突破性能上限。率先將最新技術(shù)領(lǐng)入到云計(jì)算行業(yè)中，普惠眾多游戲、電商、社交應(yīng)用、直播等領(lǐng)域的客戶。

songjy