騰訊云CBS產品架構圖
騰訊云CBS產品由CBS接入、MDS(Meta data Server)控制集群和CBS存儲集群構成。CBS接入收到CVM云主機集群的數(shù)據(jù)讀寫請求后，根據(jù)MDS提供的集群路由信息，將讀寫請求轉發(fā)至對應的CBS存儲節(jié)點中。
目前其單磁盤容量最大可支持32TB，單個云主機累計可掛載640TB容量，可為用戶業(yè)務場景提供單盤最大110W的隨機IOPS性能，以及最高每秒4Gbps的帶寬能力，憑借三副本分布式機制，可提供高達99.9999999%的數(shù)據(jù)可靠性。
云服務的快速發(fā)展對云存儲性能提出更高要求
憑借自身高性能，高可靠性等優(yōu)勢，騰訊云CBS在如高負載OLTP (聯(lián)機事務處理) 金融交易系統(tǒng)、高吞吐電商系統(tǒng)、面向人工智能的數(shù)據(jù)分析系統(tǒng)、高并發(fā)的CDN網(wǎng)絡等中得到了廣泛部署和應用。
但基于分布式構建的存儲集群，整體性能會受到來自網(wǎng)絡接入、傳輸延遲等因素影響，從而與本地存儲產生差異。這也是用戶對在核心數(shù)據(jù)庫、內容分發(fā)網(wǎng)絡等要求性能和靈敏度的場景中采用CBS產品存疑的原因之一。
隨著云服務在企業(yè)業(yè)務系統(tǒng)中比重加大，更多更復雜的核心業(yè)務數(shù)據(jù)讀寫需求驅動騰訊云對極速存儲體驗的CBS產品開展深度優(yōu)化并提升性能，以此打消用戶對CBS產品的顧慮。
英特爾助力騰訊云CBS產品打造極速云存儲體驗
針對CBS產品的架構、存儲引擎以及硬件基礎設施，騰訊云開始支持遠程直接數(shù)據(jù)存取(Remote Direct Memory Access，RDMA)協(xié)議，并與英特爾攜手開展了存儲引擎以及基于英特爾SPDK開發(fā)套件對SSD的性能優(yōu)化。但實際上，SSD本身的高延遲就是CBS產品提升整體性能的障礙。
為此，騰訊云與英特爾的聯(lián)合更進一步，以高耐用性和低延遲的英特爾? 傲騰?持久內存作為新一代極速型CBS產品存儲核心，重構數(shù)據(jù)落盤方案，以便滿足性能密集場景在延遲上的更高要求。
在騰訊云既有的極速型CBS產品設計中，以數(shù)據(jù)落盤為例，在此過程中，云主機數(shù)據(jù)首先通過HASH找到或分配到對應的塊節(jié)點里，然后數(shù)據(jù)被緩存到不同頁面。接著系統(tǒng)要執(zhí)行兩次寫操作，一次把業(yè)務數(shù)據(jù)寫入SSD對應的數(shù)據(jù)區(qū)，另一次是把元數(shù)據(jù)以日志形式寫入SSD中。
整個過程，SSD一次寫入延遲通常為數(shù)十微秒，兩次寫入就會有數(shù)十乃至近百微秒的延遲。數(shù)字雖然看起來小，但為了適配端到端網(wǎng)絡延遲1毫秒 (1000微秒)的5G時代，整體性能仍需突破。除此之外，還有反復擦寫導致SSD使用壽命縮短，日志回收過程中存在的相應毛刺問題等。
基于英特爾? 傲騰?技術構建的英特爾? 傲騰?持久內存能幫助CBS產品有效應對以上問題。英特爾? 傲騰?技術通過一種全新的無晶體管存儲架構，在三維矩陣中堆疊存儲網(wǎng)格，從而在提高存儲密度、增強讀寫性能的同時，提供持久化的存儲能力。持久內存可按字節(jié)尋址，可以像內存一樣精準控制讀寫的位置和大小。
與傳統(tǒng)DRAM內存相比，英特爾??傲騰??持久內存的兩大優(yōu)勢包括存儲密度更高、單位存儲成本更低，具有良好的經濟效益，其次通App Direct模式下的英特爾??傲騰? 持久內存能夠有效充當CBS產品的數(shù)據(jù)持久化存儲載體。
優(yōu)化后騰訊云極速型CBS產品數(shù)據(jù)落盤過程
優(yōu)化之后的極速型CBS產品,數(shù)據(jù)通過HASH分配到對應的塊節(jié)點并緩存到頁面中，然后數(shù)據(jù)就馬上被持久化存儲到英特爾? 傲騰?持久內存中，同時頁面/塊的元數(shù)據(jù)也會直接更新到對應的數(shù)據(jù)區(qū)中。
除數(shù)據(jù)落盤過程實現(xiàn)優(yōu)化之外，企業(yè)還可以通過定制化的策略和算法，決定英特爾??傲騰??持久內存中的數(shù)據(jù)分配。例如，將需要頻繁讀寫的“熱數(shù)據(jù)”保留在持久內存中，而長時間不需訪問的“冷數(shù)據(jù)”定期被后臺轉移至SSD里降低TCO。
還有英特爾??持久內存開發(fā)工具包PMDK(Persistent Memory Development Kit) 為CBS產品提供面向英特爾? 傲騰?持久內存的編程模型和環(huán)境。以其中的libpmem庫為例，作為PMDK?中的底層庫，其支持用內存映射方式訪問持久內存，這一方式可將持久內存上的文件映射到應用的虛擬內存空間進行操作。通過規(guī)避內核參與和上下文切換帶來的開銷，持久內存的性能可直接為應用提供助力。
除此之外，libpmem還封裝了?NTW?(NonTemporal Write) 指令，該指令能利用寫合并方式來繞過處理器緩存 (Cache), 直接將數(shù)據(jù)從存儲緩沖區(qū)中寫入內存控制器的WPQ（寫請求隊列）里，從而提高性能。
創(chuàng)新硬件與優(yōu)化設計為極速CBS帶來的效果增益
數(shù)據(jù)讀寫延遲縮短。英特爾傲騰持久內存的讀寫延遲可控制在1微秒以內;另一方面，借助PMDK提供的函數(shù)庫與工具， 英特爾傲騰持久內存能對整個寫流程實現(xiàn)更細致和準確的控制，并有效提升系統(tǒng)的寫入性能。
系統(tǒng)使用壽命提升。英特爾傲騰持久內存的按字節(jié)尋址特性有效避免了因反復擦寫造成的設備使用壽命縮短問題。另一方面，英特爾傲騰技術獨有的存儲結構也使其具有更長的使用期限。
空間使用率增強。英特爾傲騰技術允許單獨訪問和更新內存單元，無需再執(zhí)行垃圾收集，進而避免了NAND盤面臨的回收毛刺問題，提升存儲空間的使用效率。
為驗證新硬件與優(yōu)化設計對CBS產品產生的效果，騰訊云與英特爾開展了驗證測試。測試結果顯示，采用英特爾傲騰持久內存構建的CBS產品方案整體寫延遲從120微秒下降到60微秒，整體讀延遲從130微秒下降到40微秒， 同 IOPS可高達200W 以上，性能得到有效提升。
云存儲的未來展望
隨著云存儲技術的不斷完善，云服務正在企業(yè)級業(yè)務系統(tǒng)中扮演越來越重要的角色，用戶也勢必會對各類云服務的性能提出更多和更高的要求，這些技術與應用場景的互動將大力推動著相關產品與技術的持續(xù)演進與優(yōu)化。
作為云服務行業(yè)的重要參與者和引領者，騰訊云與英特爾基于英特爾? 傲騰?持久內存開展的CBS產品優(yōu)化及所取得的收益，正是這一趨勢的顯著體現(xiàn)。
面向未來，國內云計算市場飛速發(fā)展，更多IT巨頭基于自身業(yè)務優(yōu)勢拿到了市場準入券，競爭之勢漸起。因此，擁抱更多先進產品和技術持續(xù)創(chuàng)新和優(yōu)化自身云服務產品，為用戶數(shù)據(jù)打造更好的云存儲體驗，有助于騰訊云鞏固自身市場地位，使CBS等云存儲產品成為未來企業(yè)級業(yè)務數(shù)據(jù)存儲的可靠依托。
