說說離我們生活較近的案例,在我們?nèi)粘I钪?,很容易發(fā)現(xiàn)自己的使用習(xí)慣、消費(fèi)習(xí)慣、生活喜好很容易被大數(shù)據(jù)抓取,用于用戶畫像、商品推薦等業(yè)務(wù),這些業(yè)務(wù)的背后都可能有Redis存儲的支持。作為內(nèi)存數(shù)據(jù)庫,Redis 依賴高內(nèi)存容量,這樣才能愜意地享受比固態(tài)盤更高的數(shù)據(jù)吞吐帶寬,以及更低的數(shù)據(jù)處理延時(shí)。

英特爾?傲騰?持久內(nèi)存可在每個(gè)CPU的內(nèi)存總線上提供高達(dá) 3TB 的內(nèi)存容量,同時(shí)性能接近 DRAM。與第二代英特爾?至強(qiáng)?可擴(kuò)展處理器搭配使用,提供比前幾代處理器更出色的單位內(nèi)核性能和內(nèi)存容量,這些因素均有利于 Redis 的部署,并且體現(xiàn)在具體數(shù)據(jù)中。

來看數(shù)據(jù)測試,兩套配置幾乎完全相同的服務(wù)器系統(tǒng),區(qū)別在于一臺使用英特爾?傲騰?持久內(nèi)存,另一臺使用傳統(tǒng)內(nèi)存,測試下來,兩系統(tǒng)提供的性能和虛擬機(jī)密度類似,延遲均小于 1 毫秒。但采用英特爾?傲騰?持久內(nèi)存的系統(tǒng),每個(gè)虛機(jī)可以降低 20% 成本,同時(shí)還能滿足所有虛擬機(jī) SLA 要求。這是針對單機(jī)同內(nèi)存容量的狀況的成本分析。

在 Redis 服務(wù)器集群中使用英特爾?傲騰?持久內(nèi)存,成本可以降低高達(dá) 40%,而且由于單臺服務(wù)器搭載內(nèi)存更多,因此服務(wù)器節(jié)點(diǎn)更少,無論是基礎(chǔ)設(shè)施的運(yùn)維,還是數(shù)據(jù)的管理,都更加方便。

英特爾?傲騰?持久內(nèi)存加速阿里Mars系統(tǒng)

在一次測試中,阿里的Mars分布式內(nèi)存計(jì)算框架利用英特爾?傲騰?持久內(nèi)存,取得了很不錯(cuò)的性能加成。如下圖所示,當(dāng)需要處理的數(shù)據(jù)集超過了主存承載能力之后,溢出后的數(shù)據(jù)被放置在傲騰?存儲器而不是之前的NVMe硬盤中,隨著數(shù)據(jù)量溢出主存,傲騰?方案的性能會(huì)有顯著提升。

Mars是一個(gè)基于張量的統(tǒng)一分布式計(jì)算框架,突破了現(xiàn)有大數(shù)據(jù)計(jì)算引擎以關(guān)系代數(shù)為主的計(jì)算模型,將分布式技術(shù)引入科學(xué)計(jì)算和數(shù)值計(jì)算領(lǐng)域,極大地?cái)U(kuò)展了科學(xué)計(jì)算的計(jì)算規(guī)模和效率。目前Mars已經(jīng)實(shí)現(xiàn)了70%的Numpy常見接口,用戶只需要通過import Mars就可以將已經(jīng)編寫好的基于Numpy的代碼移植到Mars中。

Mars會(huì)將張量自動(dòng)在各個(gè)維度上切分成小的chunk來分布式處理從而提升并行性,以便于將小顆粒任務(wù)派發(fā)到GPU,或者網(wǎng)絡(luò)遠(yuǎn)端的其它集群節(jié)點(diǎn)上并行計(jì)算。

舉例來講,對于張量矩陣乘法,Mars會(huì)生成如下圖所示的chunk級別執(zhí)行圖。在執(zhí)行過程中,會(huì)有大量的中間過程,這些過程生成大量的數(shù)據(jù)會(huì)占用寶貴的主存資源。

每個(gè)chunk執(zhí)行完畢之后,結(jié)果數(shù)據(jù)會(huì)被放置在shared memory中,當(dāng)share memory中數(shù)據(jù)過多時(shí),Mars會(huì)啟動(dòng)spill溢出控制機(jī)制,將溢出的數(shù)據(jù)轉(zhuǎn)移到下層更大容量的存儲器中。

經(jīng)過評估,阿里發(fā)現(xiàn)使用英特爾?傲騰?持久內(nèi)存來作為主存的下一層存儲器,無論是在性能上還是TCO上,相比直接用NVMe盤作為下層,都非常符合Mars系統(tǒng)的預(yù)期。

英特爾?傲騰?持久內(nèi)存提供128GB、256GB和512GB容量,遠(yuǎn)高于目前最大容量僅限于每DIMM 128GB的可用SDRAM DIMM,而且與傳統(tǒng)DRAM DIMM相比,英特爾?傲騰?持久內(nèi)存的每GB成本更低。英特爾?傲騰?持久內(nèi)存通過內(nèi)存總線直接連接到處理器,在基于App Direct(簡稱AD)模式下,應(yīng)用程序可以完全繞過操作系統(tǒng),不需要設(shè)備驅(qū)動(dòng)程序、系統(tǒng)調(diào)用、中斷和上下文切換,就可以從用戶空間直接訪問英特爾?傲騰?持久內(nèi)存上的數(shù)據(jù)。下圖所示為采用NVMe閃存盤、NVMe傲騰?盤和英特爾?傲騰?持久內(nèi)存的訪問延遲對比。

總體而言,使用英特爾?傲騰?持久內(nèi)存,解決了Mars科學(xué)計(jì)算中因數(shù)據(jù)溢出傳到硬盤,導(dǎo)致I/O開銷增大,計(jì)算性能降低的問題。通過測試,驗(yàn)證了在TCO成本相當(dāng)?shù)那闆r下,使用英特爾?傲騰?持久內(nèi)存能夠有效提升Mars科學(xué)計(jì)算性能。

傲騰?固態(tài)盤加速Ceph分布式存儲系統(tǒng)

Ceph是最常見的塊和對象存儲后端解決方案。作為一款開源的分布式存儲軟件解決方案,它在分布式、可靠性、易擴(kuò)展、并發(fā)性能的優(yōu)勢越來越被行業(yè)作為專業(yè)存儲高性能解決方案。隨著云服務(wù)以及產(chǎn)業(yè)互聯(lián)網(wǎng)升級對存儲性能要求越來越高,英特爾?傲騰?固態(tài)盤可以在IOPS和延遲方面助力客戶產(chǎn)業(yè)升級,并且其高壽命的優(yōu)勢幫助企業(yè)降低維護(hù)成本。

在 Ceph分布式存儲方案中,使用英特爾?傲騰?固態(tài)盤作為緩存盤為RocksDB、 WAL、OSD緩存提速,低延遲加速負(fù)載間的傳輸響應(yīng),并配合英特爾?CAS緩存加速軟件進(jìn)一步增強(qiáng)系統(tǒng)性能和可靠度。

在以成本和性能為導(dǎo)向的前提下,如何以較低成本實(shí)現(xiàn)最大性能的發(fā)揮?針對Ceph架構(gòu)中的熱數(shù)據(jù)和溫?cái)?shù)據(jù)進(jìn)行優(yōu)化,英特爾?傲騰?固態(tài)盤+英特爾?QLC 3DNAND 方案(O+Q方案),通過傲騰?解決小的隨機(jī)I/O,QLC來解決容量問題,實(shí)現(xiàn)性能瓶頸的突破。

綜上所述,傲騰?對于企業(yè)級應(yīng)用具有非常明顯的加速效果,作為下一代固態(tài)介質(zhì)的排頭兵,Intel傲騰?近幾年逐步擴(kuò)大生態(tài),在企業(yè)級應(yīng)用加速場景先顯現(xiàn)出了優(yōu)良的效果。

分享到

zhupb

相關(guān)推薦