基于多網(wǎng)關(guān)多活架構(gòu), NFS 協(xié)議網(wǎng)關(guān)的處理性能表現(xiàn)優(yōu)越。通過在 5.2.100 版本中的軟件版本更新優(yōu)化了 XPG(XGFS Performance Gateway,高性能文件網(wǎng)關(guān)服務(wù)),NFS協(xié)議通路的性能又達新高:

同樣環(huán)境,5.2.100 版本 4K 讀寫性能和 1M 讀性能都比之前版本有較大提升,4k讀相較原來可達175%,4k寫則高達173.8%!

高性能緩存?XCache 規(guī)格提升

XClient Cache 是 XGFS 在網(wǎng)關(guān)或客戶端中提供數(shù)據(jù)緩存能力的模塊,簡稱 XCache同時提供文件數(shù)據(jù)的讀緩存能力和元數(shù)據(jù)的讀緩存能力。

通過 XCache 數(shù)據(jù)讀緩存,可以大大提高數(shù)據(jù)讀性能。而 XCache 的目錄預(yù)取引擎,對小文件讀場景可以成倍提高性能!此外,XCache 的元數(shù)據(jù)預(yù)讀管理,還增加了對元數(shù)據(jù)的讀能力,對數(shù)據(jù)密集型應(yīng)用帶來極致性能。
在 5.2.100 版本中,XSKY 帶來了大規(guī)格的 XCache:

在相同緩存內(nèi)存大小,可以緩存的文件數(shù)提升 40% 以上

用戶可以手動指定內(nèi)存占用,不設(shè)上限

界面統(tǒng)計信息優(yōu)化

在 5.2.100 版本中,XGFS 還優(yōu)化了細粒度的文件系統(tǒng)信息統(tǒng)計顯示,可以使用多種命令查看不同類型的實時與總量的 OPS(每秒可響應(yīng)的并發(fā)請求數(shù))統(tǒng)計信息、XCache 命中(命中率)和占用資源統(tǒng)計。

XGFS 對統(tǒng)計信息的實時與動態(tài)查詢顯示都進行了進一步的優(yōu)化,實時統(tǒng)計可以自動更新,將?OP(請求)?統(tǒng)計信息的粒度進一步細化,可以分為業(yè)務(wù) OP 、內(nèi)部 OP,以及各 OP 單獨的統(tǒng)計;內(nèi)存和存儲資源的統(tǒng)計也進行了進一步優(yōu)化,可以細分查看元數(shù)據(jù)以及多種資源庫的內(nèi)存和資源量占用情況。
在 5.2.100 版本,用戶可以更清晰的了解存儲實時的工作情況,靈活分配資源與調(diào)整使用,星辰天合秉持數(shù)據(jù)常青之理念,為 XGFS 的易用性做出了跨越式提升。

多網(wǎng)關(guān)并發(fā)讀寫能力增強

在 Windows 和渲染場景中,需要使用多網(wǎng)關(guān)對同一命名空間內(nèi)的相同文件進行讀寫訪問。多網(wǎng)關(guān)訪問依賴文件鎖進行控制,文件鎖是用于解決資源的共享使用的一種機制:當(dāng)多個用戶需要共享一個文件時,通常采用的方法是給文件上鎖,來避免共享的資源產(chǎn)生競爭的狀態(tài)。

在 5.2.100 版本中,XGFS 實現(xiàn)了多網(wǎng)關(guān)訪問同一個文件的權(quán)限控制,使得多網(wǎng)關(guān)并發(fā)讀寫能力得到進一步擴展提升。

XGFS 配合 Windows 和渲染應(yīng)用添加全局文件鎖(建議鎖,非強制鎖,需要應(yīng)用配合),多個客戶端寫入時,將會由應(yīng)用加鎖,此時文件鎖生效,保護不被多應(yīng)用同時讀寫。

XGFS 滿足了應(yīng)用在計算端加鎖操作,達到大量計算節(jié)點同時在不同文件網(wǎng)關(guān)進行渲染操作。突破單節(jié)點渲染瓶頸,實現(xiàn)增加節(jié)點性能線性增長。

高性能并行客戶端XPC??穩(wěn)定性提升

在 5.2.100 版本中,XGFS 在計算節(jié)點的對高性能并行客戶端(XPC)穩(wěn)定性做了進一步優(yōu)化提升,支持常見的Centos7.6、Ubuntu18/20 等諸多 Linux 系統(tǒng)(兼容 3.10、4.18 內(nèi)核),也可以按其他操作系統(tǒng)定制。

XPC 可以提供標(biāo)準(zhǔn) POSIX 語義,使用私有協(xié)議直接和存儲集群通訊,由集群中所有存儲節(jié)點同時提供服務(wù)。所有 XPC 支持同時開啟其他協(xié)議訪問(NFS、SMB、HDFS)并實現(xiàn)數(shù)據(jù)無損互通,并且 XPC 客戶端所使用的文件目錄,和其他協(xié)議一樣支持基于目錄的所有高級功能,如配額、快照、WORM 等。

此圖像的alt屬性為空;文件名為2022070805585792.jpg

XPC 客戶端可以實現(xiàn)在大文件模型下讀寫帶寬和 IOPS 均達到存儲池性能上限,且單客戶端的大文件讀寫帶寬可達 5GB/s。在小文件模型下的讀寫 OPS 性能超過 10 萬 OPS/s,相比 NFS 協(xié)議通路提升近 50%。通過使用 XPC 高性能并行客戶端,能夠提供相比更高的并發(fā)讀寫性能優(yōu)勢,可以極大的提升同樣環(huán)境的作業(yè)計算效率,從而加快業(yè)務(wù)進展。

原生 HDFS 協(xié)議網(wǎng)關(guān)穩(wěn)定性提升

HDFS 分布式文件系統(tǒng)是 Hadoop 中的的存儲組件。

XGFS 產(chǎn)品在 5.2.100 版本中已實現(xiàn)原生 HDFS 協(xié)議,可以通過 XGFS 原生的 HDFS 協(xié)議網(wǎng)關(guān),提供大數(shù)據(jù)存算分離解決方案中的文件存儲服務(wù)。

此外,XGFS 目前已支持 NFS、SMB/CIFS、POSIX、FTP、HDFS、S3 等協(xié)議之間互通,也就是一份文件既可以通過原生 HDFS 接口訪問,又可以使用其他文件協(xié)議接口訪問。大數(shù)據(jù)服務(wù)所使用的文件目錄,支持同時設(shè)置高級功能:快照、WORM、配額等,支持同時開啟其他協(xié)議訪問(NFS、SMB、FTP 等) 并實現(xiàn)數(shù)據(jù)無損互通。

利用 XGFS 的 HDFS 原生協(xié)議和多協(xié)議互通能力,可以面向下一代數(shù)據(jù)分析需求構(gòu)建 “采集-清洗-分析基于一個數(shù)據(jù)集” 的全新工作流。

在大數(shù)據(jù)場景下提供 HDFS 大數(shù)據(jù)存儲服務(wù),無需在計算節(jié)點上安裝額外插件或客戶端軟件包,只需簡單改一條配置即可使用。大數(shù)據(jù)服務(wù)支持對外提供 HDFS 常用的命令字接口,并支持對接 HBase、YARN、Spark、Hive、MR 等常見的應(yīng)用組件。

小結(jié)

XGFS V5.2.100 版本,性能與易用性進一步加強,同時 XPC(POSIX)客戶端和 HDFS 協(xié)議網(wǎng)關(guān)的穩(wěn)定性大大提升,完善了 XGFS 對大數(shù)據(jù)和人工智能等高性能數(shù)據(jù)分析生態(tài)的支持。

關(guān)于XSKY星辰天合:

北京星辰天合科技股份有限公司(簡稱”XSKY星辰天合”)是一家以“數(shù)據(jù)常青”為愿景的專業(yè)軟件定義存儲廠商,致力于成為國內(nèi)領(lǐng)先的數(shù)據(jù)基礎(chǔ)設(shè)施技術(shù)平臺提供商。XSKY星辰天合專注于軟件定義基礎(chǔ)架構(gòu)業(yè)務(wù),于2021年入選工信部第三批專精特新“小巨人”企業(yè)名單。

XSKY星辰天合基于軟件定義的統(tǒng)一技術(shù)架構(gòu)和混合云模式的數(shù)據(jù)管理方案,為政企客戶提供以數(shù)據(jù)價值為核心的產(chǎn)品和服務(wù),幫助政企客戶實現(xiàn)海量數(shù)據(jù)的”匯-存-管-用”,推進政企客戶數(shù)據(jù)資產(chǎn)化升級、提升創(chuàng)新效能,助力夯實數(shù)字經(jīng)濟社會的基石。

在 IDC 2021 年全年中國區(qū) SDS 的市場報告中,XSKY星辰天合對象存儲市場份額排名中國區(qū)第一,在SDS中國市場整體份額中,位居前五,是TOP5中唯一一家專業(yè)軟件定義存儲廠商。

欲了解更多XSKY星辰天合公司信息,請訪問:https://www.xsky.com/

分享到

崔歡歡

相關(guān)推薦