經(jīng)實測,在客戶端、服務(wù)端分機部署模式下,兩節(jié)點1000倉700并發(fā)運行10分鐘,TPCC性能達(dá)312W;并且基于此環(huán)境,共享集群產(chǎn)品穩(wěn)定運行,通過7*24小時長穩(wěn)測試。

組網(wǎng)環(huán)境如下:

客戶端服務(wù)器

CPU 96 Core/256G Mem/100Gb Nic/ SATA 500GB*1

數(shù)據(jù)庫服務(wù)器

CPU 96 Core/512G Mem/100Gb Nic/NVMe 3.84TB*2

WDS存儲服務(wù)器

CPU 96 Core/256G Mem/100Gb Nic/4 x NVMe 3.84TB

網(wǎng)絡(luò)交換機

100Gb/s 交換機

存儲配置如下:

設(shè)備類型

分布式塊存儲產(chǎn)品

設(shè)備型號

華瑞指數(shù)云SDS2.0 WDS V3

詳細(xì)參數(shù)

硬盤:4 x NVMe 3.84TB

端口:100Gb Nic

緩存容量:256GB緩存

數(shù)量

服務(wù)器:3臺

每臺硬盤數(shù)量:4塊 (容量14TB)

增量同步性能提升8倍

對于數(shù)據(jù)倉庫,數(shù)據(jù)增量同步入庫能力是一個非常關(guān)鍵的能力。23.2 LTS對這部分能力進(jìn)行了優(yōu)化,極大提升了數(shù)據(jù)增量同步入庫的性能,對于lineitem表模型,單任務(wù)同步性能由原來1MB/s提升到8MB/s:

通過優(yōu)化降低數(shù)據(jù)同步任務(wù)的內(nèi)存開銷,使得并發(fā)數(shù)據(jù)同步得到提升,并且保持接近1的擴展比;

通過對同步任務(wù)流水線優(yōu)化,提升同步任務(wù)的性能;

將增量同步入庫的數(shù)據(jù)直接寫入穩(wěn)態(tài)數(shù)據(jù),使得數(shù)據(jù)存儲具備較高的壓縮比,同時使得數(shù)據(jù)入庫即可獲得較高的查詢訪問性能。

更強的兼容性:Oracle兼容能力大幅提升

V23.2 LTS在V23.1版本的基礎(chǔ)上,廣泛吸納了在銀行、證券、能源、政務(wù)等多個業(yè)務(wù)場景中的實際需求,持續(xù)提升產(chǎn)品的Oracle兼容性,讓更多的業(yè)務(wù)場景可以利用V23.2 LTS進(jìn)行平滑應(yīng)用遷移。

語法、語義、高級特性兼容能力全面增強

首先是數(shù)據(jù)類型方面。V23.2 LTS開發(fā)了float(n)類型,為用戶提供更高精度的浮點數(shù)類型。該數(shù)據(jù)類型的使用語法、數(shù)值范圍、有效數(shù)字,均與Oracle完全兼容。

其次是內(nèi)置高級包。V23.2 LTS自帶一系列程序包,這些程序包將用戶使用SQL語句或PL語句難以完成的功能以PL函數(shù)、存儲過程的方式提供給用戶,以方便用戶完成復(fù)雜的數(shù)據(jù)管理、系統(tǒng)運維任務(wù)。V23.2 LTS新增對以下高級包的支持:

高級包

功能

DBMS_SQL

解析、執(zhí)行動態(tài)SQL

DBMS_LOB

創(chuàng)建、讀取、修改LOB

DBMS_ROWID

提取ROWID中的信息

最后,在過程語言(PL)方面,V23.2 LTS新增與Oracle兼容的批量能力,包括BULK_COLLECT、FORALL,以提升存儲過程中批量語句執(zhí)行的效率。

共享集群內(nèi)核功能增強

V23.2 LTS共享集群支持了DBLink、二級分區(qū)以及統(tǒng)計信息自動收集等,同時支持用戶創(chuàng)建自定義本地臨時表空間、本地swap表空間,提供實例級的臨時數(shù)據(jù)訪問服務(wù),降低實例間的信息交互,提升相應(yīng)業(yè)務(wù)場景下的性能。

支持外部表,數(shù)據(jù)查詢更便捷

V23.2 LTS新增了對外部表功能的支持,語法上兼容了Oracle 19C。在YashanDB中創(chuàng)建只讀外部表,可以指定鏈接存儲系統(tǒng)上的具體CSV文件或者是數(shù)據(jù)目錄對象DIRECTORY的文件,用戶無需將外部數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫后再進(jìn)行處理,而是可以像訪問普通表一樣訪問外部表。當(dāng)涉及大規(guī)模數(shù)據(jù)處理和分析時,外部表可以直接在存儲系統(tǒng)上執(zhí)行查詢,避免了數(shù)據(jù)傳輸?shù)拈_銷,顯著降低了數(shù)據(jù)存儲成本,提高了查詢性能。

更加完備的高可用能力

備份恢復(fù)功能增強

數(shù)據(jù)備份和恢復(fù)是數(shù)據(jù)高可用的最后一道防線,對于用戶系統(tǒng)的穩(wěn)健運營至關(guān)重要。缺乏有效的備份和冗余機制,可能導(dǎo)致重要數(shù)據(jù)的永久丟失和損壞。V23.2 LTS共享集群支持了yasrman備份恢復(fù)工具,方便用戶備份與備份管理,同時支持PITR(Point-In-Time Recovery,基于時間點的數(shù)據(jù)恢復(fù)技術(shù))恢復(fù)以及遠(yuǎn)程備份,用戶可以靈活使用相關(guān)的備份恢復(fù)能力。

數(shù)據(jù)容災(zāi)恢復(fù)增強

另外,V23.2 LTS共享集群在YFS元數(shù)據(jù)被破壞時,可以從fast recovery area(快速恢復(fù)區(qū)域)獲取備份數(shù)據(jù),并做自動恢復(fù)。同時在多failgroup的情況下,支持?jǐn)?shù)據(jù)多副本能力,用戶可以通過多副本機制進(jìn)行數(shù)據(jù)校驗和恢復(fù),從多方面增強系統(tǒng)的可靠性。

更低的使用成本

新增2副本部署,數(shù)據(jù)存儲成本降低1/3

數(shù)據(jù)存儲是數(shù)據(jù)倉庫系統(tǒng)中最昂貴的組件,尤其是在處理大數(shù)據(jù)時,數(shù)據(jù)存儲的成本尤為突出。為了降低業(yè)務(wù)高可用模式下的數(shù)據(jù)存儲成本,V23.2 LTS存儲服務(wù)DN組引入了一主一備這種高可用部署形態(tài),使得業(yè)務(wù)在獲得高可用能力的同時,數(shù)據(jù)存儲由3副本變成2副本,數(shù)據(jù)存儲成本下降1/3。同時,DN組一主一備的部署形態(tài)還支持故障自動切換能力,高可用能力滿足RTO<10S,RPO=0。

更好的易用性

V23.2 LTS在易用性上做了大量提升,讓運維、數(shù)據(jù)壓縮等操作都變得更加簡單和高效。

易運維,高效管理

AWR報告中增加了共享集群相關(guān)的章節(jié)信息(Global Cache Load Profile、Global Cache Efficiency Percentages等),提供了運行期間各種集群相關(guān)的統(tǒng)計數(shù)據(jù),用戶可以更好的了解共享集群性能表現(xiàn)。同時,V23.2版本對集群相關(guān)的參數(shù)做了優(yōu)化,部分參數(shù)采用了自調(diào)優(yōu)策略,降低用戶使用成本,同時實現(xiàn)共享集群后臺服務(wù)線程自管理。

自適應(yīng)編碼提供高效的數(shù)據(jù)壓縮能力

存儲支持表字段的自適應(yīng)編碼,用戶建表不用指定字段的編碼類型,系統(tǒng)自動探測選擇較優(yōu)的編碼類型,達(dá)到較優(yōu)的編碼壓縮效果,做到”用戶無感知“,大大降低用戶使用門檻。

支持一鍵式收集操作系統(tǒng)和數(shù)據(jù)庫信息

為了更快定位問題和優(yōu)化系統(tǒng),YashanDB在V23.2版本提供一鍵式診斷所需信息,包含操作系統(tǒng)基本信息、操作系統(tǒng)和數(shù)據(jù)庫日志、數(shù)據(jù)庫配置信息和數(shù)據(jù)庫視圖等信息,同時打包到指定目錄,可以更快、更準(zhǔn)地獲取到便于定位定界的相關(guān)信息,支撐問題解決和性能優(yōu)化。

更完備的工具體系

在此次版本迭代中,YashanDB全新上線開發(fā)、遷移以及運維工具,實現(xiàn)從安裝部署、一鍵遷移、智能運維到應(yīng)用開發(fā)的全生命周期管理,幫助用戶簡化學(xué)習(xí)及運維成本。

支持MySQL、DM8等多款數(shù)據(jù)庫遷移

V23.2 LTS配套的崖山遷移平臺(Yashan Migration Platform,YMP)新增MySQL、DM8等數(shù)據(jù)庫離線遷移至YashanDB鏈路,同時新增統(tǒng)計校驗、全量校驗、失敗重試、批量改寫、遷移容錯、暫停恢復(fù)等功能。

新增分布式可視化運維能力

V23.2 LTS實現(xiàn)了分布式可視化運維能力,通過YashanDB 監(jiān)控運維工具(YashanDB Cloud Manager,YCM)納管YashanDB分布式數(shù)據(jù)庫,目前支持對單機、共享集群以及分布式全產(chǎn)品形態(tài)的巡檢管理、監(jiān)控告警、備份恢復(fù)和慢SQL分析等可視化功能,實現(xiàn)了便捷的運維效率。

開發(fā)者工具全新發(fā)布

V23.2 LTS同時配套全新的開發(fā)者工具YDC V1.0 (YashanDB Developer Center,YDC),用戶可通過YDC可視化地管理數(shù)據(jù)庫中的表、視圖、函數(shù)等數(shù)據(jù)庫對象。具有豐富的功能和工具,支持?jǐn)?shù)據(jù)庫連接管理、SQL編輯及運行、智能IDE、圖形化對象管理、執(zhí)行記錄、日志、結(jié)果集顯示以及PL/SQL DUBUG等。

強化開源產(chǎn)品化應(yīng)用能力

支持sqlalchemy方言包,可通過sqlalchemy框架訪問YashanDB數(shù)據(jù)庫;

支持Prometheus監(jiān)控系統(tǒng),通過yashandb-exporter組件可以自定義采集yashandb的監(jiān)控項;

支持使用數(shù)據(jù)同步工具DataX向YashanDB數(shù)據(jù)庫進(jìn)行全量遷移;

支持通過GeoServer地理空間系統(tǒng)對YashanDB地理空間數(shù)據(jù)進(jìn)行可視化訪問。

自YashanDB個人版全面開放下載以來已收到很多寶貴的產(chǎn)品改進(jìn)建議,在此也全新推出YashanDB V23.2個人版(download.yashandb.com),歡迎前往官網(wǎng)關(guān)注了解更多新增和優(yōu)化特性。通信世

分享到

zhupb

相關(guān)推薦