隨著企業(yè)信息化轉(zhuǎn)型、數(shù)據(jù)的飛速增長(zhǎng),日益增大的數(shù)據(jù)分析、數(shù)據(jù)挖掘等能力成為考驗(yàn)大數(shù)據(jù)產(chǎn)品的重要指標(biāo)。TPC官方推出的TPC-DS基準(zhǔn)測(cè)試包含對(duì)大數(shù)據(jù)集的統(tǒng)計(jì)、報(bào)表生成、聯(lián)機(jī)查詢、數(shù)據(jù)挖掘等復(fù)雜應(yīng)用的全方位考核,測(cè)試用的數(shù)據(jù)與真實(shí)數(shù)據(jù)一致,是與真實(shí)場(chǎng)景非常接近的一個(gè)基準(zhǔn)測(cè)試,是目前全球衡量一個(gè)數(shù)據(jù)倉(cāng)庫(kù)成熟度、競(jìng)爭(zhēng)力的核心基準(zhǔn)測(cè)試。在本次測(cè)試中作為國(guó)產(chǎn)自主研發(fā)的MPP數(shù)據(jù)庫(kù)產(chǎn)品,GBase 8a V9版本顯示出極佳的能力。
測(cè)試節(jié)點(diǎn)數(shù)量最少:
目前分析型MPP集群產(chǎn)品主要部署在實(shí)體物理機(jī)上,此次測(cè)試南大通用選用實(shí)體物理機(jī)作為測(cè)試基礎(chǔ)資源。在所有通過(guò)測(cè)試的廠商中使用的物理節(jié)點(diǎn)數(shù)量最少,僅使用8個(gè)節(jié)點(diǎn)完成了全部測(cè)試,在全部廠商中物理機(jī)上測(cè)試性能第一。南大通用GBase 8a V9版本集群產(chǎn)品作為國(guó)內(nèi)優(yōu)秀的分析型數(shù)據(jù)庫(kù)產(chǎn)品可以充分發(fā)揮出物理機(jī)的全部性能,在用戶物理機(jī)的部署中達(dá)到最佳能力。而GBase 8a V9作為Shared Nothing架構(gòu)的分布式數(shù)據(jù)庫(kù)集群系統(tǒng),集群的性能可以隨著節(jié)點(diǎn)數(shù)量的增加而線性提升。同時(shí)支持集群在線擴(kuò)容和縮容,用戶可以在不停止業(yè)務(wù)的情況下根據(jù)自己的業(yè)務(wù)需求增加和減少節(jié)點(diǎn)數(shù)量,滿足用戶集群彈性部署的需求。
平均單核算力第一:
隨著CPU技術(shù)的不斷演進(jìn),現(xiàn)代CPU均采用多NUMA組的架構(gòu),同時(shí)核數(shù)不斷增加。這對(duì)于數(shù)據(jù)庫(kù)軟件的架構(gòu)和并發(fā)能力是很大的考驗(yàn)。GBase 8a V9通過(guò)多實(shí)例的架構(gòu),實(shí)例綁定NUMA node精確配置資源,減少NUMA node間內(nèi)存訪問(wèn)成本,同時(shí)在單實(shí)例內(nèi)部提升其自身的并發(fā)能力,有效利用了CPU運(yùn)算資源。此測(cè)試成績(jī),是GBase 8a V9在Intel(R) Xeon(R) Gold 6230R CPU @ 2.10GHz處理器上進(jìn)行測(cè)試取得的成績(jī),平均單核算力高達(dá)1118059,充分發(fā)揮了Intel Xeon(R)CPU單核強(qiáng)悍的計(jì)算能力。
加載性能最優(yōu):
GBase 8a V9使用多點(diǎn)傳輸技術(shù),集群中的每個(gè)節(jié)點(diǎn)均參與數(shù)據(jù)的解析和加載,加載性能可以隨著集群節(jié)點(diǎn)數(shù)的增加線性擴(kuò)展。本次測(cè)試中僅使用8個(gè)節(jié)點(diǎn)即達(dá)到33TB/小時(shí)的加載速度。在海量數(shù)據(jù)的應(yīng)用場(chǎng)景下,可以高性能滿足用戶任意尺度的數(shù)據(jù)快速導(dǎo)入的需求。
GBase 8a V9支持FTP、HTTP、HDFS、本地文件等多數(shù)據(jù)源并行加載,支持平面文件和gzip、lzo、snappy壓縮格式,單個(gè)節(jié)點(diǎn)的單表加載性能超過(guò)300GB/小時(shí),集群加載性能超過(guò)30TB/小時(shí)。
GBase 8a V9版本作為南大通用自主研發(fā)的大數(shù)據(jù)時(shí)代成熟的分析型MPP數(shù)據(jù)庫(kù)產(chǎn)品,此次通過(guò)TPC-DS基準(zhǔn)測(cè)試不僅代表南大通用成為通過(guò)測(cè)試的國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商之一,同時(shí)也是在所有通過(guò)測(cè)試的大數(shù)據(jù)產(chǎn)品中使用的物理節(jié)點(diǎn)數(shù)最少,總物理CPU核數(shù)最少,總內(nèi)存最少,但是加載性能最高的產(chǎn)品。