路線場景分析

從數(shù)據(jù)使用場景來講，可大致按下面進(jìn)行劃分：

針對不同的場景，不同分布式數(shù)據(jù)庫路線產(chǎn)品各有所長：

針對事務(wù)類場景下，強調(diào)高并發(fā)聯(lián)機交易、對分析能力要求不高的場景比較適合分布式中間件路線產(chǎn)品。

針對事務(wù)類及事務(wù)/分析混合類場景，既要滿足常規(guī)聯(lián)機交易場景的同時，還需滿足分析類的一部分能力，這種情況比較適合原生分布式產(chǎn)品?；谠植际降?HTAP 數(shù)據(jù)庫，用一個數(shù)據(jù)平臺應(yīng)對規(guī)?；灰缀蛯崟r分析，提升業(yè)務(wù)決策的時效性，降低數(shù)據(jù)技術(shù)棧的復(fù)雜性，越來越多的混合負(fù)載需求推動了 HTAP 在金融場景的落地。

金融業(yè) HTAP 應(yīng)用場景實踐

金融場景下 HTAP 的分析

在金融企業(yè)數(shù)字化轉(zhuǎn)型的過程中，各類業(yè)務(wù)對“海量、實時、在線”的數(shù)據(jù)需求變得愈發(fā)迫切。在金融企業(yè)運營場景中，實時推薦、精準(zhǔn)營銷是企業(yè)提升競爭力的一大因素。在企業(yè)風(fēng)險控制場景中，實時風(fēng)控、反欺詐等業(yè)務(wù)開展可以更早地識別和阻斷風(fēng)險可以讓企業(yè)減少損失，HTAP 正是基于上述背景誕生出的需求，為各類實時數(shù)據(jù)處理需求提供了解決方案。

某金融用戶 HTAP 的架構(gòu)設(shè)計和實踐

隨著金融市場同業(yè)業(yè)務(wù)的蓬勃發(fā)展，業(yè)務(wù)部門對于交易數(shù)據(jù)的實時統(tǒng)計分析和展現(xiàn)有了急切的需求?；诖髷?shù)據(jù)技術(shù)棧的 T+1 報表模式，已無法滿足業(yè)務(wù)部門通過實時分析交易發(fā)生情況來防范風(fēng)險以及提供決策的需求，迫切的需要找到一種能讓數(shù)據(jù)實時變現(xiàn)的解決方案。結(jié)合金融行業(yè)特點，在技術(shù)選型過程中，重點考察待選產(chǎn)品如下能力：包括承載業(yè)務(wù)復(fù)雜查詢處理、海量數(shù)據(jù)容量存儲、應(yīng)用透明無侵入、開發(fā)協(xié)議可適配及混合負(fù)載下的表現(xiàn)等。經(jīng)過測試，選擇 TiDB 作為基礎(chǔ)數(shù)據(jù)庫平臺，基于其 HTAP 的特性，打造金融市場實時數(shù)據(jù)平臺，目前已投產(chǎn)了靈活報表和交易對手分析等應(yīng)用場景。整個處理流程包括：

· Flink 消費交易系統(tǒng)產(chǎn)生的實時增量數(shù)據(jù)，對部分事實表進(jìn)行拉寬處理并寫入 TiDB

· 維表和其他明細(xì)表直接寫入 TiDB

· BI 工具直接連接 TiDB，提供秒級的實時計算和分析能力

這一案例中，構(gòu)建千萬及以上數(shù)據(jù)規(guī)模、超過五張表的復(fù)雜關(guān)聯(lián)實時查詢能力，讓業(yè)務(wù)人員在極短的時間內(nèi)（大部分報表執(zhí)行時間為幾十到幾百毫秒、個別報表秒級別）獲得實時交易的詳情。

未來 HTAP 的場景發(fā)展

實時數(shù)據(jù)處理技術(shù)還以某些具體的應(yīng)用場景為主，從現(xiàn)狀來看以事件驅(qū)動類、流式管道數(shù)據(jù)計算類為代表的場景，已經(jīng)開始使用 HTAP 場景的。未來隨著 HTAP 計算能力進(jìn)一步的提升，實時全量數(shù)據(jù)的計算將帶來更多場景。

面向未來的架構(gòu)趨勢 云原生

從未來的發(fā)展趨勢來看，云方向是一個大的趨勢。

從上圖可見，云數(shù)據(jù)庫的發(fā)展經(jīng)歷了幾個階段，從云托管、云服務(wù)、云原生之路。

云托管，是最接近傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的部署模式。本質(zhì)是將原本部署于 IDC 機房內(nèi)物理服務(wù)器上的傳統(tǒng)數(shù)據(jù)庫軟件部署在了云主機上。這種模式下，云平臺提供諸如高可用、異地災(zāi)備、備份恢復(fù)、數(shù)據(jù)安全、SQL 審計、性能優(yōu)化和狀態(tài)監(jiān)測等企業(yè)級數(shù)據(jù)庫管理能力，用戶可減少運維投入即可享受之前同等的服務(wù)水平。

云服務(wù)，之前的托管架構(gòu)中，受限于傳統(tǒng)數(shù)據(jù)庫架構(gòu)的局限，未能完全發(fā)揮云計算的優(yōu)勢。在諸如彈性擴(kuò)展、高性能、高可用等方面，均有不足。到了云服務(wù)時代，充分利用云基礎(chǔ)設(shè)施的底層能力，提供定制化的數(shù)據(jù)庫產(chǎn)品。

云原生，與之前的云服務(wù)架構(gòu)不同，這一階段產(chǎn)品將更為充分地利用云基礎(chǔ)設(shè)施的能力，通過多層資源解耦，可享受云帶來的彈性擴(kuò)展、按需供給、超大規(guī)模能力，真正做到了數(shù)據(jù)庫與云的深度結(jié)合。從長期來看，金融機構(gòu)逐漸把業(yè)務(wù)和技術(shù)向云原生演進(jìn)，實現(xiàn)傳統(tǒng)應(yīng)用遷移上云和云原生改造是重要的方向。在這個過程中需要考慮分布式數(shù)據(jù)庫對 K8s、微服務(wù)應(yīng)用的支持，提供高效、彈性調(diào)度能力，同時需要兼顧開發(fā)運維和敏捷度。

多云方向

云作為未來主流的資源供給方式，多云必然是企業(yè)不得不考慮的問題。多云通常指金融機構(gòu)同時采用多種不同的云環(huán)境組合來滿足業(yè)務(wù)需求的多樣性和金融業(yè)監(jiān)管的要求。如何圍繞數(shù)據(jù)打造面向未來的多云 IT 架構(gòu)，滿足在多云之間提供數(shù)據(jù)服務(wù)能力，擺脫單一供應(yīng)商的弊端，是必須考慮的問題。多云架構(gòu)對分布式數(shù)據(jù)庫的考察重點聚焦于跨地域、跨公有私有云、跨本地 IDC 和 K8s 的部署、服務(wù)提供與統(tǒng)一運維能力等。

xiesc