△DataPipeline合伙人&CPO陳雷主題演講

主論壇中,DataPipeline合伙人&CPO陳雷應(yīng)邀以《企業(yè)實(shí)時(shí)數(shù)據(jù)管理問(wèn)題與實(shí)踐》為題發(fā)表主旨演講,全面展示了DataPipeline實(shí)時(shí)數(shù)據(jù)管理在金融領(lǐng)域的布局以及深刻觀點(diǎn),獲得廣泛關(guān)注。

數(shù)據(jù)時(shí)效性變化催生新業(yè)態(tài),實(shí)時(shí)數(shù)據(jù)平臺(tái)建設(shè)是破局關(guān)鍵

隨著大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能、區(qū)塊鏈等技術(shù)的出現(xiàn)和深入應(yīng)用,傳統(tǒng)技術(shù)被顛覆、新產(chǎn)品涌現(xiàn),新一代技術(shù)的爆發(fā)式增長(zhǎng)已改變各個(gè)行業(yè)的商業(yè)模式并重構(gòu)產(chǎn)業(yè)生態(tài)。

這是一個(gè)數(shù)據(jù)多元、海量、高速產(chǎn)生的時(shí)代。在金融數(shù)據(jù)管理領(lǐng)域,數(shù)據(jù)時(shí)效性要求越來(lái)越高,在業(yè)務(wù)方面具體體現(xiàn)在“提升集中度高且多樣性的風(fēng)險(xiǎn)管理能力”、“注意力經(jīng)濟(jì)形勢(shì)下提高互聯(lián)網(wǎng)業(yè)務(wù)競(jìng)爭(zhēng)力”、“從經(jīng)營(yíng)模式到提升業(yè)務(wù)運(yùn)營(yíng)管理能力的轉(zhuǎn)變”等,以上究其核心都是對(duì)數(shù)據(jù)更快、更準(zhǔn)、更全的需求。傳統(tǒng)數(shù)據(jù)集市、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)等產(chǎn)品T+1的數(shù)據(jù)處理分析及應(yīng)用,已無(wú)法滿足面向未來(lái)的業(yè)務(wù)發(fā)展訴求,實(shí)時(shí)數(shù)據(jù)管理體系建設(shè)任重道遠(yuǎn)。其中,實(shí)時(shí)數(shù)據(jù)平臺(tái)建設(shè)成為破局第一步也是關(guān)鍵。

△DataPipeline:實(shí)時(shí)數(shù)據(jù)管理體系建設(shè)路線圖

陳雷談到:“金融企業(yè)在信息系統(tǒng)規(guī)劃中,實(shí)時(shí)的數(shù)據(jù)管理體系路線規(guī)劃必要性不言而喻,一般分為前期、中期和遠(yuǎn)期三大階段。但是,今天大部分金融機(jī)構(gòu)還基本處在較前期的階段,或剛剛構(gòu)建起實(shí)時(shí)數(shù)據(jù)管理平臺(tái),還未真正融合企業(yè)級(jí)的實(shí)時(shí)數(shù)據(jù)處理。更不用談?wù)嬲褜?shí)時(shí)數(shù)據(jù)用到生產(chǎn)經(jīng)營(yíng)過(guò)程中去,比如通過(guò)實(shí)時(shí)數(shù)據(jù)優(yōu)化前后臺(tái)精細(xì)分工、打通信息系統(tǒng)主線與數(shù)字孿生。返回到路線圖第一個(gè)階段,我們?cè)趺窗训谝徊竭~好即‘建好一個(gè)實(shí)時(shí)數(shù)據(jù)管理平臺(tái),速贏項(xiàng)目、支持實(shí)時(shí)經(jīng)營(yíng)決策’是當(dāng)下我們大部分金融用戶的首要課題?！?/p>

DataPipeline三大核心要素,為實(shí)時(shí)數(shù)據(jù)管理落地注入強(qiáng)勁動(dòng)力

當(dāng)下,各金融機(jī)都在積極擁抱實(shí)時(shí)數(shù)據(jù)管理平臺(tái)建設(shè)工作,但從整體看仍不盡人意,這集中體現(xiàn)在自研難、效率低、成本高。拋除因引入管理機(jī)制帶來(lái)的流程變革等問(wèn)題,單實(shí)際建設(shè)中以下技術(shù)難題就尤為凸顯:各類數(shù)據(jù)管理技術(shù)差異越來(lái)越大,全面、準(zhǔn)確的實(shí)時(shí)數(shù)據(jù)獲取困難;難以快速響應(yīng)實(shí)時(shí)數(shù)據(jù)需求,把握機(jī)會(huì)快速建立競(jìng)爭(zhēng)優(yōu)勢(shì);實(shí)時(shí)數(shù)據(jù)鏈路受數(shù)據(jù)源影響巨大,穩(wěn)定性與容錯(cuò)性問(wèn)題重重。

同時(shí),國(guó)外相關(guān)產(chǎn)品技術(shù)體系較封閉,國(guó)內(nèi)產(chǎn)品在技術(shù)先進(jìn)性和架構(gòu)前瞻性上又普遍不足。在此背景下,DataPipeline企業(yè)級(jí)實(shí)時(shí)數(shù)據(jù)融合平臺(tái),如何打通企業(yè)內(nèi)外部各類系統(tǒng),為客戶服務(wù)、風(fēng)險(xiǎn)管控等各個(gè)業(yè)務(wù)運(yùn)營(yíng)平臺(tái)提供實(shí)時(shí)數(shù)據(jù),在眾產(chǎn)品中脫穎而出?

△DataPipeline企業(yè)級(jí)實(shí)時(shí)數(shù)據(jù)融合平臺(tái)架構(gòu)

在陳雷看來(lái),可以概括為以下產(chǎn)品三大關(guān)鍵要素,為實(shí)時(shí)數(shù)據(jù)管理落地注入強(qiáng)勁動(dòng)力。

●  基于日志的實(shí)時(shí)增量數(shù)據(jù)獲取技術(shù)保證實(shí)時(shí)數(shù)據(jù)全面、準(zhǔn)確

DataPipeline實(shí)時(shí)數(shù)據(jù)融合平臺(tái)支持?jǐn)?shù)十種主流數(shù)據(jù)庫(kù)作為數(shù)據(jù)節(jié)點(diǎn),打破企業(yè)域內(nèi)各類異構(gòu)數(shù)據(jù)技術(shù)構(gòu)成的樊籬,讓存儲(chǔ)在不同類型數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)隨需可得;采用基于日志的增量數(shù)據(jù)獲取技術(shù)(Log-basedchange datacapture),為主數(shù)據(jù)管理、數(shù)據(jù)倉(cāng)庫(kù)、大數(shù)據(jù)平臺(tái)提供實(shí)時(shí)、準(zhǔn)確的數(shù)據(jù)變化,從而使得用戶可以根據(jù)最新數(shù)據(jù)進(jìn)行運(yùn)營(yíng)管理與決策制定。

●  配置式鏈路定義,無(wú)代碼任務(wù)構(gòu)建提升實(shí)時(shí)數(shù)據(jù)敏捷性

使用分層管理、按需服務(wù)的配置型平臺(tái)來(lái)提升 IT 敏捷開(kāi)發(fā)效率。一方面保證數(shù)據(jù)節(jié)點(diǎn)的安全性、穩(wěn)定性、業(yè)務(wù)連續(xù)性,一方面為數(shù)據(jù)應(yīng)用提供更多的自主性,使用戶可以將數(shù)據(jù)獲取的范圍、數(shù)據(jù)任務(wù)的生命周期、系統(tǒng)資源投入的多寡等權(quán)限更多的交給實(shí)際使用數(shù)據(jù)的業(yè)務(wù)部門及應(yīng)用開(kāi)發(fā)人員,從而在業(yè)務(wù)需求變化時(shí)從容應(yīng)對(duì),加速達(dá)成數(shù)字化轉(zhuǎn)型目標(biāo)。

●  分布式引擎、組件級(jí)高可用保障實(shí)時(shí)鏈路穩(wěn)定高容錯(cuò)

融合引擎采用分布式架構(gòu),容器化部署?？梢员ＷC系統(tǒng)業(yè)務(wù)連續(xù)性要求。在分布式集群的基礎(chǔ)上,采用系統(tǒng)資源組的形式隔離不同任務(wù)的運(yùn)行環(huán)境,保障重要任務(wù)的穩(wěn)定有序運(yùn)行。

通過(guò)多年在各個(gè)行業(yè)的數(shù)據(jù)融合領(lǐng)域經(jīng)驗(yàn)積累,DataPipeline將各類專業(yè)數(shù)據(jù)融合技術(shù)以專業(yè)化產(chǎn)品的方式提供給用戶,大大降低了企業(yè)搭建基礎(chǔ)平臺(tái)的研發(fā)成本與運(yùn)維成本,做到“易建,好用,性優(yōu)”,讓用戶能夠?qū)r(shí)間精力與優(yōu)質(zhì)資源投入到數(shù)據(jù)價(jià)值釋放與商業(yè)價(jià)值實(shí)現(xiàn)中去。

立足行業(yè)擁抱生態(tài),在實(shí)踐中詮釋價(jià)值

近年來(lái),DataPipeline 數(shù)據(jù)融合產(chǎn)品不斷深耕技術(shù)與應(yīng)用場(chǎng)景。憑借優(yōu)質(zhì)的產(chǎn)品質(zhì)量及服務(wù)能力,DataPipeline已覆蓋金融、零售、能源、制造、地產(chǎn)、交通、醫(yī)療、互聯(lián)網(wǎng)等重點(diǎn)領(lǐng)域,服務(wù)了中國(guó)人壽、民生銀行、山東城商行聯(lián)盟、財(cái)通證券、中國(guó)石油、吉利集團(tuán)、星巴克、順豐等在各自行業(yè)信息化水平領(lǐng)先的客戶,產(chǎn)品被應(yīng)用在客戶服務(wù)、生產(chǎn)調(diào)度、運(yùn)營(yíng)管理、業(yè)務(wù)分析等重要場(chǎng)景中。DataPipeline 企業(yè)級(jí)數(shù)據(jù)融合平臺(tái)在系統(tǒng)穩(wěn)定性、可管理性、擴(kuò)展性、靈活性方面經(jīng)過(guò)了反復(fù)驗(yàn)證,在系統(tǒng)性能指標(biāo)、架構(gòu)設(shè)計(jì)的專業(yè)性與技術(shù)先進(jìn)性上均得到了客戶的認(rèn)可。為了給客戶提供更加優(yōu)質(zhì)全面的服務(wù),DataPipeline已與數(shù)十家產(chǎn)業(yè)上下游合作伙伴建立了戰(zhàn)略合作關(guān)系。

廣東省粵港澳合作促進(jìn)會(huì)金融專業(yè)委員會(huì)常務(wù)副主任周永群致辭中指出,金融作為國(guó)家重要核心競(jìng)爭(zhēng)力以及國(guó)家安全的重要組成部分,在信息技術(shù)應(yīng)用創(chuàng)新體系中的地位舉足輕重。DataPipeline產(chǎn)品完全自主研發(fā),公司將以「成為中國(guó)的世界級(jí)數(shù)據(jù)中間件廠商」為愿景,踐行2021政府工作報(bào)告中的“提升科技創(chuàng)新能力,十年磨一劍”精神,以先進(jìn)的技術(shù)體系、完善的生態(tài)系統(tǒng)為支撐,為數(shù)字金融等領(lǐng)域的用戶在實(shí)時(shí)數(shù)據(jù)管理方面創(chuàng)造更大價(jià)值。

zhangnn