01

在時(shí)效性和智能化兼?zhèn)涞膱?chǎng)景下，“熱數(shù)據(jù)”價(jià)值得以體現(xiàn)

愛(ài)分析：您認(rèn)為應(yīng)該怎樣理解“熱數(shù)據(jù)”？

王新宇博士：數(shù)據(jù)從產(chǎn)生開始，它的應(yīng)用價(jià)值就在隨著時(shí)間流逝呈指數(shù)式下降。數(shù)據(jù)的價(jià)值，就像是一座有無(wú)數(shù)寶藏的礦山，對(duì)數(shù)據(jù)的洞察力、提取力和分析力決定了能挖出的是鉆石還是煤炭。數(shù)據(jù)剛剛產(chǎn)生時(shí)熱度最強(qiáng)，也就是“熱數(shù)據(jù)”，通過(guò)對(duì)數(shù)據(jù)的及時(shí)處理、分析，最能夠體現(xiàn)數(shù)據(jù)在應(yīng)用上的價(jià)值。

剛剛在線上產(chǎn)生的數(shù)據(jù)，需要結(jié)合歷史數(shù)據(jù)，才能對(duì)它進(jìn)行實(shí)時(shí)的價(jià)值判斷，要讓數(shù)據(jù)分析兼具準(zhǔn)確度和速度，這就好比魚和熊掌兼得，難度非常大。實(shí)時(shí)智能處理是實(shí)現(xiàn)“熱數(shù)據(jù)”價(jià)值最大化的唯一途徑，可以將實(shí)時(shí)采集到的“熱數(shù)據(jù)”和歷史數(shù)據(jù)相結(jié)合，進(jìn)行實(shí)時(shí)處理和實(shí)時(shí)分析，并基于處理和分析結(jié)果給出智能化決策。

許多業(yè)務(wù)場(chǎng)景需要基于單個(gè)行為對(duì)整體意圖做出判斷，并快速做出處置。這些業(yè)務(wù)場(chǎng)景往往對(duì)時(shí)效性要求很高，比如互聯(lián)網(wǎng)/移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等應(yīng)用場(chǎng)景中，用戶體驗(yàn)提升、個(gè)性化服務(wù)、智能分析、事中決策等，由于業(yè)務(wù)復(fù)雜度較高，如何能快速計(jì)算出支撐業(yè)務(wù)中的復(fù)雜指標(biāo)成為實(shí)時(shí)業(yè)務(wù)場(chǎng)景中的關(guān)鍵因素。

愛(ài)分析：具體到應(yīng)用中，實(shí)時(shí)智能決策技術(shù)是如何釋放“熱數(shù)據(jù)”價(jià)值的？

王新宇博士：和時(shí)間賽跑，邦盛科技的技術(shù)思路，繞不開對(duì)時(shí)間和速度的要求。邦盛的流立方在其中扮演的角色是一個(gè)實(shí)時(shí)大數(shù)據(jù)處理引擎，兼具數(shù)據(jù)的時(shí)間跨度和新鮮度，還有計(jì)算速度，解決數(shù)據(jù)倍增、數(shù)據(jù)處理時(shí)效性差和數(shù)據(jù)處理毫秒級(jí)需求的問(wèn)題。

比如，在物聯(lián)網(wǎng)環(huán)境中，各個(gè)傳感器產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)通常包含時(shí)間、位置、環(huán)境和行為等內(nèi)容。由于傳感器的多元化、差異化及環(huán)境的多樣化，這些數(shù)據(jù)呈現(xiàn)出鮮明的異構(gòu)性、多樣化、非結(jié)構(gòu)化、有噪聲、高增長(zhǎng)率等特征，所產(chǎn)生的數(shù)據(jù)量之密度、實(shí)時(shí)性之強(qiáng)、價(jià)值密度之低是前所未有的，這對(duì)計(jì)算系統(tǒng)的實(shí)時(shí)性、吞吐量、可靠性等方面的要求非常高，既要有智能化的判斷和分析，又疊加了時(shí)效性特征。

在金融領(lǐng)域的業(yè)務(wù)中，往往會(huì)產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)的時(shí)效性很短，每時(shí)每刻都有大量的數(shù)據(jù)在各個(gè)系統(tǒng)間流動(dòng)，并需要實(shí)時(shí)計(jì)算。同時(shí)金融系統(tǒng)與其他系統(tǒng)也有大量的數(shù)據(jù)流動(dòng)，這些數(shù)據(jù)不僅有結(jié)構(gòu)化的數(shù)據(jù)，也有半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。通過(guò)對(duì)這些大數(shù)據(jù)的實(shí)時(shí)分析計(jì)算，發(fā)現(xiàn)隱含于其中的內(nèi)在特征，可以幫助金融機(jī)構(gòu)進(jìn)行實(shí)時(shí)的智能化決策。

以全國(guó)最大的收單機(jī)構(gòu)為例，每年有1300多億刷卡流水，45億張銀行卡，峰值5萬(wàn)TPS，近千個(gè)規(guī)則模型的超大數(shù)據(jù)量，同時(shí)要求在銀行卡刷卡請(qǐng)求時(shí)，50毫秒內(nèi)分析完成該卡過(guò)去1年交易行為的超高實(shí)時(shí)性。邦盛科技的這套基于“流立方”的實(shí)時(shí)智能決策技術(shù)，可以做到每一筆刷卡瞬間在10個(gè)毫秒內(nèi)完成近千個(gè)規(guī)則模型的全年刷卡行為分析計(jì)算，事中智能識(shí)別風(fēng)險(xiǎn)并做出相應(yīng)的風(fēng)險(xiǎn)處置決策。

批流結(jié)合的實(shí)時(shí)智能決策技術(shù)，橫向來(lái)看，可以應(yīng)用在金融、交通、通訊、政務(wù)、公安等各個(gè)行業(yè)?？v向來(lái)看，每個(gè)行業(yè)的報(bào)表數(shù)據(jù)實(shí)時(shí)處理、可視化分析、精準(zhǔn)營(yíng)銷、合規(guī)檢查等也都需要這項(xiàng)技術(shù)。

02

邦盛科技實(shí)時(shí)智能決策與分析技術(shù)釋放“熱數(shù)據(jù)”價(jià)值

愛(ài)分析：邦盛科技的實(shí)時(shí)智能決策與分析技術(shù)體系是怎樣的？解決的主要問(wèn)題是什么？

王新宇博士：流批一體的概念提出最早是在2015年，但那時(shí)真正應(yīng)用流批一體的落地案例極少。這是因?yàn)榱髋惑w的大前提是需要統(tǒng)一的計(jì)算引擎，流計(jì)算和批計(jì)算從計(jì)算方式、支撐模塊、資源調(diào)度策略到流程規(guī)劃等都存在差異。因此，流批一體融合存在不少技術(shù)問(wèn)題需要解決。

相較于流計(jì)算和批處理分離的系統(tǒng)架構(gòu)來(lái)說(shuō)，流批一體重點(diǎn)關(guān)注數(shù)據(jù)源的統(tǒng)一、開發(fā)的統(tǒng)一、計(jì)算的統(tǒng)一、存儲(chǔ)的統(tǒng)一，實(shí)現(xiàn)技術(shù)棧的收斂，減少開發(fā)和運(yùn)維成本，消除重復(fù)的計(jì)算框架帶來(lái)的邏輯不一致性。

從整體架構(gòu)來(lái)看，我們的流批一體實(shí)時(shí)智能決策與分析技術(shù)體系將常見的數(shù)據(jù)資產(chǎn)分為四層，并提出了對(duì)應(yīng)的三層數(shù)據(jù)處理架構(gòu)，以知識(shí)為媒介，揉合流處理、批處理、決策等多種技術(shù)體系，是一種面向業(yè)務(wù)的流批一體的數(shù)據(jù)處理體系架構(gòu)。

這項(xiàng)技術(shù)降低了流批結(jié)合模式的開發(fā)和運(yùn)維成本，也進(jìn)一步拓寬了實(shí)時(shí)計(jì)算的應(yīng)用范圍，為事件驅(qū)動(dòng)型應(yīng)用及高實(shí)時(shí)性的數(shù)據(jù)統(tǒng)計(jì)分析型應(yīng)用提供了高效的計(jì)算模式，尤其是在對(duì)時(shí)效性非常關(guān)注的智能化判斷和分析場(chǎng)景下，這套技術(shù)體系具備獨(dú)一無(wú)二的競(jìng)爭(zhēng)優(yōu)勢(shì)。

愛(ài)分析：市場(chǎng)上已經(jīng)有一些開源框架能解決實(shí)時(shí)數(shù)據(jù)處理的問(wèn)題，邦盛科技為什么要選擇自主研發(fā)流立方？

王新宇博士：一般公司都是基于開源架構(gòu)進(jìn)行增強(qiáng)，然后產(chǎn)出產(chǎn)品實(shí)現(xiàn)商業(yè)化。而市場(chǎng)上的開源框架大部分是國(guó)外的技術(shù)產(chǎn)品，如果我們都基于國(guó)外的開源框架基礎(chǔ)上搭建實(shí)時(shí)數(shù)據(jù)產(chǎn)品體系，實(shí)時(shí)數(shù)據(jù)處理將成為國(guó)內(nèi)卡脖子的技術(shù)難題，所以我們開始自主研發(fā)構(gòu)建基礎(chǔ)平臺(tái)，徹底實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理基礎(chǔ)平臺(tái)國(guó)產(chǎn)化，讓我國(guó)能夠擁有自主研發(fā)的實(shí)時(shí)數(shù)據(jù)處理技術(shù)底座。

第二個(gè)原因是，傳統(tǒng)開源框架無(wú)法適配企業(yè)既快又靈活的實(shí)時(shí)決策需求。當(dāng)前實(shí)時(shí)計(jì)算的框架分成兩個(gè)流派，一個(gè)是“原始態(tài)”，比如Oracle的數(shù)據(jù)庫(kù)，擁有靈活的特性但是處理速度較慢；一個(gè)是“最終態(tài)”，比如Spark、Storm，處理速度快但是不夠靈活，無(wú)法滿足在實(shí)時(shí)決策中進(jìn)行實(shí)時(shí)智能調(diào)整和適配要求。

為了滿足這些要求，我們提出了“時(shí)序中間態(tài)”理念，在技術(shù)研發(fā)上投入五年時(shí)間和上億資金，最終形成流立方核心技術(shù)。流立方結(jié)合了“原始態(tài)”和“最終態(tài)”兩派的優(yōu)勢(shì)，每次計(jì)算都能夠進(jìn)行實(shí)時(shí)數(shù)據(jù)的靈活重組，性能上提升了幾十倍，任何時(shí)間、復(fù)雜事件的中間段都可以在毫秒內(nèi)吐出結(jié)果，既迅速又靈活，遇到復(fù)雜因子及時(shí)間序列，流立方依舊可以做到毫秒級(jí)產(chǎn)出結(jié)果。

愛(ài)分析：流立方在技術(shù)上是如何實(shí)現(xiàn)性能提升的？

王新宇博士：流立方是大數(shù)據(jù)實(shí)時(shí)智能處理平臺(tái)，是基于“時(shí)序中間態(tài)”理念進(jìn)行研發(fā)的，也就是在數(shù)據(jù)流轉(zhuǎn)過(guò)程中嵌入流處理引擎，對(duì)所有流過(guò)的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理，處理的結(jié)果是個(gè)中間結(jié)果。

比如同樣計(jì)算三個(gè)月交易平均額，F(xiàn)link是直接計(jì)算最終三個(gè)月交易結(jié)果，如果要求得到兩個(gè)月交易數(shù)據(jù)就需要重新計(jì)算。而流立方把時(shí)間切成了細(xì)碎的“切片”，可以計(jì)算出1小時(shí)內(nèi)、1分鐘或者500毫秒“切片”的交易平均額，這就是中間結(jié)果。目前流立方數(shù)據(jù)集群吞吐量可達(dá)到200萬(wàn)筆每秒，當(dāng)要求計(jì)算出任何一個(gè)時(shí)間段內(nèi)交易數(shù)據(jù)時(shí)，流立方都可以在微秒時(shí)間內(nèi)對(duì)“切片”進(jìn)行動(dòng)態(tài)重組，所以計(jì)算1年內(nèi)和計(jì)算3年內(nèi)平均交易額都可以在同樣時(shí)間內(nèi)得到結(jié)果。

流立方高性能的數(shù)據(jù)集群可以滿足數(shù)據(jù)量大、數(shù)據(jù)新鮮度高、事件/指標(biāo)復(fù)雜、決策智能化等特征，通過(guò)我們的大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)可以快速地、實(shí)時(shí)地采集、加工、處理多源數(shù)據(jù)，解決開源流數(shù)據(jù)處理技術(shù)無(wú)法解決的問(wèn)題，為各領(lǐng)域大數(shù)據(jù)實(shí)時(shí)計(jì)算處理提供底層的技術(shù)支撐。

愛(ài)分析：您介紹了很多邦盛科技實(shí)時(shí)智能決策與分析體系的特點(diǎn)，邦盛科技是否有考慮通過(guò)自身優(yōu)勢(shì)進(jìn)行更多的生態(tài)合作？

王新宇博士：在生態(tài)合作方面，目前我們以流立方和三核智能作為底層基礎(chǔ)決策軟件和決策引擎，進(jìn)一步來(lái)構(gòu)建上層的業(yè)務(wù)應(yīng)用產(chǎn)品生態(tài)和服務(wù)生態(tài)。根據(jù)不同的行業(yè)設(shè)置了不同的事業(yè)部，對(duì)業(yè)務(wù)占比較大的行業(yè)需求，生態(tài)合作情況較少，主要由事業(yè)部來(lái)實(shí)現(xiàn)軟件的實(shí)施落地；而業(yè)務(wù)占比較小的行業(yè)事業(yè)部，會(huì)尋找有行業(yè)know how的合作伙伴，通過(guò)提供技術(shù)底座支持行業(yè)應(yīng)用的方式，賦能合作伙伴，我們實(shí)現(xiàn)作為實(shí)時(shí)處理技術(shù)底座的價(jià)值，合作伙伴實(shí)現(xiàn)行業(yè)自動(dòng)化的價(jià)值。

在未來(lái)，我們也會(huì)考慮和優(yōu)質(zhì)的合作伙伴進(jìn)行投資并購(gòu)，結(jié)合公司的整體運(yùn)作和業(yè)務(wù)布局實(shí)現(xiàn)更加深入的合作，為企業(yè)提供更符合需求的定制化解決方案。

03

國(guó)產(chǎn)化和產(chǎn)品化是實(shí)時(shí)智能決策技術(shù)的發(fā)展重點(diǎn)

愛(ài)分析：結(jié)合邦盛科技過(guò)往的案例實(shí)踐經(jīng)驗(yàn)，您認(rèn)為實(shí)時(shí)智能決策技術(shù)要服務(wù)好客戶，有哪些關(guān)鍵能力要求？

王新宇博士: 實(shí)時(shí)智能決策技術(shù)的應(yīng)用對(duì)于平臺(tái)的性能、模型的準(zhǔn)確度、功能的完善性、平臺(tái)的易用性等幾個(gè)方面都有要求。

平臺(tái)的性能體現(xiàn)在吞吐量上。2015年我們完成了流立方的產(chǎn)品研發(fā)，之后憑借流立方為核心的實(shí)時(shí)處理解決方案拿下了全國(guó)最大收單機(jī)構(gòu)的招標(biāo)項(xiàng)目。該項(xiàng)目要求在50毫秒內(nèi)實(shí)現(xiàn)近一年的重大行為回溯，與其他國(guó)外老牌廠商提出的解決方案相比，我們的解決方案性能大大提升。

平臺(tái)的決策效率還受到?jīng)Q策模型準(zhǔn)確度的影響，通過(guò)平臺(tái)輸出結(jié)果的誤報(bào)率和漏報(bào)率就能看出模型的準(zhǔn)確程度，那么模型設(shè)計(jì)階段就極為關(guān)鍵。如果能將圖決策納入決策模型考慮范圍，可以大幅提升實(shí)時(shí)決策引擎的性能，也是提升平臺(tái)決策效率的方式。

功能的完善性是建立在廠商的服務(wù)經(jīng)驗(yàn)基礎(chǔ)上的。當(dāng)下企業(yè)要求實(shí)時(shí)智能引擎能夠匹配復(fù)雜的業(yè)務(wù)線，那么廠商對(duì)于復(fù)雜業(yè)務(wù)的理解程度和實(shí)時(shí)智能技術(shù)對(duì)多條業(yè)務(wù)線的支持能力決定了平臺(tái)功能的完善性。

平臺(tái)的易用性是要降低業(yè)務(wù)人員的平臺(tái)使用成本。以往業(yè)務(wù)人員想要調(diào)整模型時(shí)需要找到IT部門，運(yùn)用歷史數(shù)據(jù)對(duì)模型進(jìn)行反復(fù)訓(xùn)練，后續(xù)還要上線和確認(rèn)模型，整個(gè)周期需要2周到一個(gè)月時(shí)間。而平臺(tái)的易用性就體現(xiàn)在決策引擎是不是面向業(yè)務(wù)人員的，盡量讓業(yè)務(wù)人員使用拖拉拽的方式就能管理和調(diào)整模型，訓(xùn)練好的模型在少量技術(shù)人員的幫助下就能上線知識(shí)應(yīng)用平臺(tái)，大幅縮減業(yè)務(wù)人員的平臺(tái)使用時(shí)間，從而提升決策效率。

愛(ài)分析：您認(rèn)為實(shí)時(shí)智能技術(shù)未來(lái)的發(fā)展方向是什么？

王新宇博士：大數(shù)據(jù)時(shí)代，數(shù)據(jù)是寶貴的資源，數(shù)字基礎(chǔ)設(shè)施建設(shè)是支持國(guó)家數(shù)字經(jīng)濟(jì)高速高質(zhì)發(fā)展的必要前提條件，隨著新基建的規(guī)劃部署在各行各業(yè)深入開展，企業(yè)內(nèi)沉淀的數(shù)據(jù)量、業(yè)務(wù)系統(tǒng)的終端用戶量都在呈現(xiàn)爆發(fā)式增長(zhǎng)的趨勢(shì)，很多大型企業(yè)尤其是國(guó)家的支柱性行業(yè)，對(duì)有效應(yīng)對(duì)大規(guī)模、高時(shí)效、智能化等一系列的數(shù)字化技術(shù)需求將越來(lái)越旺盛。

從應(yīng)用趨勢(shì)來(lái)看，想要大規(guī)模應(yīng)用實(shí)時(shí)智能決策技術(shù)，要保證技術(shù)已經(jīng)實(shí)現(xiàn)高度的產(chǎn)品化。舉例來(lái)說(shuō)，特征處理、模型訓(xùn)練等底層技術(shù)產(chǎn)品化率較高，中大型客戶對(duì)數(shù)據(jù)采集、處理、計(jì)算等基礎(chǔ)功能需求最廣，產(chǎn)品化率也因此不斷提升，而面向應(yīng)用價(jià)值的實(shí)時(shí)智能決策技術(shù)不容易實(shí)現(xiàn)高產(chǎn)品化率。隨著技術(shù)不斷積累和沉淀，決策模型的產(chǎn)品化率會(huì)逐漸提高。產(chǎn)品化是廠商期待實(shí)現(xiàn)的共同目標(biāo)，但在實(shí)現(xiàn)產(chǎn)品化的同時(shí)也要保證對(duì)業(yè)務(wù)支持的靈活性，才能夠應(yīng)對(duì)當(dāng)下日益精細(xì)化的市場(chǎng)需求。

未來(lái)數(shù)字經(jīng)濟(jì)建設(shè)中，很多企業(yè)需要通過(guò)場(chǎng)景感知，實(shí)時(shí)捕捉、識(shí)別和判斷客戶需求，實(shí)時(shí)從決策引擎中獲取業(yè)務(wù)價(jià)值平衡決策，并通過(guò)集中的后臺(tái)服務(wù)實(shí)時(shí)響應(yīng)客戶需求。實(shí)時(shí)智能決策與分析領(lǐng)域的提前布局，是很多行業(yè)、企業(yè)在數(shù)字化轉(zhuǎn)型中實(shí)現(xiàn)高質(zhì)量發(fā)展的關(guān)鍵舉措。

【來(lái)源： 愛(ài)分析 ， 調(diào)研：黃勇 武宇，撰寫：蘭壹凡 】

xiesc