比如，當(dāng)管理層設(shè)定一個(gè)年累計(jì)銷售目標(biāo)，會(huì)不停的看各種數(shù)據(jù)，這就叫“數(shù)字化管理”，涉及的各種指標(biāo)可以叫做管理指標(biāo)。管理指標(biāo)需要在執(zhí)行層面拆分，執(zhí)行層面會(huì)用數(shù)據(jù)做很多分析工作，制定與執(zhí)行運(yùn)營(yíng)動(dòng)作，發(fā)現(xiàn)運(yùn)營(yíng)中的問題后會(huì)隨時(shí)做出調(diào)整，這叫“數(shù)智化運(yùn)營(yíng)”。

相比之下，數(shù)字化管理關(guān)注于企業(yè)高層的戰(zhàn)略性決策，需求相對(duì)固定，并且“看數(shù)”周期比較長(zhǎng)又相對(duì)固定。而數(shù)智化運(yùn)營(yíng)關(guān)注于具體的業(yè)務(wù)操作和日常決策，需要很多團(tuán)隊(duì)和員工從事相關(guān)的動(dòng)作，不僅需求多變，而且對(duì)實(shí)時(shí)性要求比較高。

從背后的技術(shù)實(shí)現(xiàn)來看，管理層“看數(shù)”用的報(bào)表就是從數(shù)據(jù)中提取信息并制作匯總表，這個(gè)過程相對(duì)簡(jiǎn)單。而數(shù)智化運(yùn)營(yíng)在“用數(shù)”時(shí)則非常復(fù)雜，隨著業(yè)務(wù)靈活性、復(fù)雜性的提高，需要數(shù)據(jù)技術(shù)層面做的工作越來越多，會(huì)帶來非常多的挑戰(zhàn)，這些挑戰(zhàn)集中體現(xiàn)在ETL工程方面。

比如，它會(huì)產(chǎn)生很多新的數(shù)據(jù)鏈路，會(huì)需要引入很多新的數(shù)據(jù)源，需要大量的ETL操作，需要進(jìn)行大量的數(shù)據(jù)搬運(yùn)和處理。還需要存儲(chǔ)和計(jì)算大量數(shù)據(jù)，這會(huì)帶來更高的成本。

同時(shí)，每一條鏈路就是一次作業(yè)，每一次作業(yè)都必須經(jīng)歷排期、研發(fā)、測(cè)試、上線發(fā)布等繁瑣的步驟，想要用數(shù)據(jù)就經(jīng)常需要漫長(zhǎng)的等待時(shí)間，導(dǎo)致很多數(shù)據(jù)無法被及時(shí)利用，對(duì)于業(yè)務(wù)端很不友好。

數(shù)據(jù)鏈路的末端對(duì)應(yīng)著一項(xiàng)項(xiàng)需求，每一項(xiàng)需求都要有一個(gè)高性能數(shù)據(jù)集，才能滿足不同的查詢性能需求。然而，每創(chuàng)建一個(gè)高性能數(shù)據(jù)集，都需要額外的成本。為此，企業(yè)不得不預(yù)先計(jì)算并提供大量可能會(huì)被使用的數(shù)據(jù)，這又會(huì)增加成本，降低了邊際收益。

同時(shí)，多變的需求還讓人工維護(hù)數(shù)據(jù)目錄的方式變得無以為繼，因?yàn)镋TL工程師數(shù)量和能力的提升速度遠(yuǎn)遠(yuǎn)趕不上數(shù)據(jù)需求量和需求復(fù)雜度的增速。此時(shí)，不得不面對(duì)失真的數(shù)據(jù)目錄和失效的數(shù)據(jù)管理。

如何應(yīng)對(duì)“用數(shù)”帶來的ETL挑戰(zhàn)

為應(yīng)對(duì)這些挑戰(zhàn)，Aloudata提出了創(chuàng)新的“NoETL”模式。這種模式是要尋找一種不再依賴于傳統(tǒng)ETL工程師人力驅(qū)動(dòng)的方法，通過技術(shù)手段降低傳統(tǒng)ETL的復(fù)雜性和成本。

Aloudata提出的NoETL架構(gòu)包含三部分，分別是全新的數(shù)據(jù)集成方案，全新的數(shù)據(jù)管理模式，以及全新的數(shù)據(jù)交互平面。

其中，全新的數(shù)據(jù)集成方案會(huì)構(gòu)建數(shù)據(jù)虛擬化引擎，區(qū)別于傳統(tǒng)的數(shù)據(jù)集成方式，它是用邏輯方式進(jìn)行數(shù)據(jù)集成和ETL鏈路的自動(dòng)重構(gòu)。這就好比電商平臺(tái)先下單，商家再發(fā)貨的模式，而非“先補(bǔ)貨再銷售”的模式，在這種模式下才能提高數(shù)據(jù)集成與編排的效率。

全新的數(shù)據(jù)交互平面是為了方便“用數(shù)”的人，它指的是，構(gòu)建一個(gè)數(shù)據(jù)語義引擎，幫助用戶清楚地知道所需要的指標(biāo)是什么，知道指標(biāo)的口徑和指標(biāo)的值，不用關(guān)心表格的具體存放位置就能拿到需要的數(shù)據(jù)。同時(shí)，指標(biāo)由用戶通過語義模型進(jìn)行定義，定義后由系統(tǒng)進(jìn)行自動(dòng)生產(chǎn)，改變了過去“業(yè)務(wù)提需求、IT開發(fā)寬表與匯總表”的生產(chǎn)模式，大幅提升指標(biāo)的生產(chǎn)效率，降低IT的工作壓力。

全新的數(shù)據(jù)管理模式指的是構(gòu)建一套能夠感知當(dāng)前系統(tǒng)狀態(tài)的元數(shù)據(jù)系統(tǒng)，進(jìn)行由主動(dòng)元數(shù)據(jù)驅(qū)動(dòng)的管理。主動(dòng)元數(shù)據(jù)不同于被動(dòng)元數(shù)據(jù)，它類似于實(shí)時(shí)導(dǎo)航系統(tǒng)，不僅提供精確定位，還能輔助駕駛。

這套架構(gòu)的具體實(shí)現(xiàn)可以分為這幾個(gè)關(guān)鍵步驟：

第一步，在邏輯上與數(shù)據(jù)源建立聯(lián)系，它可以減少甚至避免數(shù)據(jù)搬運(yùn)的操作。即使不知道數(shù)據(jù)在哪兒，即使不知道數(shù)據(jù)的格式，一旦發(fā)現(xiàn)數(shù)據(jù)，就能立即將數(shù)據(jù)進(jìn)行集成。

第二步，系統(tǒng)會(huì)自動(dòng)構(gòu)建全局?jǐn)?shù)據(jù)的邏輯視圖。這一步使用了AI增強(qiáng)的自適應(yīng)加速技術(shù)，以替代傳統(tǒng)的人工方式建立ETL（抽取、轉(zhuǎn)換、加載）鏈路，提高數(shù)據(jù)處理的效率和速度，減輕了認(rèn)為運(yùn)維操作的負(fù)擔(dān)。

第三步，進(jìn)行語義建模。在這一步驟中，IT部門首先定義原子指標(biāo)，然后業(yè)務(wù)人員利用數(shù)據(jù)語義來定義所需的各種指標(biāo)。這個(gè)過程本質(zhì)上是一個(gè)開發(fā)過程，省去了向IT部門提交需求的步驟，使得業(yè)務(wù)部門能夠更快速、直接地獲取他們需要的數(shù)據(jù)。

第四步，通過開放服務(wù)來滿足各種系統(tǒng)和消費(fèi)場(chǎng)景的需求，包括與BI（商業(yè)智能）和AI（人工智能）工具的對(duì)接，增加系統(tǒng)的靈活性和適用性，實(shí)現(xiàn)數(shù)據(jù)的普惠化。

最后一步，實(shí)現(xiàn)一個(gè)能夠?qū)崟r(shí)感知全局信息的主動(dòng)元數(shù)據(jù)系統(tǒng)。這個(gè)系統(tǒng)使得可以進(jìn)行ETL Copilot和其他優(yōu)化輔助工作，提高數(shù)據(jù)治理的效率和質(zhì)量。

Aloudata的對(duì)應(yīng)的方案

為了幫助企業(yè)落地NoETL，Aloudata推出了三個(gè)核心產(chǎn)品，分別是：邏輯數(shù)據(jù)平臺(tái)Aloudata AIR，自動(dòng)化指標(biāo)平臺(tái)Aloudata CAN，還有主動(dòng)元數(shù)據(jù)平臺(tái)Aloudata BIG，對(duì)應(yīng)上文提到的NoETL架構(gòu)的三大組成部分。

從周衛(wèi)林的介紹中了解到，Aloudata AIR是國內(nèi)首個(gè)基于Data Fabric架構(gòu)的邏輯數(shù)據(jù)平臺(tái)。它解決了數(shù)據(jù)需要搬運(yùn)的問題，它實(shí)現(xiàn)了多源異構(gòu)數(shù)據(jù)的虛擬化集成，它可以自動(dòng)優(yōu)化鏈路，支持自適應(yīng)的查詢加速，能提高處理效率。

首創(chuàng)證券在采用Aloudata AIR后，實(shí)現(xiàn)了數(shù)據(jù)的邏輯集成、自動(dòng)化ETL流程和統(tǒng)一的數(shù)據(jù)服務(wù)，大大降低了投入到ETL方面的數(shù)據(jù)工程人力和成本投入。對(duì)于首創(chuàng)證券提高效率、節(jié)約成本，有很大幫助。

Aloudata BIG是一個(gè)擁有算子級(jí)血緣解析能力的主動(dòng)元數(shù)據(jù)平臺(tái)。所謂“算子級(jí)血緣解析能力”是指在數(shù)據(jù)管理和分析中，能夠非常精確地理解數(shù)據(jù)從源頭到最終形態(tài)的每一步變化的能力，包括理解數(shù)據(jù)是如何被篩選、合并、轉(zhuǎn)換和匯總的。

這種能力能實(shí)現(xiàn)很多自動(dòng)化的操作，包括自動(dòng)維護(hù)數(shù)據(jù)血緣地圖來構(gòu)建完整的數(shù)據(jù)圖譜。也包括將代碼自動(dòng)翻譯成業(yè)務(wù)語言，將SQL語句轉(zhuǎn)化成容易理解的自然語言，過程都無需人工干預(yù)。

Aloudata CAN是一個(gè)用于指標(biāo)管理和開發(fā)的自動(dòng)化平臺(tái)。與傳統(tǒng)的指標(biāo)平臺(tái)不同，它允許用戶直接在平臺(tái)上定義所需的業(yè)務(wù)指標(biāo)。一旦用戶定義了指標(biāo)，系統(tǒng)會(huì)自動(dòng)進(jìn)行后續(xù)的指標(biāo)開發(fā)和加速，無需人工干預(yù)。

Aloudata CAN的實(shí)現(xiàn)采用了定義即生產(chǎn)、定義即服務(wù)的模式，極大地簡(jiǎn)化了ETL工作量。通過技術(shù)自動(dòng)化，它改變了傳統(tǒng)的指標(biāo)生產(chǎn)模式，降低了IT部門的參與度，使IT團(tuán)隊(duì)能夠?qū)Ｗ⒂诟袃r(jià)值的任務(wù)。

Aloudata NoETL模式的落地與應(yīng)用

從周衛(wèi)林的介紹中了解到，Aloudata的NoETL模式可以充分利用企業(yè)現(xiàn)有的數(shù)據(jù)湖、數(shù)據(jù)倉庫和其他數(shù)據(jù)源，盤活全部數(shù)據(jù)資產(chǎn)，實(shí)現(xiàn)平滑升級(jí)，而不是完全重構(gòu)。這種做法更容易讓企業(yè)接受。

招商銀行作為國內(nèi)大型商業(yè)銀行，使用了Aloudata的AIR, BIG 和 CAN三個(gè)產(chǎn)品。周衛(wèi)林表示，與招商銀行的合作由來已久，雙方為了解決招商銀行所經(jīng)歷的特定問題做了很多，而這些問題恰好是此前在螞蟻集團(tuán)所經(jīng)歷過的，兩者需要在巨大的數(shù)據(jù)規(guī)模上運(yùn)營(yíng)和管理數(shù)據(jù)。

目前，Aloudata所提供的解決方案得到了許多大型頭部企業(yè)的強(qiáng)烈響應(yīng)，特別是在金融行業(yè)、股份制銀行、頭部城商行和大型國央企中。而且，一些客戶案例和解決方案逐漸形成了一種范式效應(yīng)，在周衛(wèi)林看來，這都能證明NoETL模式的方法是最有效的。

簡(jiǎn)而言之，NoETL模式要做的就是提高企業(yè)利用數(shù)據(jù)的能力，比如，幫助一些大企業(yè)更快利用自己的數(shù)據(jù)，提高利用每天新產(chǎn)生數(shù)據(jù)的比例，提高每月新產(chǎn)生數(shù)據(jù)的使用比例。最終，真正讓數(shù)據(jù)為企業(yè)所用，為企業(yè)創(chuàng)造價(jià)值。

zhupb