Aloudata正在推動中國企業(yè)落地數(shù)據(jù)編織

日前，Aloudata發(fā)布了《數(shù)據(jù)編織價值評估指南》的白皮書，介紹了數(shù)據(jù)編織的價值主張、實現(xiàn)機制，以及如何進行實踐落地并進行價值評估，用來幫助企業(yè)更好地理解并應用數(shù)據(jù)編織。

劉靚表示，在與大量客戶交流中發(fā)現(xiàn)，企業(yè)普遍對數(shù)據(jù)編織這一理念關注度高，但苦于落地實踐時經(jīng)常面臨諸多困惑，包括場景如何適配、價值如何評估等關鍵問題，而白皮書針對這些問題提供了更具針對性、實踐性也更強的指南。

白皮書中提到，如今的數(shù)據(jù)管理領域面臨諸多挑戰(zhàn)，包括數(shù)據(jù)需求與鏈路復雜性的增長、合規(guī)與跨域以及云環(huán)境的多樣性三大方面挑戰(zhàn)。而數(shù)據(jù)編織被視為未來數(shù)據(jù)管理的核心解決方案，能夠應對復雜的數(shù)據(jù)環(huán)境，更高效地管理和釋放數(shù)據(jù)價值。

西卡中國BI和數(shù)據(jù)負責人袁鶯作為特邀嘉賓出席了發(fā)布會，“我們擁有云上和云下的數(shù)據(jù)資源，這些數(shù)據(jù)跨越不同區(qū)域，并涉及數(shù)據(jù)安全與合規(guī)等問題。如果采用傳統(tǒng)數(shù)據(jù)架構整合數(shù)據(jù)，將耗費大量成本和精力，也無法保證數(shù)據(jù)的時效性和可用性，難以有效支持業(yè)務的數(shù)據(jù)消費需求?！彼龔娬{(diào)，“采用數(shù)據(jù)編織能夠?qū)⒄麄€數(shù)據(jù)整合周期縮短 40%，并能適應快速變化的業(yè)務需求，實現(xiàn)數(shù)據(jù)整合與不斷調(diào)整的并行處理?！?/p>

作為國內(nèi)首個邏輯數(shù)據(jù)編織平臺，Aloudata AIR 有三大核心價值

業(yè)界普遍將數(shù)據(jù)編織定義為一種數(shù)據(jù)架構理念，對其能力邊界尚無明確標準。而Aloudata自研的國內(nèi)首個邏輯數(shù)據(jù)編織平臺Aloudata AIR則清晰定義了“零搬運、免運維、自治理”的價值主張，它可以解決數(shù)據(jù)開發(fā)過程中的效率、成本和復雜性問題。

與業(yè)界許多數(shù)據(jù)虛擬化方案多側(cè)重在數(shù)據(jù)的集成與查詢場景不同，Aloudata AIR將NoETL作為數(shù)據(jù)虛擬化技術的核心能力，強調(diào)其在數(shù)據(jù)集成、加工與服務全流程中的價值，也就是：無需事前搬運數(shù)據(jù)、無需事中運維ETL任務、無需事后計存治理。

“零搬運”是指Aloudata AIR通過數(shù)據(jù)虛擬化技術實現(xiàn)邏輯集成，秒級完成數(shù)據(jù)集成后，將跨源、跨引擎的數(shù)據(jù)用一種SQL語言實現(xiàn)統(tǒng)一查詢訪問。這使得數(shù)據(jù)在整個開發(fā)和使用過程中無需進行物理搬運，這種做法不僅避免了數(shù)據(jù)多次復制造成的存儲和計算資源浪費，而且能更好地保證數(shù)據(jù)實時性。

“免運維”指的是無需事中運維ETL任務。ETL是數(shù)據(jù)開發(fā)的核心環(huán)節(jié)，但它的操作復雜，給開發(fā)者帶來了沉重的負擔。Aloudata通過查詢加速與任務下推技術，在實現(xiàn)性能加速的同時自動化封裝了復雜的ETL的任務開發(fā)和作業(yè)執(zhí)行。邏輯數(shù)據(jù)集變更后，系統(tǒng)自動更新下游數(shù)據(jù)，無需繁瑣的手動回刷數(shù)據(jù)。這一做法顯著減少了人工干預和出錯風險，使數(shù)據(jù)開發(fā)更敏捷。

“自治理”的核心就是平臺自動感知和優(yōu)化數(shù)據(jù)資源的使用。它不僅會根據(jù)需求生成物化表來提升查詢速度，降低存儲與計算成本。它還會實時監(jiān)控數(shù)據(jù)消費狀態(tài)，如果物化表一段時間沒人用，系統(tǒng)會通過自動回收來避免資源浪費。這樣不僅可以提升資源利用率和查詢性能，還可以減少人力管理的成本。

邏輯數(shù)據(jù)編織平臺 Aloudata AIR通過“零搬運、免運維、自治理”消除了傳統(tǒng)數(shù)據(jù)開發(fā)中的瓶頸，讓數(shù)據(jù)管理變得更加高效、敏捷，同時降低了運維成本和復雜性。這三大特點就是Aloudata落地數(shù)據(jù)編織架構的核心價值。

Aloudata提出了一套關于數(shù)據(jù)編織的價值評估框架

在經(jīng)濟下行、IT預算緊縮的背景下，很多企業(yè)都非?？粗貙ν顿Y回報率（ROI）的量化分析，希望能做出更明智的技術選型決策。為此，Aloudata在《數(shù)據(jù)編織價值實現(xiàn)評估指南》白皮書中，提出了業(yè)界首個針對數(shù)據(jù)編織技術的價值評估框架，從三個評估維度和兩個關鍵指標入手，幫助企業(yè)衡量投入產(chǎn)出比。

Aloudata認為，要從提升數(shù)據(jù)交付效率、降低數(shù)據(jù)膨脹系數(shù)和減少數(shù)據(jù)管理成本三方面下手評估數(shù)據(jù)編織架構的價值。

所謂“數(shù)據(jù)交付效率”關注的是業(yè)務提出數(shù)據(jù)需求后，能多快得到結(jié)果，能否端到端地提升數(shù)據(jù)集成、整合到服務的交付效率，把數(shù)據(jù)需求的響應周期從周提升到天，實現(xiàn)數(shù)據(jù)交付10倍提效。

“數(shù)據(jù)膨脹系數(shù)”衡量了數(shù)據(jù)被多次重復拷貝的情況，關注那些能導致數(shù)據(jù)倉庫資源迅速膨脹的問題，能否從機制設計上系統(tǒng)化地減少數(shù)據(jù)拷貝，節(jié)省存算資源，提升存算的有效性和經(jīng)濟性，至少節(jié)省30%的存算成本。

“數(shù)據(jù)管理成本”包括數(shù)據(jù)開發(fā)、運維和治理中的人力投入與資源消耗。減少這些成本在于通過簡化系統(tǒng)技術概念，降低數(shù)據(jù)平臺上手門檻和減少運維成本，并提升數(shù)據(jù)管理的自動化水平和逐步增強數(shù)據(jù)平臺的“智駕”能力，至少節(jié)省70%的數(shù)據(jù)管理成本。

此外，白皮書指出，可以通過“當天需求滿足率”和“當天數(shù)據(jù)動銷率”兩個關鍵指標進行量化評估，分別從業(yè)務需求響應和數(shù)據(jù)資源利用的視角評估數(shù)據(jù)編織的實際價值。

“當天需求滿足率”指的是，業(yè)務團隊提出的數(shù)據(jù)需求，能在當天得到滿足的比例。這是站在業(yè)務方視角評估和感受數(shù)據(jù)平臺能力和價值的唯一核心指標，也是數(shù)據(jù)產(chǎn)生業(yè)務價值的重要體現(xiàn)之一

“當天數(shù)據(jù)動銷率”是指當天有更新的數(shù)據(jù)在當天或未來一段時間內(nèi)的使用率。它體現(xiàn)了數(shù)據(jù)的利用效率和價值產(chǎn)出。如果數(shù)據(jù)長期未被使用，企業(yè)可以通過優(yōu)化數(shù)據(jù)資產(chǎn)管理回收這些資源，降低存儲和運維成本。

依托Aloudata AIR，首創(chuàng)證券落地數(shù)據(jù)編織架構

首創(chuàng)證券是一家知名券商，數(shù)據(jù)團隊規(guī)模并不大，在構建數(shù)據(jù)倉庫時面臨著人員短缺和Hadoop技術棧不熟悉的挑戰(zhàn)。傳統(tǒng)Hadoop數(shù)倉體系需要龐大的ETL開發(fā)團隊和深厚的技術積累，而首創(chuàng)證券的數(shù)據(jù)團隊希望能找到一種更加精益的架構方案。

經(jīng)過認真評估，首創(chuàng)證券選擇了Aloudata AIR邏輯數(shù)據(jù)編織平臺。通過這一平臺，他們構建了邏輯數(shù)倉，將多個業(yè)務系統(tǒng)的數(shù)據(jù)進行無縫連接。

具體而言，在ODS（數(shù)倉的操作數(shù)據(jù)存儲）層，數(shù)據(jù)通過邏輯連接直接快速集成，無需物理搬運。在DWD（數(shù)倉的明細數(shù)據(jù)層）層，數(shù)倉沉淀了歷史數(shù)據(jù)。這種分層架構不僅簡化了數(shù)倉的結(jié)構，還實現(xiàn)了數(shù)據(jù)的按需加速與物化，提高了數(shù)據(jù)處理的靈活性和經(jīng)濟性。

此外，首創(chuàng)證券還使用了Aloudata CAN自動化指標平臺，形成了從數(shù)倉數(shù)據(jù)沉淀到業(yè)務指標開發(fā)的完整自動化鏈路。Aloudata AIR負責邏輯編織和數(shù)據(jù)沉淀，而Aloudata CAN基于這些明細數(shù)據(jù)構建了業(yè)務語義模型與指標。這一組合讓業(yè)務指標開發(fā)和分析需求變得更高效。

在實際應用中，首創(chuàng)證券的源頭數(shù)據(jù)庫多達100多個，包含數(shù)萬張表。在傳統(tǒng)架構下，這些數(shù)據(jù)的集成可能需要耗費大量時間和資源，需要處理成千上萬的任務。而通過 Aloudata AIR，這些表在短短一天內(nèi)便完成了集成。

更重要的是，真正沉淀到DWD層的物理表不到100張，極大降低了數(shù)據(jù)管理的復雜性。首創(chuàng)證券的報表查詢效率也有了顯著提升，一秒內(nèi)響應率達到95%。這得益于DWD層的加速策略以及應用層的查詢自動路由機制，確保了高效的查詢執(zhí)行。

綜上，Aloudata AIR邏輯數(shù)據(jù)編織平臺與 Aloudata CAN自動化指標平臺的結(jié)合，為首創(chuàng)證券帶來了全面的效率提升。無論是數(shù)據(jù)運營效率、查詢性能，還是管理成本，首創(chuàng)證券的數(shù)據(jù)編織實踐實現(xiàn)了質(zhì)的飛躍，為中小型團隊應對數(shù)據(jù)復雜性提供了優(yōu)秀的參考案例。

zhupb