數(shù)據(jù)繁榮為我們帶來了紅利，同時(shí)也帶動(dòng)了各類數(shù)據(jù)治理需求的井噴。從2009年算起，我們做DataWorks已經(jīng)15年了，對(duì)于一款發(fā)展了如此之久的產(chǎn)品，我們走過了阿里巴巴集團(tuán)幾乎所有外部知名的數(shù)據(jù)架構(gòu)進(jìn)化的時(shí)代，同時(shí)在當(dāng)前也面臨眾多全新挑戰(zhàn)。在大數(shù)據(jù)平臺(tái)的建設(shè)過程中，我們經(jīng)常遇到一些數(shù)據(jù)治理的問題，例如：

● 數(shù)據(jù)穩(wěn)定性不足

任務(wù)調(diào)度隨著規(guī)模增大經(jīng)常掛掉，不穩(wěn)定，集群計(jì)算資源不足；員工經(jīng)常起夜處理告警，故障無法快速恢復(fù)；突發(fā)大流量導(dǎo)致數(shù)據(jù)服務(wù)宕機(jī)或不可用

● 數(shù)據(jù)應(yīng)用效率低

表數(shù)量越來越多，找不到需要的數(shù)據(jù)；缺少數(shù)據(jù)規(guī)范與標(biāo)準(zhǔn)，每次使用都要溝通；數(shù)據(jù)需求經(jīng)常變更，數(shù)倉人員壓力巨大

● 數(shù)據(jù)管理風(fēng)險(xiǎn)大

數(shù)據(jù)使用人員多，管理與易用難以平衡；數(shù)據(jù)出口多，人為泄露行為管控難；法規(guī)不斷更新，敏感數(shù)據(jù)發(fā)現(xiàn)難，數(shù)據(jù)分類分級(jí)難度

● 數(shù)據(jù)成本壓力大

降本成為大趨勢(shì)，技術(shù)挑戰(zhàn)大；不知道成本問題在哪，在哪個(gè)部門/人；數(shù)據(jù)不敢刪、任務(wù)不敢下

不管是阿里巴巴集團(tuán)內(nèi)部，還是我們服務(wù)的眾多阿里云上客戶，和我們溝通的時(shí)候都希望聊聊數(shù)據(jù)治理相關(guān)的主題。他們面對(duì)眾多數(shù)據(jù)治理需求，往往感覺無從下手，就像“按下葫蘆浮起瓢”，每天都會(huì)冒出新的問題。。我們其實(shí)沒法一次性解決所有問題，但是可以逐步解決主要問題?；贒ataWorks的建設(shè)經(jīng)驗(yàn)，我們將企業(yè)的數(shù)據(jù)治理需求整理成四個(gè)大的階段，每個(gè)階段都有不同典型的數(shù)據(jù)治理問題，應(yīng)該投入更多的精力來處理這個(gè)階段的主要矛盾，并且從這些實(shí)踐中，逐步形成企業(yè)數(shù)據(jù)治理各類方法論與規(guī)范的沉淀。

一、起步階段-數(shù)據(jù)量與穩(wěn)定性的矛盾

起步階段我們最重要的是得保障“有”數(shù)據(jù)，數(shù)據(jù)不斷產(chǎn)生，數(shù)據(jù)量不斷增長，我們需要保證數(shù)據(jù)產(chǎn)出的時(shí)效性，穩(wěn)定性、數(shù)據(jù)質(zhì)量的準(zhǔn)確性，這些也是數(shù)倉同學(xué)最常面對(duì)的問題類型之一。在這個(gè)時(shí)候遇到的數(shù)據(jù)治理問題主要集中在集群上，例如任務(wù)長時(shí)間等待，計(jì)算、存儲(chǔ)、調(diào)度等各種資源不足，數(shù)據(jù)無法產(chǎn)出，或者產(chǎn)出臟數(shù)據(jù)，集群掛了，運(yùn)維無法定位問題，問題處理時(shí)間長，補(bǔ)數(shù)據(jù)止血難度大，人肉運(yùn)維無自動(dòng)化等等。這個(gè)時(shí)候，業(yè)務(wù)將會(huì)明顯感受波動(dòng)，有些故障甚至?xí)斐蓸I(yè)務(wù)資損。

二、應(yīng)用階段-數(shù)據(jù)普惠與使用效率的矛盾

當(dāng)我們“有”數(shù)據(jù)的時(shí)候，接下來面臨的就是“用”數(shù)據(jù)，我們想要更多人來使用數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)普惠，但是用的人越多，需求也會(huì)越多，效率反而會(huì)受阻。我們的產(chǎn)品滿足50人使用還是5萬人使用，可以說是天差地別。這時(shí)遇到的更多數(shù)據(jù)治理需求主要集中在效率上，例如：各個(gè)部門人員找數(shù)、查數(shù)、用數(shù)需求不斷增加，使用數(shù)據(jù)人員開始增多，數(shù)倉人員疲于取數(shù)；數(shù)據(jù)開始賦能業(yè)務(wù)，各類數(shù)據(jù)應(yīng)用需求井噴，數(shù)據(jù)團(tuán)隊(duì)壓力增大等等。這個(gè)時(shí)候，數(shù)倉建設(shè)可能逐步變得有點(diǎn)混亂，甚至有走向失控的節(jié)奏。

三、規(guī)模階段-靈活便攜與風(fēng)險(xiǎn)管控的矛盾

隨著用數(shù)據(jù)的人越來越多，前臺(tái)也會(huì)建設(shè)越來越多的數(shù)據(jù)應(yīng)用，帶來的各類數(shù)據(jù)風(fēng)險(xiǎn)就會(huì)增大，我們要開始“管數(shù)據(jù)”，但是各類數(shù)據(jù)安全的管理動(dòng)作往往會(huì)和效率背道而馳。在這個(gè)階段我們解決的數(shù)據(jù)治理主要問題主要集中在各類安全管控能力上，例如：各類法律法規(guī)直指內(nèi)部各類數(shù)據(jù)安全風(fēng)險(xiǎn)；不知道誰在什么時(shí)候怎么使用數(shù)據(jù)，出現(xiàn)一些數(shù)據(jù)泄露事件。

四、成熟階段-業(yè)務(wù)變化與成本治理的矛盾

成熟階段意味著我們能實(shí)現(xiàn)數(shù)據(jù)業(yè)務(wù)化，但是面對(duì)當(dāng)前的環(huán)境，經(jīng)常會(huì)提出“降成本”的需求。

如果業(yè)務(wù)增長、成本線性增長，我們需要成本治理

如果業(yè)務(wù)受限，成本冗余大，我們也需要成本治理

那應(yīng)該怎么降、降哪些，對(duì)于多企業(yè)也是一個(gè)難以回答的問題。而且對(duì)于一個(gè)成熟階段來說，成本治理不應(yīng)該是一個(gè)“運(yùn)動(dòng)式”“項(xiàng)目式”的工作，而應(yīng)該將之前提到的各類公司數(shù)據(jù)治理的理念深入人心，形成常態(tài)化的工作。

可以看到，降本往往是在數(shù)字化建設(shè)偏后期的需求。很多人一來和我們聊數(shù)據(jù)治理就說降本，其實(shí)在我們看來，對(duì)于絕大部分企業(yè)來說，降本的需求本身并沒有問題，后面我們也會(huì)重點(diǎn)講解下，但不妨可以回顧下前面幾個(gè)階段，我們是否做的足夠充分，例如當(dāng)前的成本高企，或許是因?yàn)榈谝浑A段堆疊了過多的人肉，又或許是因?yàn)榈诙A段各種人員無序使用資源。

在經(jīng)歷這么多數(shù)據(jù)治理場(chǎng)景和需求之后，阿里巴巴在內(nèi)部逐漸形成數(shù)據(jù)模型規(guī)范、數(shù)據(jù)開發(fā)規(guī)范、數(shù)據(jù)質(zhì)量規(guī)范、數(shù)據(jù)安全規(guī)范等多種方法論，并且這些實(shí)踐經(jīng)驗(yàn)我們也會(huì)逐步沉淀到DataWorks平臺(tái)上，讓規(guī)范落地，逐步形成全鏈路數(shù)據(jù)開發(fā)治理平臺(tái)。包含數(shù)據(jù)建模、數(shù)據(jù)集成、數(shù)據(jù)開發(fā)、數(shù)據(jù)運(yùn)維、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)等數(shù)據(jù)處理全鏈路流程，以一站式的大數(shù)據(jù)開發(fā)治理平臺(tái)能力，滿足數(shù)據(jù)治理中關(guān)于規(guī)范、穩(wěn)定、質(zhì)量、管理、安全、分析、服務(wù)等各個(gè)方面的訴求，我們?cè)诤竺娴母黝悓?shí)踐場(chǎng)景中還會(huì)為大家詳細(xì)講解。

小結(jié)

面對(duì)大數(shù)據(jù)平臺(tái)眾多數(shù)據(jù)治理問題的挑戰(zhàn)，我們用1套組織架構(gòu)，1部數(shù)據(jù)治理方法論，1套全鏈路治理平臺(tái)來滿足各類數(shù)據(jù)治理的需求。在大數(shù)據(jù)的“起步、應(yīng)用、規(guī)模、成熟”階段，對(duì)應(yīng)“穩(wěn)定、提效、管控、降本”等不同的目標(biāo)，將精力投入到主要矛盾上，讓數(shù)據(jù)治理平臺(tái)需要緊密結(jié)合各類經(jīng)驗(yàn)、場(chǎng)景與方法論。

二、阿里巴巴數(shù)據(jù)治理平臺(tái)建設(shè)實(shí)踐

剛才我們提到了各個(gè)階段的主要矛盾與問題，接下來我們將會(huì)為大家介紹DataWorks在各個(gè)數(shù)據(jù)治理場(chǎng)景下的主要實(shí)踐，包含數(shù)據(jù)生產(chǎn)規(guī)范性治理、數(shù)據(jù)生產(chǎn)穩(wěn)定性治理、數(shù)據(jù)生產(chǎn)質(zhì)量治理、數(shù)據(jù)應(yīng)用提效治理、數(shù)據(jù)安全管控治理、數(shù)據(jù)成本治理、數(shù)據(jù)治理組織架構(gòu)及文化建設(shè)等方面。需要提一點(diǎn)的是，數(shù)據(jù)治理平臺(tái)的開放性也非常重要，很多場(chǎng)景的實(shí)踐也是DataWorks平臺(tái)與集團(tuán)內(nèi)各個(gè)業(yè)務(wù)部門共創(chuàng)和緊密合作實(shí)現(xiàn)的。

01-數(shù)據(jù)生產(chǎn)規(guī)范性治理

我們將數(shù)據(jù)規(guī)范性放在第一個(gè)講，這是很多數(shù)據(jù)治理問題的源頭，不管是第一階段的生產(chǎn)穩(wěn)定，還是第二階段的應(yīng)用提效，都和數(shù)據(jù)規(guī)范性緊密相關(guān)，我們舉幾個(gè)簡單的例子：

1、數(shù)倉架構(gòu)混亂

跨bu、跨團(tuán)隊(duì)依賴較多，數(shù)倉架構(gòu)逐漸混亂，逐步有失控趨勢(shì)，面臨重建危機(jī)

2、數(shù)據(jù)開發(fā)效率低

業(yè)務(wù)含義不清、數(shù)據(jù)模型設(shè)計(jì)與物理表開發(fā)斷鏈，有了模型開發(fā)效率也沒提高

3、數(shù)據(jù)指標(biāo)構(gòu)建難

業(yè)務(wù)需要的數(shù)據(jù)指標(biāo)開發(fā)較慢，類似指標(biāo)沒有批量構(gòu)建的方式，缺乏指標(biāo)的統(tǒng)一管理

4、找數(shù)用數(shù)難

業(yè)務(wù)數(shù)據(jù)含義口口相傳，人工問口徑耗費(fèi)大量時(shí)間，交接人員也不清楚數(shù)據(jù)情況

5、數(shù)據(jù)穩(wěn)定性差

數(shù)據(jù)混亂，導(dǎo)致數(shù)據(jù)產(chǎn)出時(shí)效受影響，數(shù)據(jù)質(zhì)量穩(wěn)定性不高

6、數(shù)據(jù)成本不斷增長

數(shù)據(jù)隨意開發(fā)、大量任務(wù)重復(fù)計(jì)算、找不到也治不了，導(dǎo)致成本不斷增加

所以，我們希望在第一部分就和大家強(qiáng)調(diào)下數(shù)據(jù)規(guī)范的重要性，有些企業(yè)由于業(yè)務(wù)的發(fā)展，往往會(huì)忽視規(guī)范的建設(shè)，經(jīng)常采用“先污染，后治理”的方式，然后陷入各類業(yè)務(wù)需求，而良好的數(shù)據(jù)規(guī)范建設(shè)往往可以起到“事半功倍”的效果。DataWorks的智能數(shù)據(jù)建模同天貓、淘寶、盒馬、本地生活、菜鳥等多個(gè)事業(yè)部進(jìn)行共創(chuàng)，我們以某個(gè)事業(yè)部為例為大家講解下數(shù)倉規(guī)范性的建設(shè)思路，該業(yè)務(wù)數(shù)倉團(tuán)隊(duì)從2020年開始與DataWorks團(tuán)隊(duì)不斷共建智能數(shù)據(jù)建模產(chǎn)品，從最初版簡單的錄入系統(tǒng)，到集成逆向建模、多表克隆、多種引擎的代碼模式、excel交互等功能，最終讓整個(gè)數(shù)倉團(tuán)隊(duì)的開發(fā)效率提升30%，并且下線15%不規(guī)范的冗余的數(shù)據(jù)表。同時(shí)在整個(gè)數(shù)倉公共層團(tuán)隊(duì)與業(yè)務(wù)數(shù)據(jù)開發(fā)團(tuán)隊(duì)進(jìn)行推廣，全員使用，成為事業(yè)部落地?cái)?shù)倉規(guī)范的統(tǒng)一平臺(tái)。

數(shù)倉規(guī)范性治理的方案主要圍繞穩(wěn)定性、擴(kuò)展性、時(shí)效性、易用性、成本五大目標(biāo)展開，整體方案主要包含兩部分，分別是模型線上化與模型管理&評(píng)估。模型線上化部分，首先設(shè)計(jì)了“數(shù)據(jù)架構(gòu)委員會(huì)”這樣的組織保障團(tuán)隊(duì)，即搭建架構(gòu)師團(tuán)隊(duì)，并將模型管理責(zé)任到數(shù)據(jù)負(fù)責(zé)人；接著擬定事業(yè)部數(shù)倉的規(guī)范制度，例如數(shù)據(jù)模型規(guī)范、數(shù)倉公共開發(fā)規(guī)范、數(shù)倉命名規(guī)范等；最后將規(guī)范制度和模型負(fù)責(zé)人通過產(chǎn)品工具DataWorks 智能數(shù)據(jù)建模產(chǎn)品進(jìn)行落地。完成模型線上化只是第一步，接下來模型管理&評(píng)估是重點(diǎn)，通過事前模型評(píng)審、事中模型評(píng)估打分、事后模型治理推送，實(shí)現(xiàn)模型管理的閉環(huán)，促進(jìn)模型不斷優(yōu)化和完善。

方案設(shè)計(jì)完成后，通過對(duì)所需功能進(jìn)行梳理，總結(jié)出從規(guī)范定義、便捷開發(fā)、發(fā)布評(píng)審、業(yè)務(wù)管理四個(gè)模塊來建設(shè)智能數(shù)據(jù)建模平臺(tái)：

1、規(guī)范定義

在前期，數(shù)倉團(tuán)隊(duì)是沒有這個(gè)數(shù)據(jù)建模平臺(tái)的，大家都是以線下的建模方式，比如數(shù)據(jù)開發(fā)對(duì) Excel 梳理后，先進(jìn)行數(shù)據(jù)探查了解數(shù)據(jù)基本情況，之后進(jìn)行模型的設(shè)計(jì)，然后再線下進(jìn)行模型評(píng)審。整個(gè)模型設(shè)計(jì)和評(píng)審都在線下，最終導(dǎo)致大家數(shù)據(jù)建模的時(shí)候沒有形成一個(gè)規(guī)范，數(shù)據(jù)開發(fā)的過程不嚴(yán)謹(jǐn)，下游有了大量的引用之后，切換的成本也非常高。并且從維護(hù)角度來說，用Excel建模的方式，當(dāng)數(shù)倉開發(fā)人員變動(dòng)后，Excel中模型交接不便，難以持續(xù)維護(hù)，容易造成企業(yè)寶貴的數(shù)據(jù)業(yè)務(wù)知識(shí)流失。所以數(shù)倉團(tuán)隊(duì)希望將規(guī)范的定義搬到線上，下圖中列出了線上規(guī)范定義的主要內(nèi)容。

2、發(fā)布評(píng)審

之前數(shù)倉團(tuán)隊(duì)的評(píng)審也是在線下進(jìn)行，在架構(gòu)師和工程師比較忙的時(shí)候，評(píng)審流程就不夠嚴(yán)謹(jǐn)，甚至沒有走評(píng)審的過程就直接發(fā)布了，所以希望將這個(gè)功能也搬到線上去。發(fā)布前我們會(huì)對(duì)表命名、字段命名進(jìn)行強(qiáng)校驗(yàn)，同時(shí)支持多引擎發(fā)布，比如離線數(shù)據(jù)存在 MaxCompute 或者 Hive 上面，還有一部分?jǐn)?shù)據(jù)存在 MySQL 或者 Oracle 上面等等。影響性檢查是模型發(fā)布之后，對(duì)于下游的引用這個(gè)模型的 ETL 腳本是不是有一些影響，比如有的時(shí)候新增了一個(gè)字段，下游同學(xué)使用的時(shí)候是 Select * 的方式，而表沒有新增的這個(gè)字段，就會(huì)導(dǎo)致下游任務(wù)報(bào)錯(cuò)。

3、便捷開發(fā)

這是核心重要的一點(diǎn)。數(shù)倉團(tuán)隊(duì)希望將建模方式從線下搬到線上之后，不要影響數(shù)倉同學(xué)的開發(fā)效率，所以設(shè)計(jì)了各種提高效率的便捷開發(fā)功能。

4、業(yè)務(wù)管理

這是從使用的角度上來說的。對(duì)于研發(fā)人員來說，有業(yè)務(wù)分類和數(shù)據(jù)域的視角，對(duì)于業(yè)務(wù)人員來說，提供數(shù)倉大圖和數(shù)據(jù)字典的視角。從成本治理的角度來說，比如一些歷史上的模型可以做歸并或下線。

這些功能落地成智能數(shù)據(jù)建模平臺(tái)產(chǎn)品，從實(shí)踐來說，主要分為兩部分，首先是正向建模，相對(duì)比較清楚，基于維度建模的理論基礎(chǔ)，以及我們?cè)跀?shù)據(jù)中臺(tái)的眾多實(shí)踐，從數(shù)倉規(guī)劃、業(yè)務(wù)域定義、數(shù)據(jù)域&業(yè)務(wù)域過程定義、數(shù)據(jù)標(biāo)準(zhǔn)定義、維度建模、原子&派生指標(biāo)定義、模型發(fā)布七個(gè)步驟。

針對(duì)存量的歷史模型，通過DataWorks逆向建模的能力，對(duì)存量模型進(jìn)行了全面分析和盤點(diǎn)，下線了若干歷史、低價(jià)值的模型，并完成存量模型100%的線上化管理。

以數(shù)據(jù)中臺(tái)方法論為指導(dǎo)，DataWorks智能數(shù)據(jù)建模形成了數(shù)倉規(guī)劃、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)建模、數(shù)據(jù)指標(biāo)四大產(chǎn)品模塊，成為各部門統(tǒng)一使用的數(shù)據(jù)建模平臺(tái)，累計(jì)形成數(shù)據(jù)模型表超過1萬張，有效提升阿里巴巴集團(tuán)整體數(shù)據(jù)的規(guī)范性。

小結(jié)

數(shù)據(jù)生產(chǎn)規(guī)范性是很多問題的源頭，建議要最先考慮起來，往往能起到事半功倍的效果。數(shù)據(jù)模型是企業(yè)特別重要的數(shù)據(jù)知識(shí)，建模平臺(tái)需要通過平臺(tái)化的工具來做，而不是原先線下Excel之類的方式，一時(shí)方便，長期成本反而很高。這樣不僅能提高對(duì)內(nèi)交流、應(yīng)用的效率，還能防止由于員工的變更，造成企業(yè)數(shù)據(jù)知識(shí)的流失。

02-數(shù)據(jù)生產(chǎn)穩(wěn)定性治理

數(shù)據(jù)生產(chǎn)的穩(wěn)定性是企業(yè)在建設(shè)大數(shù)據(jù)平臺(tái)時(shí)會(huì)遇到的第一個(gè)問題，對(duì)于數(shù)倉同學(xué)來說，值班是工作的一部分，值班同學(xué)的一晚大概是這樣的：

● 凌晨1:30，收到電話告警，機(jī)器人自動(dòng)播報(bào)“XX任務(wù)已延遲XX分鐘，請(qǐng)盡快處理！”

● 凌晨1:31，起床打開電腦，處理告警問題，1:40、1:50、2:00，電話告警不斷轟炸，手機(jī)不斷震動(dòng)，前往客廳辦公

● 凌晨2:00，對(duì)于上下游任務(wù)邏輯不太清楚，拉起一批同學(xué)起夜

● 凌晨3:00，老板被Call醒，打來電話詢問情況，溝通后續(xù)處理方案

● 凌晨5:00，所有任務(wù)處理完成，等待集群資源計(jì)算數(shù)

● 上午7:00，睡眼朦朧，起床前往公司上班

● 上午9:00，剛出電梯口，被業(yè)務(wù)小二圍住追問數(shù)據(jù)產(chǎn)出時(shí)間，并開啟一天的工作

可以說，天下數(shù)倉同學(xué)苦值班久矣！在阿里巴巴內(nèi)部，當(dāng)我們?cè)谧鰯?shù)據(jù)穩(wěn)定性治理的時(shí)候，往往會(huì)圍繞兩個(gè)核心指標(biāo)進(jìn)行優(yōu)化，分別是起夜率與基線破線率。

● 起夜率

指在日常工作中，數(shù)倉值班同學(xué)需要起來處理問題的天數(shù)占比全年天數(shù)，如果一個(gè)晚上無事發(fā)生，數(shù)倉同學(xué)不需要起夜，我們也引用了游戲中的一個(gè)概念，稱為平安夜，起夜率相對(duì)越低越好。

● 基線破線率

基線是DataWorks獨(dú)創(chuàng)的理念，在基線上我們可以為任務(wù)設(shè)置最晚產(chǎn)出時(shí)間。例如當(dāng)天營收數(shù)據(jù)，最晚產(chǎn)生時(shí)間設(shè)置為凌晨2：00，如果這個(gè)任務(wù)最終產(chǎn)出超過2：00，那么這條基線就破線了，基線破線率同樣也是越低越好。

在治理實(shí)踐中，通常是以下流程：

1、基線配置

梳理團(tuán)隊(duì)核心數(shù)據(jù)產(chǎn)出任務(wù)與鏈路，確定基線任務(wù)分級(jí)，將不同的任務(wù)配置1/3/5/7不同的基線等級(jí)，同時(shí)配置基線產(chǎn)出時(shí)間與告警余量。告警余量是一個(gè)非常重要的概念，類似搶救時(shí)間。例如剛才我們提到的任務(wù)產(chǎn)出時(shí)間設(shè)置為凌晨2：00，如果告警余量設(shè)置成1小時(shí)，基線會(huì)預(yù)測(cè)任務(wù)產(chǎn)出時(shí)間，如果時(shí)間超過凌晨1：00便會(huì)進(jìn)行告警，方便我們提前知曉核心任務(wù)的產(chǎn)出風(fēng)險(xiǎn)。

2、基線治理

基于基線功能以及一些元數(shù)據(jù)，數(shù)倉團(tuán)隊(duì)針對(duì)基線告警進(jìn)行治理，包括告警的認(rèn)領(lǐng)、評(píng)估、處理等，同時(shí)會(huì)針對(duì)基線告警進(jìn)行根因分析，看下是由于什么原因?qū)е碌臄?shù)據(jù)穩(wěn)定性問題，常見的有據(jù)質(zhì)量報(bào)錯(cuò)、SQL語法報(bào)錯(cuò)、系統(tǒng)環(huán)境報(bào)錯(cuò)、權(quán)限報(bào)錯(cuò)、同步任務(wù)報(bào)錯(cuò)等，進(jìn)行生產(chǎn)穩(wěn)定性的根治治理

3、穩(wěn)定性評(píng)估

最終，團(tuán)隊(duì)產(chǎn)出穩(wěn)定性周報(bào)，每周報(bào)告基線破線率及平安夜數(shù)，在值班手冊(cè)中，也會(huì)形成常見問題排查寶典，治理問題清單，將穩(wěn)定性治理的經(jīng)驗(yàn)沉淀成團(tuán)隊(duì)共同的知識(shí)資產(chǎn)，并且進(jìn)行責(zé)任公示，設(shè)計(jì)獎(jiǎng)懲制度、達(dá)到穩(wěn)定性治理正向循環(huán)。

智能基線可以說是DataWorks中守護(hù)數(shù)據(jù)安全生產(chǎn)的核心功能，里面結(jié)合了DataWorks多項(xiàng)運(yùn)維診斷和MaxCompute引擎能力。

1、智能分級(jí)調(diào)度與資源分配

當(dāng)1個(gè)任務(wù)被設(shè)置1/3/5/7不同的基線等級(jí)后，整個(gè)平臺(tái)運(yùn)行的時(shí)候會(huì)按照優(yōu)先級(jí)為核心數(shù)據(jù)產(chǎn)出進(jìn)行重要性分級(jí)，高優(yōu)先級(jí)任務(wù)及其上游，將獲得更多的任務(wù)調(diào)度與MaxCompute的計(jì)算資源，以保障高優(yōu)先級(jí)任務(wù)的運(yùn)行資源。DataWorks也將其中涉及眾多調(diào)度與資源分配的核心技術(shù)申請(qǐng)了國家專利。

2、智能預(yù)測(cè)與告警

1個(gè)核心任務(wù)可能會(huì)前置依賴多個(gè)任務(wù)，當(dāng)我們?cè)谧罱K產(chǎn)出的任務(wù)節(jié)點(diǎn)配置基線后，前置的依賴任務(wù)就不需要再逐個(gè)配置運(yùn)維告警了，將會(huì)極大提升運(yùn)維效率。任務(wù)開始運(yùn)行時(shí)，DataWorks會(huì)回溯依賴鏈路上所有任務(wù)的歷史運(yùn)行記錄，同時(shí)結(jié)合平臺(tái)當(dāng)前運(yùn)行及集群資源情況，每30秒刷新智能預(yù)測(cè)數(shù)據(jù)產(chǎn)出時(shí)間。例如設(shè)置核心任務(wù)期望產(chǎn)出時(shí)間基線在2：00，在核心鏈路中間，有個(gè)平時(shí)20：00產(chǎn)出的任務(wù)20：30仍未產(chǎn)生，結(jié)合當(dāng)前集群水位情況，判斷將會(huì)導(dǎo)致希望在2：00產(chǎn)出的最終核心任務(wù)延時(shí)，那么數(shù)倉同學(xué)將會(huì)在20：30就收到告警，提前干預(yù)處理延遲任務(wù)，而不是等到最終2：00任務(wù)已經(jīng)延時(shí)了，才開始處理。

3、全鏈路智能診斷與排障

提前收到告警后，運(yùn)維同學(xué)也會(huì)在DataWorks的運(yùn)維中心處理告警任務(wù)， 在DAG圖上查看上下游及每個(gè)周期實(shí)例的運(yùn)行情況，通過運(yùn)行診斷排查全鏈路上的告警問題，例如上游依賴告警、當(dāng)前任務(wù)定時(shí)檢查，調(diào)度資源檢查、MaxCompute資源檢查等等，可以快速定位并排障。

智能基線的配置及故障處理參考下方，針對(duì)任務(wù)責(zé)任人和值班人不同的情況，DataWorks還設(shè)置了值班表的功能，可以將不同責(zé)任人的告警消息統(tǒng)一推送給當(dāng)前值班表對(duì)應(yīng)人員。

以內(nèi)部某個(gè)數(shù)倉團(tuán)隊(duì)為例，在穩(wěn)定性治理之前，團(tuán)隊(duì)每周需要2.5人日進(jìn)行值班，其中每年損失的不僅僅是135天的值班人日，凌晨起夜的同學(xué)135天日間的工作效率也會(huì)收到極大的影響，嚴(yán)重喪失工作的幸福感。穩(wěn)定性治理之后，團(tuán)隊(duì)7級(jí)基線的破線率從每月的4次降低到了0次，值班同學(xué)起夜率從97%降低到了33%，同時(shí)極大地提升了員工的工作幸福感，這也是穩(wěn)定性治理的重要意義。

小結(jié)

數(shù)據(jù)生產(chǎn)穩(wěn)定性核心會(huì)用起夜率和基線破線率來衡量，通過圍繞智能基線構(gòu)建的全鏈路運(yùn)維診斷能力來支持穩(wěn)定性建設(shè)。智能基線可以基于集群當(dāng)前水位，歷史運(yùn)行情況，智能分配計(jì)算與調(diào)度資源，讓核心數(shù)據(jù)優(yōu)先產(chǎn)出，并提供智能告警的能力方便提前干預(yù)處理。另外，穩(wěn)定性的治理對(duì)于員工的工作幸福感也是非常大的提升。

03-數(shù)據(jù)生產(chǎn)質(zhì)量治理

在我們針對(duì)數(shù)據(jù)生產(chǎn)穩(wěn)定性進(jìn)行保障過程后，往往同步會(huì)關(guān)注到的，就是數(shù)據(jù)生產(chǎn)的質(zhì)量問題治理。數(shù)據(jù)質(zhì)量的好壞，往往對(duì)業(yè)務(wù)側(cè)所要執(zhí)行的決策和流程有著直接關(guān)聯(lián)，各種場(chǎng)景不但需要能“成功獲取數(shù)據(jù)”，還需要能“成功獲取正確的數(shù)據(jù)”，這樣才能實(shí)現(xiàn)業(yè)務(wù)側(cè)的成功。

以阿里集團(tuán)最常見的電商包裹場(chǎng)景舉例，我們能看到，當(dāng)一件包裹上出現(xiàn)了數(shù)據(jù)質(zhì)量問題后，能引發(fā)不同維度上的業(yè)務(wù)問題。

通常在實(shí)際生活中，我們針對(duì)包裹會(huì)有重點(diǎn)關(guān)注的基礎(chǔ)數(shù)值屬性，比如包裹的重量、體積，因?yàn)闀?huì)和包裹的價(jià)格、包裹的運(yùn)輸安排都有關(guān)系。當(dāng)出現(xiàn)這些屬性不符合預(yù)期的情況時(shí)，就會(huì)出現(xiàn)針對(duì)這件包裹的各種業(yè)務(wù)問題的追查。

例如，當(dāng)重量值為空值時(shí)，或者等于0的時(shí)候，按數(shù)據(jù)規(guī)則反應(yīng)現(xiàn)實(shí)過程，則是出現(xiàn)了沒有重量的空包裹，這是不符合對(duì)物流和計(jì)價(jià)的業(yè)務(wù)要求的。而當(dāng)重量、體積值超過了正常定義的閾值時(shí)，例如1個(gè)小包重量很大，按實(shí)際情況也是不合理的情況。

所以，當(dāng)出現(xiàn)這種數(shù)據(jù)質(zhì)量問題時(shí)，我們就會(huì)關(guān)注，到底是業(yè)務(wù)上出現(xiàn)了真實(shí)問題，還是實(shí)際數(shù)據(jù)加工過程出現(xiàn)了污染。如果真實(shí)業(yè)務(wù)沒問題，而是數(shù)據(jù)出現(xiàn)了問題，則會(huì)影響到后續(xù)針對(duì)包裹的結(jié)費(fèi)計(jì)算、運(yùn)輸網(wǎng)絡(luò)的規(guī)劃、供應(yīng)鏈優(yōu)化等等。平臺(tái)與消費(fèi)者、平臺(tái)與商家、平臺(tái)與供應(yīng)商之間的交互，都會(huì)被數(shù)據(jù)質(zhì)量問題所影響。

而這些數(shù)據(jù)質(zhì)量問題，如果沒有治理管控，則會(huì)在數(shù)據(jù)生產(chǎn)過程非常普遍地出現(xiàn)，如數(shù)據(jù)殘缺不全、數(shù)據(jù)不一致、數(shù)據(jù)重復(fù)等等，導(dǎo)致數(shù)據(jù)不能有效地被利用，影響數(shù)據(jù)可靠性保障和有效的業(yè)務(wù)產(chǎn)出。所以數(shù)據(jù)質(zhì)量管理，需要如同產(chǎn)品質(zhì)量管理一樣，貫穿于數(shù)據(jù)生命周期的各個(gè)階段。當(dāng)生產(chǎn)環(huán)境中產(chǎn)生了與現(xiàn)有規(guī)則不符的持久化數(shù)據(jù)，或數(shù)據(jù)延遲的問題，則定義為「數(shù)據(jù)質(zhì)量問題」。其中引發(fā)故障的，則定義為「數(shù)據(jù)質(zhì)量故障」。而數(shù)據(jù)生產(chǎn)質(zhì)量治理的過程，也就是我們?yōu)榱吮苊狻笖?shù)據(jù)質(zhì)量問題」所要建設(shè)的重要體系。

我們從業(yè)務(wù)出發(fā)，從對(duì)業(yè)務(wù)側(cè)最核心關(guān)鍵的業(yè)務(wù)實(shí)體，進(jìn)行數(shù)據(jù)質(zhì)量需求的梳理，來明確數(shù)據(jù)質(zhì)量問題。如針對(duì)電商交易，最關(guān)心的就是商品、用戶、計(jì)費(fèi)、營收方面數(shù)據(jù)的質(zhì)量情況。那什么是影響這些業(yè)務(wù)實(shí)體生產(chǎn)穩(wěn)定性的關(guān)鍵質(zhì)量要求呢？在阿里巴巴內(nèi)部，面向這類商業(yè)產(chǎn)品的數(shù)據(jù)服務(wù)支撐流程中，重點(diǎn)會(huì)關(guān)注以下兩大方面：

1）面向商業(yè)級(jí)服務(wù)的數(shù)據(jù)質(zhì)量高保障要求：由于在阿里巴巴中臺(tái)里，數(shù)據(jù)大量以服務(wù)的形態(tài)，提供給各個(gè)商業(yè)化的業(yè)務(wù)應(yīng)用，因此，這意味著不只是數(shù)據(jù)本身產(chǎn)出的保障，也直接影響著最終業(yè)務(wù)側(cè)承諾質(zhì)量的保障。

比如，由于更多客戶業(yè)務(wù)根據(jù)數(shù)據(jù)進(jìn)行決策，數(shù)據(jù)高準(zhǔn)確性要求也因此出現(xiàn)，對(duì)數(shù)據(jù)準(zhǔn)確性的不再只是滿足一定的數(shù)據(jù)分布即可，需要結(jié)合更多的業(yè)務(wù)知識(shí)對(duì)數(shù)據(jù)準(zhǔn)確性進(jìn)行更準(zhǔn)確地評(píng)估。再如，由于部分TOB業(yè)務(wù)對(duì)數(shù)據(jù)產(chǎn)出的時(shí)效性有一定要求，單一架構(gòu)的數(shù)據(jù)庫可能不能完全滿足業(yè)務(wù)的產(chǎn)出速度需要，需要異構(gòu)數(shù)據(jù)庫合作進(jìn)行數(shù)據(jù)鏈路建設(shè)，因此如何保證異構(gòu)數(shù)據(jù)的一致性也是需要解決的問題。

2）對(duì)數(shù)據(jù)質(zhì)量協(xié)作保證過程的高效率要求：多角色流水線作業(yè)下，如果要保證數(shù)據(jù)質(zhì)量，除了需要制定數(shù)據(jù)質(zhì)量規(guī)范外，還需要在各環(huán)節(jié)完成對(duì)應(yīng)事宜，比如研發(fā)環(huán)節(jié)、測(cè)試環(huán)節(jié)、監(jiān)控環(huán)節(jié)都有面向各環(huán)節(jié)要完成工作的人員，分別需要到各模塊各自操作，往往還會(huì)出現(xiàn)重復(fù)性工作，比如質(zhì)量測(cè)試的用例，和質(zhì)量監(jiān)控的設(shè)置邏輯，通常是類似的，需要能有平臺(tái)工具，幫助多角色用戶，針對(duì)數(shù)據(jù)鏈路中所產(chǎn)出的所有線上數(shù)據(jù)質(zhì)量問題，進(jìn)行匯總，分析；能幫助質(zhì)量小組，把紙面要求、規(guī)章制度中定義的數(shù)據(jù)問題，能定期復(fù)盤，轉(zhuǎn)化為數(shù)據(jù)度量落在系統(tǒng)中；能反推研發(fā)各階段，共同高效地提升數(shù)據(jù)質(zhì)量。

在這些關(guān)注點(diǎn)的牽引上，阿里巴巴數(shù)據(jù)質(zhì)量的全流程體系，相應(yīng)地在如下領(lǐng)域完成重點(diǎn)增強(qiáng)。

針對(duì)多角色協(xié)作式的數(shù)據(jù)流程，基于DataWorks了提供統(tǒng)一的數(shù)據(jù)質(zhì)量平臺(tái)工具，能在一個(gè)平臺(tái)上流水線式地完成所有協(xié)作過程。圍繞開發(fā)、部署、運(yùn)維和監(jiān)控環(huán)節(jié)的工具能力提升，極大簡化了數(shù)據(jù)團(tuán)隊(duì)各角色的日常工作流程。在持續(xù)監(jiān)控的數(shù)據(jù)質(zhì)量監(jiān)控的基礎(chǔ)上，加強(qiáng)事中防控質(zhì)量問題，事前預(yù)防校正問題維度，讓數(shù)據(jù)質(zhì)量在每個(gè)環(huán)節(jié)起作用，各個(gè)角色側(cè)都能高效落地。

1. 事前：在研發(fā)過程中保障代碼質(zhì)量，提前規(guī)避質(zhì)量問題，通過代碼檢測(cè)、質(zhì)量自測(cè)的能力讓研發(fā)可以提前消滅問題；

2. 事前：讓測(cè)試更有效地進(jìn)行質(zhì)量測(cè)試，提供上線前的冒煙測(cè)試、對(duì)比測(cè)試，從之前僅完成基礎(chǔ)功能驗(yàn)證的測(cè)試，完善拓展其測(cè)試維度，不斷積累圍繞業(yè)務(wù)承諾要求的規(guī)則，從而讓研發(fā)和運(yùn)維都能夠進(jìn)行快速地自動(dòng)化測(cè)試，持續(xù)進(jìn)行數(shù)據(jù)鏈路的部署更新

3. 事中：數(shù)據(jù)質(zhì)量檢測(cè)任務(wù)直接關(guān)聯(lián)調(diào)度任務(wù)產(chǎn)出。做到數(shù)據(jù)即產(chǎn)出即檢查，當(dāng)高保障數(shù)據(jù)任務(wù)運(yùn)行時(shí)，上游數(shù)據(jù)出現(xiàn)臟數(shù)據(jù)時(shí)，能及時(shí)阻斷任務(wù)，規(guī)避質(zhì)量問題數(shù)據(jù)對(duì)下游的影響，并通過告警機(jī)制及時(shí)提醒用戶進(jìn)行任務(wù)處理。

針對(duì)需要高保障的大批量數(shù)據(jù)表的質(zhì)量管理需求，也能讓質(zhì)量責(zé)任人以低成本方式，提升規(guī)則覆蓋率，減少人工配置負(fù)擔(dān)，降低閾值設(shè)置難度和規(guī)則誤報(bào)率。而在海量數(shù)據(jù)、多種數(shù)據(jù)種類情況下，由系統(tǒng)保障平臺(tái)性能，做到大數(shù)據(jù)量下質(zhì)量監(jiān)控仍能高效運(yùn)行，并且盡可能減少對(duì)業(yè)務(wù)數(shù)據(jù)鏈路產(chǎn)出的資源消耗影響，做到以最小成本執(zhí)行。面向復(fù)雜數(shù)據(jù)架構(gòu)的場(chǎng)景時(shí)，也能針對(duì)多種引擎下的數(shù)據(jù)，持續(xù)地保障數(shù)據(jù)的一致性及質(zhì)量管理的延續(xù)性。

數(shù)據(jù)質(zhì)量規(guī)則作為承載保障體系的重要載體，從人肉防控梳理，做到平臺(tái)規(guī)則沉淀的自動(dòng)檢測(cè)，最終走向質(zhì)量高效化的智能管理。這里面有大量的基礎(chǔ)性工作：

?通過管理機(jī)制和平臺(tái)體系，讓每一張數(shù)據(jù)表都有負(fù)責(zé)人

?平臺(tái)能自動(dòng)追溯表與表之間的血緣關(guān)系

?末端表標(biāo)注業(yè)務(wù)重要性，向上追溯鏈路中的表，以業(yè)務(wù)作為抓手來治理質(zhì)量問題

? ETL作業(yè)統(tǒng)一調(diào)度，質(zhì)量監(jiān)控與調(diào)度系統(tǒng)集成，做到事中即時(shí)智能管控

平臺(tái)整個(gè)完成面向不同業(yè)務(wù)實(shí)體的質(zhì)量治理過程，由平臺(tái)側(cè)和質(zhì)量保障小組，不斷沉淀通用平臺(tái)側(cè)和業(yè)務(wù)維度側(cè)的質(zhì)量規(guī)則模板。整個(gè)過程中，針對(duì)不斷產(chǎn)生的新的數(shù)據(jù)表及相似業(yè)務(wù)，提供快速模板化規(guī)則配置、規(guī)則推薦，并根據(jù)歷史的業(yè)務(wù)運(yùn)行結(jié)果進(jìn)行動(dòng)態(tài)閾值的智能判定，減少新數(shù)據(jù)和新用戶的配置成本，減少對(duì)需要關(guān)注指標(biāo)及數(shù)據(jù)的質(zhì)量治理的遺漏，全面提升數(shù)據(jù)可信度與價(jià)值密度。

最終沉淀為針對(duì)數(shù)據(jù)生產(chǎn)過程的質(zhì)量穩(wěn)定性全流程保障方案，從平臺(tái)、規(guī)范、組織三方面完成了相應(yīng)建設(shè)和沉淀，根據(jù)實(shí)際的業(yè)務(wù)流程和數(shù)據(jù)流程完成

1. 質(zhì)量治理策略：建立線上數(shù)據(jù)質(zhì)量問題管理處置機(jī)制

2. 質(zhì)量問題監(jiān)控：建立全流程數(shù)據(jù)質(zhì)量問題的監(jiān)控和預(yù)防體系

3. 質(zhì)量協(xié)同處理：建立上下游協(xié)同的工作流程

4. 質(zhì)量度量評(píng)估：建立可復(fù)用的數(shù)據(jù)標(biāo)準(zhǔn)和統(tǒng)一的質(zhì)量評(píng)估體系

最后，我們還是要從業(yè)務(wù)關(guān)注我們的治理效果，以開頭舉例的包裹質(zhì)量問題為例，通過數(shù)據(jù)質(zhì)量治理的建設(shè)，以及圍繞業(yè)務(wù)對(duì)象的協(xié)作規(guī)則沉淀，

不僅從數(shù)據(jù)端，能夠完成對(duì)數(shù)據(jù)的異常監(jiān)控、推送和分析，使得可以及時(shí)對(duì)數(shù)據(jù)質(zhì)量異常問題進(jìn)行修復(fù)，

同時(shí)，從業(yè)務(wù)端，也針對(duì)測(cè)試的數(shù)據(jù)，通過規(guī)則進(jìn)行了前置校驗(yàn)，在數(shù)據(jù)流入時(shí)就進(jìn)行了限制和告警，也能讓業(yè)務(wù)端小二也能進(jìn)行異常情況的責(zé)任判定，通過標(biāo)準(zhǔn)質(zhì)量數(shù)據(jù)修復(fù)動(dòng)作進(jìn)行數(shù)據(jù)修復(fù)。

整體包裹參數(shù)的數(shù)據(jù)準(zhǔn)確率提升至99%以上，通過數(shù)據(jù)質(zhì)量治理也推動(dòng)了業(yè)務(wù)流程在質(zhì)量保障環(huán)節(jié)的優(yōu)化，最終為我們的業(yè)務(wù)高價(jià)值服務(wù)進(jìn)行了更好地保障。

小結(jié)

數(shù)據(jù)生產(chǎn)端的治理除了規(guī)范性、穩(wěn)定性，還包含了數(shù)據(jù)質(zhì)量。數(shù)據(jù)質(zhì)量問題往往能直接產(chǎn)生業(yè)務(wù)問題，所以數(shù)據(jù)質(zhì)量管理，需要如同產(chǎn)品質(zhì)量管理一樣，貫穿于數(shù)據(jù)生命周期的各個(gè)階段。在持續(xù)監(jiān)控的數(shù)據(jù)質(zhì)量監(jiān)控的基礎(chǔ)上，數(shù)據(jù)質(zhì)量平臺(tái)加強(qiáng)事前預(yù)防校正問題、事中防控質(zhì)量問題的能力，以及各類用戶智能配置、智能閾值判定等能力，讓數(shù)據(jù)質(zhì)量在每個(gè)環(huán)節(jié)起作用，各個(gè)角色側(cè)都能高效落地。

04-數(shù)據(jù)應(yīng)用提效治理

剛才的數(shù)據(jù)生產(chǎn)穩(wěn)定性與質(zhì)量穩(wěn)定性，更多解決第一階段“有”數(shù)據(jù)的治理問題，接下來進(jìn)入第二階段，進(jìn)行數(shù)據(jù)應(yīng)用的時(shí)候，一線的業(yè)務(wù)同學(xué)在使用數(shù)據(jù)時(shí)也會(huì)碰到眾多難點(diǎn)。例如：

● 找數(shù)難

想找的數(shù)據(jù)，不知道去哪找，特別是用業(yè)務(wù)術(shù)語去找的時(shí)候

相似表太多，不知道用哪個(gè)

搜索的結(jié)果太多，需要逐一點(diǎn)擊查看

搜索的結(jié)果不準(zhǔn)，很多和自己的業(yè)務(wù)不相關(guān)

● 用數(shù)難

表命名奇怪，字段沒有注釋，缺少文檔

表注釋太簡略，沒有有效信息

人工問口徑耗費(fèi)大量時(shí)間

很多表的owner是被交接的，也不清楚業(yè)務(wù)邏輯

如何快速開放數(shù)據(jù)或者構(gòu)建個(gè)性化數(shù)據(jù)應(yīng)用

面對(duì)這些問題，用戶找數(shù)/用數(shù)等應(yīng)用場(chǎng)景的提效需要多管其下，比如最開始提到的數(shù)據(jù)規(guī)范，如果數(shù)據(jù)模型做好了，就可以在源頭上提升數(shù)據(jù)的可讀性，避免針對(duì)數(shù)據(jù)釋義的多次頻繁溝通，并消除數(shù)據(jù)指標(biāo)的二義性。

基于元數(shù)管理的能力，DataWorks提供數(shù)據(jù)地圖功能。在數(shù)據(jù)地圖里，可以實(shí)現(xiàn)元數(shù)據(jù)的自動(dòng)采集與數(shù)據(jù)目錄能力，針對(duì)找數(shù)常用的檢索功能，提供表/字段/模型/指標(biāo)等多種檢索能力，并提供數(shù)據(jù)血緣能力，例如業(yè)務(wù)同學(xué)檢索到一張北京地區(qū)商品營收表時(shí)，想查看全國的營收數(shù)據(jù)，就可以通過血緣查看這張表的上游或者下游表，快速獲取對(duì)應(yīng)數(shù)據(jù)。部分新來的同學(xué)對(duì)企業(yè)內(nèi)部數(shù)據(jù)情況不是很熟悉，數(shù)據(jù)地圖還支持將各類常用表作為官方數(shù)據(jù)專輯給到所有用戶，并且在搜索時(shí)會(huì)推薦信息更加完善的表。

數(shù)據(jù)建模與數(shù)據(jù)地圖解決了大部分的找數(shù)問題，在用數(shù)階段，DataWorks提供了統(tǒng)一的SQL查詢分析工具，找到表后通過SQL的方式就可以直接進(jìn)行快速查詢，里面在今年更新了眾多的體驗(yàn)優(yōu)化能力。

● 頁面布局可以切換上下布局和左右布局，左右布局可以更好利用一些外接顯示器場(chǎng)景，顯示信息更多

● SQL編輯器提供自動(dòng)的代碼補(bǔ)全，代碼格式化、代碼高亮等能力

● 查詢結(jié)果展示可以分為明細(xì)數(shù)據(jù)模式和圖表模式，支持拖拉拽進(jìn)行快速地圖表編輯

● 針對(duì)數(shù)據(jù)的上傳和下載開通了快捷入口，也支持針對(duì)數(shù)據(jù)下載條數(shù)進(jìn)行管控

數(shù)據(jù)分析是方便業(yè)務(wù)同學(xué)直接使用，但是面對(duì)更多復(fù)雜的業(yè)務(wù)需求，必須采用定制化的開發(fā)形式，在這個(gè)時(shí)候，數(shù)據(jù)治理平臺(tái)也需要提供更多的開放性，來滿足不同的需求。DataWorks除了0代碼生成數(shù)據(jù)服務(wù)API的能力，還提供了整套開放平臺(tái)能力，包含OpenAPI、開放事件以及擴(kuò)展程序（插件），允許用戶自有系統(tǒng)與DataWorks進(jìn)行深度對(duì)接，以及對(duì)DataWorks的處理流程進(jìn)行自定義，業(yè)務(wù)部門可以自定義數(shù)據(jù)治理需求與應(yīng)用能力。

DataWorks與阿里巴巴集團(tuán)內(nèi)部多個(gè)部門合作，目前各個(gè)事業(yè)部累計(jì)模型表數(shù)超過1萬張，核心表使用人數(shù)提升64%，開放平臺(tái)API日均調(diào)用次數(shù)超過1500萬次，平臺(tái)月活躍小二超過萬人，取得了一定的效果。

小結(jié)

數(shù)據(jù)應(yīng)用提效治理從數(shù)據(jù)建模、數(shù)據(jù)地圖、數(shù)據(jù)分析、數(shù)據(jù)服務(wù)、開放平臺(tái)等方面進(jìn)行多管齊下的治理，展開講的話內(nèi)容非常多，涉及了我們大數(shù)據(jù)平臺(tái)用戶可能使用到的各個(gè)角落，可以說是一個(gè)注重體驗(yàn)的系統(tǒng)性工程。另外面向應(yīng)用，DataWorks還在構(gòu)建一個(gè)數(shù)據(jù)資產(chǎn)平臺(tái)的產(chǎn)品，從使用的維度對(duì)數(shù)據(jù)進(jìn)行更好地整合，方便用戶更高效地使用數(shù)據(jù)。

05-數(shù)據(jù)安全管控治理

當(dāng)有越來越多的人來使用數(shù)據(jù)，那安全管控就會(huì)成為一個(gè)比較頭疼的問題，絕大部分的管控行為就是“反便捷”的，用的人越多，影響越大。不論是阿里巴巴自身還是其他企業(yè)組織的大數(shù)據(jù)體系，在安全管控方面有以下幾個(gè)痛點(diǎn)：

● 存儲(chǔ)量大、用戶種類多：由于數(shù)據(jù)倉庫/數(shù)據(jù)中臺(tái)是集成的、反映歷史變化的，因此注定了企業(yè)的數(shù)據(jù)倉庫集中存儲(chǔ)了各部門、各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，阿里巴巴內(nèi)部的一張寬表動(dòng)輒達(dá)到TB級(jí)別的存儲(chǔ)量、每日新增上百張表與數(shù)百GB是不可避免的事，這些數(shù)據(jù)不僅包含結(jié)構(gòu)化數(shù)據(jù)，也包含非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)。如果我們希望將這些數(shù)據(jù)進(jìn)行精細(xì)化的管理加密，會(huì)導(dǎo)致數(shù)據(jù)分級(jí)分類成本過高、耗時(shí)較長及遺漏的問題。

● 用戶基數(shù)大、用戶種類多：數(shù)據(jù)中臺(tái)是用于服務(wù)企業(yè)決策、日常分析的基礎(chǔ)設(shè)施，在數(shù)據(jù)采集階段，通常由開發(fā)人員配置任務(wù)將數(shù)據(jù)導(dǎo)入至數(shù)倉，加工階段由數(shù)據(jù)工程師進(jìn)行代碼開發(fā)與側(cè)，使用階段則由各類運(yùn)營、分析師通過各類Client來進(jìn)行即席查詢，也包括某些業(yè)務(wù)系統(tǒng)的直接調(diào)用。之前我們提到了，阿里巴巴，每天有數(shù)萬名員工（包括：開發(fā)、運(yùn)營、分析師、銷售、HR等崗位）以各類方式接入使用數(shù)據(jù)倉庫。如此多的人員授權(quán)就成為了難題，特別是在人員入職、離職、轉(zhuǎn)崗場(chǎng)景，管理員需要花費(fèi)大力氣維護(hù)人員權(quán)限，非常容易出現(xiàn)過度授權(quán)、權(quán)限蠕變等問題。

● 客戶端操作界面多樣性：在使用數(shù)據(jù)倉庫的人員中，部分開發(fā)人員會(huì)通過命令行直連，大多數(shù)人員則是通過可視化界面與自己的認(rèn)證信息連接使用。由于不同數(shù)據(jù)應(yīng)用所提供的服務(wù)、所服務(wù)的群體不一樣，因此某些業(yè)務(wù)團(tuán)隊(duì)會(huì)自行開發(fā)適合自己的客戶端界面以達(dá)到業(yè)務(wù)所需效果。而實(shí)際上授權(quán)過后的操作行為就是不可控的，各界面上的人員操作是否合理、是否符合工作所必需的原則是難以管控的。

● 數(shù)據(jù)流轉(zhuǎn)鏈路復(fù)雜如此復(fù)雜的流轉(zhuǎn)鏈路對(duì)加大了管控某些不合規(guī)數(shù)據(jù)流轉(zhuǎn)行為的難度。

● 結(jié)果數(shù)據(jù)交付：數(shù)倉中最終可用于支撐分析決策的數(shù)據(jù)絕不是通過簡單邏輯就能加工得出的，通常會(huì)涉及多團(tuán)隊(duì)、跨系統(tǒng)、多處理邏輯的交付，常見的數(shù)據(jù)產(chǎn)出邏輯可能涉及通過多個(gè)業(yè)務(wù)團(tuán)隊(duì)的數(shù)據(jù)，需構(gòu)建十多個(gè)層級(jí)、總共上百個(gè)加工任務(wù)的工作流程（DAG）來使用。對(duì)不同團(tuán)隊(duì)的數(shù)據(jù)可用性、完整性管理，成為了企業(yè)安全管理員一項(xiàng)艱巨的挑戰(zhàn)。

之前，阿里巴巴就聯(lián)合中國電子技術(shù)標(biāo)準(zhǔn)化研究院、國家信息安全工程技術(shù)研究中心、中國信息安全測(cè)評(píng)中心等20家業(yè)內(nèi)權(quán)威機(jī)構(gòu)聯(lián)合編寫國家標(biāo)準(zhǔn)DSMM（數(shù)據(jù)安全能力成熟度模型），可讓企業(yè)更清楚自身數(shù)據(jù)安全水位，并采取有效措施提升數(shù)據(jù)安全防護(hù)能力，從而有效保護(hù)消費(fèi)者的數(shù)據(jù)安全。目前，以DSMM為抓手，在阿里生態(tài)內(nèi)進(jìn)行數(shù)據(jù)安全治理實(shí)踐，對(duì)生態(tài)企業(yè)根據(jù)其數(shù)據(jù)安全能力進(jìn)行分層管理，實(shí)現(xiàn)業(yè)務(wù)與安全掛鉤，促進(jìn)生態(tài)企業(yè)主動(dòng)提升數(shù)據(jù)安全能力，接下來我們將會(huì)介紹一下在DataWorks平臺(tái)層面一些安全管控經(jīng)驗(yàn)。

● 梳理敏感數(shù)據(jù)資產(chǎn)清單并分級(jí)分類

數(shù)據(jù)安全治理的第一要?jiǎng)?wù)是梳理資產(chǎn)并對(duì)其進(jìn)行分級(jí)分類，這已經(jīng)成了數(shù)據(jù)安全行業(yè)的共識(shí)。面對(duì)PB級(jí)別龐大、每日新增的數(shù)據(jù)，人肉梳理是不現(xiàn)實(shí)的，因此我們會(huì)在“數(shù)據(jù)保護(hù)傘“上基于名稱匹配、正則匹配、行業(yè)AI分級(jí)分類模板來配置數(shù)據(jù)識(shí)別規(guī)則，通過這種智能化的方式，可以快速發(fā)現(xiàn)敏感數(shù)據(jù)并進(jìn)行打標(biāo)。另外，除了一些表數(shù)據(jù)，數(shù)據(jù)安全還包含了一些類似數(shù)據(jù)源、任務(wù)、規(guī)則等非數(shù)據(jù)類的敏感數(shù)據(jù)，也是需要在梳理的范圍之類，很多數(shù)據(jù)安全事件往往來源于這些非數(shù)據(jù)類資產(chǎn)的違規(guī)操作。

● 建設(shè)安全能力并選定安全控制：

基于各類法律法規(guī)的合規(guī)要求，我們建設(shè)了“識(shí)別->防護(hù)->檢測(cè)->響應(yīng)”各階段的數(shù)據(jù)安全技術(shù)工具能力，這些能力也會(huì)同時(shí)覆蓋數(shù)據(jù)安全防護(hù)全生命周期，接下來我們會(huì)介紹幾種典型的數(shù)據(jù)安全治理場(chǎng)景。

1、角色劃分與權(quán)限控制

為了方便使用，DataWorks提供了多種方式，例如平臺(tái)內(nèi)置了分析師、數(shù)據(jù)開發(fā)、運(yùn)維等角色，基于角色的常見職責(zé)，分配角色后會(huì)直接賦予一些該角色的常見權(quán)限，不需要再逐個(gè)勾選。那基于一些特殊的定制化權(quán)限，我們也提供了OpenAPI的形式進(jìn)行自動(dòng)化地授權(quán)，實(shí)現(xiàn)人員自動(dòng)添加/自動(dòng)授權(quán)/按需申請(qǐng)權(quán)限，讓團(tuán)隊(duì)內(nèi)分權(quán)管理、各司其職，規(guī)范化開展數(shù)據(jù)生產(chǎn)開發(fā)流程。同時(shí)，針對(duì)一些敏感數(shù)據(jù)，還可以自定義審批流，進(jìn)行訪問控制，例如L1數(shù)據(jù)僅審批到表Owner、L2數(shù)據(jù)審批到部門安全負(fù)責(zé)人，L3數(shù)據(jù)審批到CIO等管理層。

2、數(shù)據(jù)脫敏

雖然有些人已經(jīng)申請(qǐng)了表的權(quán)限，但是針對(duì)一些敏感數(shù)據(jù)，我們還需要開啟更高級(jí)別的保護(hù)。例如數(shù)據(jù)脫敏功能可以針對(duì)已經(jīng)識(shí)別的敏感數(shù)據(jù)，進(jìn)行格式加密、掩蓋、HASH加密、字符替換區(qū)間變換、取整、置空等多種方式，這樣我們就可以實(shí)現(xiàn)敏感數(shù)據(jù)的去標(biāo)識(shí)化（脫敏），達(dá)到保護(hù)的目的。

3、AI風(fēng)險(xiǎn)識(shí)別模型

風(fēng)險(xiǎn)行為肯定不止查數(shù)據(jù)這種行為，DataWorks內(nèi)置了AI數(shù)據(jù)風(fēng)險(xiǎn)行為治理，基于智能UEBA引擎配置各類風(fēng)險(xiǎn)規(guī)則，采集分析用戶行為并智能判斷各類諸如惡意數(shù)據(jù)訪問、惡意數(shù)據(jù)導(dǎo)出、高危變更行為是否需以告警、阻斷、審批等操作進(jìn)行響應(yīng)。在此階段，我們會(huì)配置諸如數(shù)據(jù)大規(guī)模查詢展示/復(fù)制/下載、數(shù)據(jù)DROP/DELETE/UPDATE、單位時(shí)間數(shù)據(jù)操作偏離、導(dǎo)出大量敏感數(shù)據(jù)、高敏感查詢條件、事件發(fā)生時(shí)間異常、數(shù)據(jù)服務(wù)API發(fā)布、數(shù)據(jù)跨域同步等阻斷或?qū)徟?guī)則，以此來防范人員因蓄意或安全意識(shí)缺乏、誤判而導(dǎo)致的不合理行為、風(fēng)險(xiǎn)、損失。

數(shù)據(jù)安全治理成效

在上述相關(guān)治理動(dòng)作落地后，我們?cè)诤弦?guī)、攻防、降本提效方面都取得了明顯成效。

● 滿足國內(nèi)包括但不限于等保2.0的所有安全測(cè)評(píng)。

● 每日自動(dòng)化發(fā)現(xiàn)敏感記錄值、核心表訪問流轉(zhuǎn)風(fēng)險(xiǎn)。

● 100%釋放用于數(shù)據(jù)梳理、分級(jí)分類、風(fēng)險(xiǎn)發(fā)現(xiàn)的巨大人力。

小結(jié)

數(shù)據(jù)安全治理的需求多數(shù)來源于由于法律法規(guī)的要求，以及大數(shù)據(jù)平臺(tái)用戶增加帶來的安全風(fēng)險(xiǎn)，而管控和效率絕大部分時(shí)候又是相背的。所以在安全治理的時(shí)候，我們不僅僅在平臺(tái)基礎(chǔ)能力上要滿足各類安全合規(guī)的要求，同時(shí)需要提供類似敏感數(shù)據(jù)智能識(shí)別與分類分級(jí)、智能風(fēng)險(xiǎn)行為識(shí)別、自定義安全審批等一系列平臺(tái)能力，盡量減少用戶的使用成本，提高管控效率。

06-數(shù)據(jù)成本治理

最后終于講到了成本治理，其實(shí)如果有仔細(xì)看前面幾個(gè)場(chǎng)景的實(shí)踐的話，會(huì)發(fā)現(xiàn)多多少少也有很多成本治理的事情或者效果在里面。就像我們?cè)谇懊媸崂砥髽I(yè)大數(shù)據(jù)發(fā)展階段的時(shí)候說過，降本的需求往往在成熟階段產(chǎn)生，并且同時(shí)包含了前面幾個(gè)階段需要做的事情，企業(yè)在有降本需求的時(shí)候，不妨可以先回顧下前面幾個(gè)階段，我們是否做的足夠充分，例如當(dāng)前的成本高企，或許是因?yàn)榈谝浑A段堆疊了過多的人肉，又或許是因?yàn)榈诙A段各種人員無序使用資源

從我們的觀點(diǎn)來看，成本治理的方案核心主要包含了以下三個(gè)部分。

● 治技合一

這里的“技”包含了技術(shù)平臺(tái)與技術(shù)人員，成本治理的目標(biāo)絕不僅僅是下線幾臺(tái)機(jī)器，通用技術(shù)平臺(tái)的構(gòu)建至關(guān)重要。例如DataWorks這種工具型產(chǎn)品，主要是服務(wù)技術(shù)人員，提升工作效率。這里的“降本”，可以把它等同于“提效”，讓1個(gè)人能做更多的工作，也是降本的一種方式。關(guān)于成本治理的理念、方法、流程，我們都通過產(chǎn)品技術(shù)平臺(tái)的方式內(nèi)置，將用戶關(guān)注的各項(xiàng)維度的治理方法流程化提供，在研發(fā)同學(xué)完成數(shù)據(jù)開發(fā)的過程時(shí)，就完成了數(shù)據(jù)治理，并且能提升各個(gè)環(huán)節(jié)參與治理的研發(fā)同學(xué)的治理技能與治理效率。所以，我們的治理一定要沉淀成企業(yè)通用的技術(shù)資產(chǎn)，從而提升技術(shù)人員的治理能力與效率，達(dá)到治技合一。

● 全鏈路數(shù)據(jù)治理

基于平臺(tái)之上，我們構(gòu)建全鏈路的數(shù)據(jù)治理能力，從數(shù)據(jù)生產(chǎn)到數(shù)據(jù)消費(fèi)的每個(gè)環(huán)節(jié)，我們都會(huì)針對(duì)每個(gè)環(huán)節(jié)的具體問題進(jìn)行相應(yīng)維度、相應(yīng)問題項(xiàng)的定義，完成針對(duì)性的成本治理優(yōu)化。每個(gè)鏈路上微小的優(yōu)化，才能實(shí)現(xiàn)整體成本的不斷降低。

● 組織設(shè)計(jì)與常態(tài)運(yùn)營

最后我們需要各類組織架構(gòu)、規(guī)章制度、運(yùn)營活動(dòng)來不斷推動(dòng)數(shù)據(jù)治理工作在內(nèi)部落地。在阿里巴巴內(nèi)部，我們常用存儲(chǔ)健康分、計(jì)算健康分等指標(biāo)，發(fā)起集團(tuán)各團(tuán)隊(duì)數(shù)據(jù)治理戰(zhàn)役，圍繞健康分為核心指標(biāo)，推動(dòng)人做數(shù)據(jù)治理和管理。大家在各類培訓(xùn)、比武中，不斷展示、學(xué)習(xí)各類不同的數(shù)據(jù)治理場(chǎng)景，讓我們的數(shù)據(jù)治理工作可量化，持續(xù)化進(jìn)行。

成本治理策略分析

成本治理大的目的都是推動(dòng)以“更低成本”換取“更高”的最終業(yè)務(wù)價(jià)值。這里的成本同時(shí)包含了人與機(jī)器，這也是我們一直在強(qiáng)調(diào)的成本治理不要僅僅關(guān)注機(jī)器的成本，例如我們用3個(gè)人，能完成原本5個(gè)人的工作，這種提效也是一種降本的形態(tài)。回到技術(shù)人員關(guān)心的具體要做的事情上，成本治理的策略主要可以關(guān)注三個(gè)層面，

● 基礎(chǔ)設(shè)施

主要指傳統(tǒng)的機(jī)房形式，涉及硬件的采購、選型、優(yōu)化等等，這里大部分工作一般由阿里云負(fù)責(zé)，不需要我們投入太多精力。

● 引擎能力

主要涉及存儲(chǔ)與計(jì)算能力的優(yōu)化，例如提高存儲(chǔ)的效率，壓縮比，提高單位計(jì)算的能力，提高分布式調(diào)度的能力等等。

● 平臺(tái)能力

主要涉及工具平臺(tái)，例如高效地進(jìn)行數(shù)據(jù)開發(fā)，將各類治理策略平臺(tái)化，快速發(fā)現(xiàn)、解決、量化各類數(shù)據(jù)治理的問題。

這些動(dòng)作最終是為了實(shí)現(xiàn)我們成本治理的業(yè)務(wù)價(jià)值，例如整體集團(tuán)節(jié)省了多少成本，某個(gè)事業(yè)部達(dá)成了多少的降本目標(biāo)，某個(gè)業(yè)務(wù)板塊的ROI等等，接下來，我們將重點(diǎn)針對(duì)引擎能力和平臺(tái)能力做詳細(xì)的介紹。

引擎降本-MaxCompute&Hologres

首先我們提到對(duì)于引擎?zhèn)鹊慕当?，是要向核心技術(shù)要紅利。DataWorks在阿里巴巴集團(tuán)結(jié)合阿里云ODPS一體化大數(shù)據(jù)智能計(jì)算平臺(tái)能力，不斷突破性價(jià)比世界記錄，滿足多元化數(shù)據(jù)計(jì)算需求。阿里云ODPS（OpenData Platform and Service）自2009年開始建設(shè)至今，提供規(guī)?；坑?jì)算、實(shí)時(shí)交互式計(jì)算、流式計(jì)算等可擴(kuò)展的智能計(jì)算引擎，是目前中國最早自研，應(yīng)用范圍最大，能同時(shí)支持超過10萬臺(tái)服務(wù)器并行計(jì)算的大數(shù)據(jù)智能計(jì)算平臺(tái)。其中大規(guī)模計(jì)算批量引擎MaxCompute在TPCx-BigBench-100TB測(cè)試中，連續(xù)6年穩(wěn)定全球冠軍，2022年，MaxCompute評(píng)測(cè)結(jié)果性能較2021年提升40%，同時(shí)成本下降近30%。實(shí)時(shí)交互式計(jì)算引擎Hologres在2022年TPC-H 30000GB性能評(píng)測(cè)中，獲得世界第一，超過原世界記錄23%。

這些記錄背后是ODPS持續(xù)13年深耕自研技術(shù)的成果，ODPS-MaxCompute基于盤古存儲(chǔ)，提供高性能的存儲(chǔ)引擎，存儲(chǔ)成本比Apache ORC和Parquet節(jié)約20%和33%存儲(chǔ)空間，計(jì)算效率對(duì)比Apache ORC和Parquet分別有30%和40%的性能提升。伏羲大規(guī)模分布式調(diào)度系統(tǒng)在全區(qū)域數(shù)據(jù)排布、去中心化調(diào)度、在線離線混合部署、動(dòng)態(tài)計(jì)算等方面全方位滿足新業(yè)務(wù)場(chǎng)景下的調(diào)度需求，在單日任務(wù)量千萬級(jí)、單日計(jì)算量EB級(jí)的壓力下，保障了基線全部按時(shí)產(chǎn)出。強(qiáng)大的高性能SQL計(jì)算引擎完整支持標(biāo)準(zhǔn)SQL(TPC-DS 100%兼容)且支持Hive/Spark兼容，一套SQL引擎支持離線、近實(shí)時(shí)分析、交互式分析場(chǎng)景，TPC-H指標(biāo)上領(lǐng)先Spark 3X以上。ODPS-MaxCompute連續(xù)六次突破性能/成本世界記錄，也是釋放云上技術(shù)紅利的最佳詮釋之一。

ODPS-MaxCompute在2022年全新發(fā)布了彈性CU能力，在過去預(yù)留 CU 的基礎(chǔ)上，可以設(shè)置不同的彈性策略，選擇指定時(shí)間段的彈性規(guī)格。一方面降低使用成本，避免過去為了高峰期的執(zhí)行效率，預(yù)留較多 CU，在低峰期浪費(fèi)資源的情況，通過彈性實(shí)現(xiàn)削峰填谷。例如原先為了保障資源穩(wěn)定性，購買100CU包年包月資源，但是這100CU使用效率是不一樣的，凌晨高峰期使用率高，白天使用率低，資源有一定浪費(fèi)。彈性CU的方式可以購買更多的分時(shí)彈性CU資源，例如高峰期300CU，低峰期50CU，實(shí)現(xiàn)資源的彈性分配?；谠劝戳扛顿M(fèi)以及包年包月形式，ODPS-MaxCompute彈性CU可以讓整體成本再降低25%，多種靈活的資源使用方式帶來TCO的最低。

在傳統(tǒng)的數(shù)據(jù)架構(gòu)中，分為離線、實(shí)時(shí)、在線三種鏈路。

● 通過如Hive，Spark，MaxCompute等離線加工引擎處理大規(guī)模數(shù)據(jù)

● 通過如Flink、Spark Streaming等流式加工技術(shù)來實(shí)現(xiàn)計(jì)算前置，并將計(jì)算結(jié)果保存在HBase、Redis等系統(tǒng)提供快速訪問

● 通過Clickhouse、Druid等實(shí)時(shí)系統(tǒng)，計(jì)算規(guī)模不如離線，但交互式分析能力比離線統(tǒng)計(jì)更靈活，支持?jǐn)?shù)據(jù)的實(shí)時(shí)寫入，以數(shù)據(jù)接近源時(shí)的狀態(tài)直接靈活分析。這種紛繁蕪雜的復(fù)雜架構(gòu)帶來的是極高的維護(hù)成本與技術(shù)成本。

這三種鏈路對(duì)應(yīng)不同的技術(shù)架構(gòu)及存儲(chǔ)引擎，數(shù)據(jù)產(chǎn)生了割裂，割裂之后還需要補(bǔ)充聯(lián)邦查詢技術(shù)，對(duì)外提供一個(gè)統(tǒng)一的查詢?nèi)肟?，但是?shù)據(jù)散布在不同的系統(tǒng)里面，也許可以解決統(tǒng)一數(shù)據(jù)界面的問題，但性能和一致性很難保證，性能上聯(lián)邦查詢是和最慢的執(zhí)行過程對(duì)齊，一致性上一個(gè)源頭多條鏈路，加工邏輯很難保證處處一致，日常數(shù)據(jù)偏差和核對(duì)工作量很大。

ODPS-Hologres提供高性能的實(shí)時(shí)交互式計(jì)算引擎，基于一站式實(shí)時(shí)數(shù)倉的HSAP（Hybrid Serving & Analytical Processing，分析服務(wù)一體化）理念，同時(shí)滿足OLAP分析、點(diǎn)查、交互式查詢等多種實(shí)時(shí)需求。

● 在離線方面，通過統(tǒng)一存儲(chǔ)，統(tǒng)一調(diào)度、統(tǒng)一元數(shù)據(jù)、和MaxCompute無縫打通，數(shù)據(jù)無需導(dǎo)出至Hologres，實(shí)現(xiàn)離線實(shí)時(shí)一體化架構(gòu)。

● 在實(shí)時(shí)與在線部分，Hologres在存儲(chǔ)層，既支持批量數(shù)據(jù)的導(dǎo)入，也支持在線的實(shí)時(shí)寫入與更新，不管是離線的數(shù)據(jù)還是實(shí)時(shí)的數(shù)據(jù)都可以存儲(chǔ)在一個(gè)系統(tǒng)，在服務(wù)層，支持多種負(fù)載，保證了高性能的在線點(diǎn)查應(yīng)用，也支持靈活的多維分析，提供統(tǒng)一數(shù)據(jù)服務(wù)層，減少數(shù)據(jù)割裂。

通過這種全新的方式，Hologres將傳統(tǒng)的離線、實(shí)時(shí)、在線三種鏈路進(jìn)行最大的簡化，通過1.3億TPS寫入，億級(jí)數(shù)據(jù)亞秒級(jí)查詢，打破TPC-H世界記錄的極致性能，實(shí)現(xiàn)成本與性能的平衡。

2022年，Hologres發(fā)布一主多從的模式，通過共享存儲(chǔ)再次降低實(shí)時(shí)數(shù)倉的成本，共享存儲(chǔ)實(shí)時(shí)高可用，多Region部署數(shù)據(jù)自動(dòng)復(fù)制，秒級(jí)災(zāi)備，當(dāng)指定一個(gè)實(shí)例是寫實(shí)例時(shí)，其他實(shí)例就是讀實(shí)例，當(dāng)寫實(shí)例寫好之后，其他實(shí)例實(shí)時(shí)可見做到了數(shù)據(jù)一致性。并且彈性計(jì)算層的實(shí)例實(shí)現(xiàn)物理隔離，當(dāng)寫入實(shí)例宕機(jī)后，不會(huì)影響只讀實(shí)例。

小結(jié)

引擎降本核心是向技術(shù)要紅利，不斷突破技術(shù)的極限。阿里云ODPS（OpenData Platform and Service）自2009年開始建設(shè)至今，提供規(guī)模化批量計(jì)算、實(shí)時(shí)交互式計(jì)算、流式計(jì)算等可擴(kuò)展的智能計(jì)算引擎，是目前中國最早自研，應(yīng)用范圍最大，能同時(shí)支持超過10萬臺(tái)服務(wù)器并行計(jì)算的大數(shù)據(jù)智能計(jì)算平臺(tái)。

平臺(tái)降本-DataWorks數(shù)據(jù)治理中心

有了良好的基礎(chǔ)設(shè)施和引擎體系，再往研發(fā)平臺(tái)和研發(fā)過程走一層，就是面向我們的成本治理目標(biāo)的治理策略的落地，其實(shí)就是圍繞著我們實(shí)際多角色、多業(yè)務(wù)、持續(xù)增長的數(shù)據(jù)需求帶來的數(shù)據(jù)治理工作了。

● 業(yè)務(wù)高速增長往往配套著計(jì)算存儲(chǔ)成本的增長，而當(dāng)面對(duì)計(jì)算存儲(chǔ)的擴(kuò)容需求時(shí)，數(shù)據(jù)治理組、業(yè)務(wù)數(shù)據(jù)治理組、財(cái)務(wù)等多個(gè)團(tuán)隊(duì)，需要有一個(gè)通用的衡量標(biāo)準(zhǔn)，來判斷是否是滿足正常業(yè)務(wù)需求增長所需的資源消耗，還是存在大量資源使用不合理和浪費(fèi)現(xiàn)象。

● 而對(duì)于技術(shù)團(tuán)隊(duì)來說，如果要進(jìn)行面向成本領(lǐng)域的數(shù)據(jù)治理工作，那到底是業(yè)務(wù)領(lǐng)域的研發(fā)團(tuán)隊(duì)需要重點(diǎn)投入，哪些團(tuán)隊(duì)來負(fù)責(zé)治理效果，具體落實(shí)治理動(dòng)作的責(zé)任人是誰，通過哪些措施和動(dòng)作真正最大程度地提升了治理效果，獲取了更高的業(yè)務(wù)ROI，這也需要有一個(gè)衡量標(biāo)準(zhǔn)來定義治理的效果。

DataWorks數(shù)據(jù)治理中心提供了數(shù)據(jù)治理的量化評(píng)估、數(shù)據(jù)治理問題自動(dòng)發(fā)現(xiàn)和預(yù)防，數(shù)據(jù)治理問題快速處理等能力，將書面的數(shù)據(jù)治理規(guī)范落地成平臺(tái)化的產(chǎn)品能力，讓數(shù)據(jù)治理不再一個(gè) “階段性項(xiàng)目”，而是一個(gè)“可持續(xù)的運(yùn)營項(xiàng)目”。

在阿里巴巴內(nèi)部，我們做數(shù)據(jù)治理的時(shí)候，經(jīng)常會(huì)參考一個(gè)健康分的概念。對(duì)于某個(gè)BU來說，比如我們今年的目標(biāo)之一，就是把健康分從60分干到80分。健康分涉及的治理領(lǐng)域有計(jì)算、存儲(chǔ)、研發(fā)、質(zhì)量、安全等各個(gè)方面，圍繞這些領(lǐng)域會(huì)形成具體的治理策略與方法，這些策略和方法有些事集團(tuán)統(tǒng)一的規(guī)定，有些是部門基于自己的業(yè)務(wù)情況自己制定的，但基本也都是圍繞分析、診斷、定位、優(yōu)化、評(píng)估、建議等流程來進(jìn)行。

這里面如果涉及產(chǎn)品化的需求就會(huì)提給DataWorks團(tuán)隊(duì)，例如治理中心、治理工作臺(tái)、健康分等等。大家一起共同建設(shè)治理平臺(tái)，DataWorks上很多數(shù)據(jù)治理的能力，也離不開我們這么多兄弟團(tuán)隊(duì)給我們提供的建議。圍繞健康分這種考核指標(biāo)，各個(gè)團(tuán)隊(duì)就會(huì)有一個(gè)統(tǒng)一的衡量標(biāo)準(zhǔn)，大家可以往一個(gè)目標(biāo)共同努力，從組織層面，這也是健康分非常重要的價(jià)值。

DataWorks數(shù)據(jù)治理中心的健康分是依據(jù)數(shù)據(jù)資產(chǎn)在數(shù)據(jù)生產(chǎn)、數(shù)據(jù)流通及數(shù)據(jù)管理中的用戶行為、數(shù)據(jù)特性、任務(wù)性質(zhì)等元數(shù)據(jù)，用數(shù)據(jù)處理及機(jī)器學(xué)習(xí)等技術(shù)，對(duì)各類型數(shù)據(jù)進(jìn)行綜合處理和評(píng)估，在個(gè)人、工作空間的維度客觀呈現(xiàn)數(shù)據(jù)資產(chǎn)狀態(tài)的綜合分值。健康分體系，以元數(shù)據(jù)建設(shè)為依托，建設(shè)集“存儲(chǔ)、計(jì)算、研發(fā)、質(zhì)量和安全”的五大健康度領(lǐng)域，構(gòu)建“存儲(chǔ)健康分、計(jì)算健康分、研發(fā)健康分、質(zhì)量健康分和安全健康分”五大健康分指標(biāo)。

健康分的分值范圍為0至100，分值越大代表數(shù)據(jù)資產(chǎn)的健康度越好，較高的健康度可以幫助用戶更放心、更高效、更穩(wěn)定的使用數(shù)據(jù)，保障數(shù)據(jù)生產(chǎn)和業(yè)務(wù)運(yùn)轉(zhuǎn)。

而數(shù)據(jù)治理專家梳理日常通過人肉治理的問題和邏輯，沉淀為DataWorks數(shù)據(jù)治理中心的數(shù)據(jù)治理項(xiàng)，并在數(shù)據(jù)治理中心定義對(duì)應(yīng)治理領(lǐng)域，讓治理項(xiàng)落入對(duì)應(yīng)領(lǐng)域進(jìn)行綜合評(píng)分，同時(shí)還進(jìn)行：

● 在治理的過程中，不斷豐富完善治理領(lǐng)域：比如在集團(tuán)內(nèi)部實(shí)踐時(shí)，治理過程也是逐步迭代和專項(xiàng)拓展的。首期成本治理階段，治理小組先選擇「存儲(chǔ)」治理維度進(jìn)行攻堅(jiān)，將基于目標(biāo)治理業(yè)務(wù)中，關(guān)于「存儲(chǔ)」維度相關(guān)的高ROI的存儲(chǔ)治理項(xiàng)，進(jìn)行規(guī)則定義和治理檢查。

比如，數(shù)據(jù)治理中心需要針對(duì)數(shù)據(jù)表要求用戶進(jìn)行存儲(chǔ)生命周期管理，不使用和訪問的數(shù)據(jù)需要及時(shí)回收，釋放存儲(chǔ)空間。那首先定義存儲(chǔ)管理是否進(jìn)行，最明顯的識(shí)別方式，即為是否為產(chǎn)出的數(shù)據(jù)表設(shè)置了生命周期，進(jìn)而，在設(shè)置了生命周期的基礎(chǔ)上，則需要判斷設(shè)置的生命周期值是否合理，是否過度保存了項(xiàng)目空間中的無用數(shù)據(jù)。針對(duì)這幾種情況，治理專家和平臺(tái)側(cè)，定義治理項(xiàng)及對(duì)應(yīng)口徑，并沉淀優(yōu)化治理規(guī)則，比如：

1. 未管理數(shù)據(jù)表：未設(shè)置生命周期的分區(qū)表進(jìn)行識(shí)別，當(dāng)同時(shí)滿足以下條件，數(shù)據(jù)表是分區(qū)表，沒有設(shè)置生命周期，且近30天沒有訪問時(shí)，就命中該治理項(xiàng)，并判定該表為未管理的數(shù)據(jù)表。治理小組也根據(jù)提供對(duì)應(yīng)的處理操作建議，優(yōu)先建議用戶進(jìn)行生命周期的快速設(shè)置。針對(duì)一些需要長期保留的數(shù)據(jù)，也可通過設(shè)置白名單或設(shè)置長生命周期的方式來處理。

2. 無訪問數(shù)據(jù)表：該治理項(xiàng)則是針對(duì)進(jìn)行了初步管理，但是實(shí)際是無用數(shù)據(jù)進(jìn)行識(shí)別。占用了大量存儲(chǔ)但是無下游訪問的數(shù)據(jù)表，通常情況下是僵尸數(shù)據(jù)或者冷數(shù)據(jù)，需要用戶進(jìn)行處理識(shí)別，進(jìn)行合理生命周期設(shè)置，或者進(jìn)行刪除操作。

針對(duì)「存儲(chǔ)」維度進(jìn)行專項(xiàng)治理，通過明確的「治理項(xiàng)」發(fā)現(xiàn)問題，讓資產(chǎn)負(fù)責(zé)人根據(jù)DataWorks數(shù)據(jù)治理中心提供的建議及治理手段完成治理，實(shí)現(xiàn)在存儲(chǔ)維度的健康分提升。

這樣在下個(gè)階段，治理小組可以再進(jìn)行階段性工作的定義和該項(xiàng)領(lǐng)域的治理知識(shí)沉淀、深化，如在實(shí)際實(shí)踐中，在完成首期存儲(chǔ)治理后，治理小組：

1. 重點(diǎn)開始攻堅(jiān)「計(jì)算」維度，定義計(jì)算側(cè)重點(diǎn)關(guān)注的治理項(xiàng)，進(jìn)行落地推動(dòng)，如增加對(duì)「數(shù)據(jù)傾斜」、「暴力掃描」的計(jì)算任務(wù)識(shí)別，逐步分析完成每階段的成本優(yōu)化工作的推進(jìn)，以及最終成本節(jié)省效果的統(tǒng)計(jì)；

2. 深化「存儲(chǔ)」維度，增加對(duì)「空表」「90天內(nèi)無讀取使用表」等治理項(xiàng)，供下階段治理計(jì)劃識(shí)別，減少該類無效數(shù)據(jù)對(duì)于數(shù)據(jù)成本、數(shù)據(jù)使用的影響；

3. 基于DataWorks數(shù)據(jù)全流程鏈路，平臺(tái)工具化治理能力，并針對(duì)于不同的治理項(xiàng)，提供不同的直接可用的治理手段，并且為了預(yù)防，提供基于各個(gè)過程的提前檢查項(xiàng)。做到從根本上進(jìn)行提前規(guī)約。

當(dāng)治理小組完成對(duì)治理項(xiàng)的制定后，實(shí)際的數(shù)據(jù)表及任務(wù)的責(zé)任人，則成為了最細(xì)粒度的數(shù)據(jù)成本治理的責(zé)任方。在長效機(jī)制上，DataWorks數(shù)據(jù)治理中心以個(gè)人治理的健康分提升，帶動(dòng)全局的持續(xù)治理優(yōu)化，并面向管理員和普通成員提供不同層次的統(tǒng)計(jì)，簡化治理推進(jìn)的難度。當(dāng)前我們?cè)诎⒗镌粕弦呀?jīng)為企業(yè)累計(jì)發(fā)現(xiàn)數(shù)據(jù)治理問題抄過100萬+，數(shù)據(jù)治理問題處理率達(dá)60%，事前治理問題攔截率達(dá)到36%.

小結(jié)

平臺(tái)工具層以數(shù)據(jù)治理健康分為抓手，從存儲(chǔ)、計(jì)算、研發(fā)、質(zhì)量、安全等五個(gè)維度給出評(píng)估與治理方案，幫助用戶更快地發(fā)現(xiàn)并處理各類數(shù)據(jù)治理問題，引導(dǎo)用戶逐步進(jìn)行數(shù)據(jù)治理建設(shè)，將“書面化”的數(shù)據(jù)治理規(guī)范落地成“主動(dòng)式、可量化、可持續(xù)”的全鏈路數(shù)據(jù)治理。

07-數(shù)據(jù)治理組織架構(gòu)及文化建設(shè)

剛才說的大部分和技術(shù)相關(guān)一些，但是對(duì)于數(shù)據(jù)治理來說，人與技術(shù)同樣重要。相比與以前專注與技術(shù)本身，數(shù)據(jù)治理和其他團(tuán)隊(duì)的協(xié)同關(guān)系更強(qiáng)，更需要一個(gè)緊密、完善的組織不斷去計(jì)劃、實(shí)施、優(yōu)化數(shù)據(jù)治理的工作。

數(shù)據(jù)治理組織架構(gòu)設(shè)計(jì)

阿里的數(shù)據(jù)治理組織架構(gòu)分為三層，整個(gè)架構(gòu)的整體好處，是保證工作總體目標(biāo)和方法統(tǒng)一，各領(lǐng)域的子目標(biāo)服從與所屬的業(yè)務(wù)部門，并且能夠貼近業(yè)務(wù)。包含

● 數(shù)據(jù)專業(yè)委員會(huì)。屬于整個(gè)集團(tuán)層面，主要是從宏觀層面上的職能確認(rèn)。CDO為該組織的牽頭負(fù)責(zé)人，作為多個(gè)大部門共同執(zhí)行落地的組織背書方。

● 數(shù)據(jù)治理專題小組。從屬于集團(tuán)專業(yè)委員會(huì)下，更專注于數(shù)據(jù)治理本身命題的，則是數(shù)據(jù)治理專題組：制定數(shù)據(jù)治理規(guī)范，協(xié)調(diào)各團(tuán)隊(duì)目標(biāo)與進(jìn)度，沉淀各類治理實(shí)踐，組織數(shù)據(jù)治理運(yùn)營等各項(xiàng)工作。

● 數(shù)據(jù)治理團(tuán)隊(duì)。各個(gè)功能部門下的領(lǐng)域數(shù)據(jù)治理部門，有專注于平臺(tái)工具建設(shè)的數(shù)據(jù)平臺(tái)團(tuán)隊(duì)、有專注自身業(yè)務(wù)領(lǐng)域下的對(duì)口業(yè)務(wù)數(shù)據(jù)治理團(tuán)隊(duì)、還有其他協(xié)同的財(cái)務(wù)、法務(wù)、安全團(tuán)隊(duì)，這些團(tuán)隊(duì)都有專人加入整個(gè)數(shù)據(jù)治理的工作中，以財(cái)年和季度為時(shí)間周期，確定各階段的治理工作目標(biāo)。

最終整個(gè)組織需要完成幾件事情：

1. 不斷持續(xù)迭代企業(yè)級(jí)治理規(guī)范：如，阿里巴巴數(shù)據(jù)資產(chǎn)治理規(guī)范，隨著業(yè)務(wù)的訴求和實(shí)際積累經(jīng)驗(yàn)不斷修訂與迭代；

2. 定期確定企業(yè)級(jí)和業(yè)務(wù)級(jí)的治理目標(biāo)，確認(rèn)年度/季度的總體目標(biāo)和分拆目標(biāo)，建立使用資產(chǎn)健康分作為集團(tuán)統(tǒng)一普查衡量標(biāo)準(zhǔn)，進(jìn)行短期和長期的標(biāo)準(zhǔn)評(píng)估方式，統(tǒng)一各方認(rèn)知，降低溝通消耗。

3. 不斷配合治理目標(biāo)達(dá)成的同時(shí)，也需要降低數(shù)據(jù)治理的成本，配套確認(rèn)長期性、常態(tài)化的策略、工具、文化的建設(shè)內(nèi)容和配合方式。

數(shù)據(jù)治理文化的建設(shè)

互聯(lián)網(wǎng)公司本身是一個(gè)注重運(yùn)營的企業(yè)。而成本治理過程本身，也是在幫助企業(yè)建立對(duì)數(shù)據(jù)資產(chǎn)的一種運(yùn)營，通過對(duì)計(jì)算資源、存儲(chǔ)資源、計(jì)算過程、治理人員、治理過程、業(yè)務(wù)產(chǎn)出都作為運(yùn)營內(nèi)容的一種，來實(shí)現(xiàn)最終業(yè)務(wù)價(jià)值的最大化。數(shù)據(jù)治理的建設(shè)目標(biāo)是期望建立是一個(gè)通用框架，主動(dòng)式治理、各個(gè)業(yè)務(wù)方可擴(kuò)展，不影響業(yè)務(wù)的情況下，同樣能推動(dòng)業(yè)務(wù)方完成數(shù)據(jù)治理，真正各方實(shí)現(xiàn)獲益。

針對(duì)于我們本身的數(shù)據(jù)團(tuán)隊(duì)人員的數(shù)據(jù)專業(yè)技能+職業(yè)素養(yǎng)能多階梯的上升，也是適應(yīng)日新月異的治理需求，現(xiàn)代化的云產(chǎn)品開發(fā)、財(cái)務(wù)管理、人才培養(yǎng)的的對(duì)應(yīng)手段。所以治理文化的建設(shè)在我們內(nèi)部實(shí)踐時(shí)，也是一個(gè)非常重要的環(huán)節(jié)。它是讓能夠持續(xù)進(jìn)行數(shù)據(jù)治理運(yùn)營，讓數(shù)據(jù)治理成為常態(tài)化工作的組成部分。例如治理大比武、治理培訓(xùn)、月刊/季刊/考試、部門預(yù)算管理、治理評(píng)選與激勵(lì)。

● 治理培訓(xùn)。數(shù)據(jù)治理專題小組通過數(shù)據(jù)大學(xué)，制定一套通用的數(shù)據(jù)治理課程，分享一些通用的體系、規(guī)范、工具的課程，參與培訓(xùn)后還可以參加考試認(rèn)證。

● 治理大比武。數(shù)據(jù)治理專題小組發(fā)起各事業(yè)部大比武評(píng)比活動(dòng)，從數(shù)字結(jié)果、長期價(jià)值、團(tuán)隊(duì)合作、個(gè)人成長等各個(gè)方面進(jìn)行PK和評(píng)選。有些事業(yè)部可能關(guān)心計(jì)算成本，有些關(guān)心穩(wěn)定性、有些關(guān)心規(guī)范，項(xiàng)目類型豐富，也是一個(gè)非常適合大家互相交流學(xué)習(xí)的場(chǎng)合。

三、總結(jié)

通過以上的數(shù)據(jù)治理場(chǎng)景實(shí)踐，我們可以看到，數(shù)據(jù)治理平臺(tái)的建設(shè)不是一蹴而就的，是通過長時(shí)間的積累進(jìn)行逐步演進(jìn)的，DataWorks在阿里巴巴十幾年大數(shù)據(jù)建設(shè)中沉淀了數(shù)百項(xiàng)核心能力，從全鏈路上，主要包含了智能數(shù)據(jù)建模、全域數(shù)據(jù)集成、高效數(shù)據(jù)生產(chǎn)、主動(dòng)數(shù)據(jù)治理、全面數(shù)據(jù)安全、快速分析服務(wù)等能力，其中還有眾多細(xì)節(jié)受限于篇幅無法一一講述，例如一般的運(yùn)維只提供成功、失敗兩種狀態(tài)，DataWorks提供了運(yùn)行慢、等資源等多種分析結(jié)果，甚至做到了孤立節(jié)點(diǎn)、成環(huán)節(jié)點(diǎn)這種非常精細(xì)的狀態(tài)治理，這些都是在每個(gè)場(chǎng)景逐步深入后的成果。

對(duì)于未來的判斷，目前我們可以明顯看到的幾個(gè)數(shù)據(jù)治理趨勢(shì)有：

● 政策法規(guī)不斷完善

國家發(fā)布了各類培育統(tǒng)一的數(shù)據(jù)要素市場(chǎng)指導(dǎo)建議與法律法規(guī)，我們相信未來數(shù)據(jù)產(chǎn)權(quán)制度、流動(dòng)交易制度、收益分配制度、安全治理制度等將不斷完善，指導(dǎo)數(shù)據(jù)治理平臺(tái)在各個(gè)方面不斷補(bǔ)充平臺(tái)能力。

● 開發(fā)治理一體化

先開發(fā)后治理，這個(gè)肯定會(huì)逐步的邁出歷史的舞臺(tái)，所以后續(xù)所有治理工作應(yīng)該事先融入開發(fā)的過程，而不是“先污染后治理”，生產(chǎn)運(yùn)維、生產(chǎn)治理要實(shí)現(xiàn)一體化管理。

● 自動(dòng)化數(shù)據(jù)治理

剛才我們提到的數(shù)據(jù)治理涉及多個(gè)模塊，多個(gè)操作，如果未來我們將模塊與模塊之間，功能與功能之間、操作與操作之間，實(shí)現(xiàn)流程的自動(dòng)化，例如：元數(shù)據(jù)自動(dòng)發(fā)現(xiàn)、自動(dòng)采集、自動(dòng)打標(biāo)、自動(dòng)歸類等，同時(shí)對(duì)應(yīng)匹配一些智能化的數(shù)據(jù)治理策略或者模板，將會(huì)極大提高我們數(shù)據(jù)治理的效率。

DataWorks服務(wù)了阿里巴巴集團(tuán)內(nèi)部所有事業(yè)部，包含天貓、淘寶、1688、速賣通、優(yōu)酷、高德、本地生活、盒馬、菜鳥、釘釘?shù)鹊?，成為各個(gè)事業(yè)部通用的數(shù)據(jù)開發(fā)治理平臺(tái)。同時(shí)還通過阿里云將阿里巴巴數(shù)據(jù)治理的最佳實(shí)踐輸出給云上客戶，目前已經(jīng)服務(wù)的企業(yè)客戶數(shù)已經(jīng)超過1萬家，覆蓋了工業(yè)制造、能源、汽車、金融、零售、政務(wù)、互聯(lián)網(wǎng)等等行業(yè)，既有大型央企、國企、世界500強(qiáng)企業(yè)，也有剛開始創(chuàng)業(yè)1-2年的中小企業(yè)，從平臺(tái)的通用性上，DataWorks可以滿足不同行業(yè)，不同企業(yè)發(fā)展階段的大數(shù)據(jù)開發(fā)治理需求。

● 國家電網(wǎng)大數(shù)據(jù)中心通過DataWorks實(shí)現(xiàn)總部+27家?。ㄊ校┕綪B級(jí)數(shù)據(jù)的統(tǒng)一管理，通過全鏈路數(shù)據(jù)中臺(tái)的治理與監(jiān)測(cè)運(yùn)營體系，加快電網(wǎng)整體數(shù)字化轉(zhuǎn)型升級(jí)。

● 億滋中國作為世界500強(qiáng)零食企業(yè)，通過DataWorks智能數(shù)據(jù)建模進(jìn)行全鏈路的數(shù)據(jù)模型治理，極大提升數(shù)據(jù)中臺(tái)的自服務(wù)能?，讓企業(yè)數(shù)據(jù)決策實(shí)現(xiàn)下放，釋放新零售的數(shù)字化力量。

● 友邦人壽基于阿里云搭建金融數(shù)據(jù)中臺(tái)，承接了10倍業(yè)務(wù)流量的高峰，讓數(shù)據(jù)處理效率提升20倍，企業(yè)整體算力成本節(jié)省達(dá)數(shù)百萬。

● “非洲之王”傳音互聯(lián)有力支撐集團(tuán)互聯(lián)網(wǎng)業(yè)務(wù)，數(shù)據(jù)治理效率提升2-3倍，為集團(tuán)95%以上的業(yè)務(wù)增長賦能，帶領(lǐng)更多中國企業(yè)品牌走向全球新興市場(chǎng)。

● 哪吒汽車逐步完善數(shù)據(jù)治理與數(shù)據(jù)湖能力，依靠穩(wěn)定可靠、性能卓越、彈性擴(kuò)展的大數(shù)據(jù)平臺(tái)，未來將支持超過60萬+量汽車，數(shù)PB級(jí)別的數(shù)據(jù)分析。

● 三七互娛以DataOps理念激活數(shù)據(jù)價(jià)值，建設(shè)自動(dòng)化、敏捷、價(jià)值導(dǎo)向的數(shù)據(jù)體系，解決數(shù)據(jù)獲取難、業(yè)務(wù)響應(yīng)慢、數(shù)據(jù)場(chǎng)景單一等數(shù)據(jù)消費(fèi)的痛點(diǎn)，利用數(shù)據(jù)驅(qū)動(dòng)運(yùn)營精細(xì)化。

● 創(chuàng)夢(mèng)天地基于開源的EMR引擎，用DataWorks替換自研調(diào)度系統(tǒng)，企業(yè)內(nèi)部的技術(shù)人員可以更加專注業(yè)務(wù)，助力游戲行業(yè)的數(shù)據(jù)化運(yùn)營。

數(shù)據(jù)治理是一個(gè)龐大的話題，涉及廣泛，DataWorks作為工具型的產(chǎn)品，不變的是圍繞用戶為中心，讓開發(fā)人員減少低效的重復(fù)勞動(dòng)，全方位提升企業(yè)數(shù)據(jù)效率，為企業(yè)降本增效。如果想了解更多DataWorks及文中相關(guān)產(chǎn)品信息，可以在阿里云官網(wǎng)找到我們。最后，我們也非常感謝集團(tuán)內(nèi)各個(gè)兄弟部門及阿里云上各個(gè)行業(yè)的客戶給我們提供了很多場(chǎng)景與建議，也歡迎與其他專家進(jìn)行深度的交流探討。

DataWorks官網(wǎng)：https://www.aliyun.com/product/bigdata/ide

xiesc