華為云數(shù)據(jù)中臺總架構師龍江發(fā)表演講
龍江介紹,大數(shù)據(jù)時代,企業(yè)積累的數(shù)據(jù)資源越來越多,企業(yè)數(shù)字化運營需要由傳統(tǒng)的煙囪式IT系統(tǒng)向數(shù)據(jù)中臺轉(zhuǎn)型,在轉(zhuǎn)型過程中面臨四大挑戰(zhàn):
挑戰(zhàn)1:獨
當前企業(yè)各個部門都建立了自己的煙囪式IT系統(tǒng)或者獨立的數(shù)據(jù)分析平臺和數(shù)據(jù)倉庫,導致存在大量數(shù)據(jù)孤島和孤立的應用,導致數(shù)據(jù)不共享不流通,無法實現(xiàn)跨領域的數(shù)據(jù)分析和創(chuàng)新。由于缺乏高效運營工具平臺,數(shù)據(jù)開發(fā)周期長,既有數(shù)據(jù)的重復開發(fā),也有數(shù)據(jù)平臺的重復開發(fā),同時也帶來數(shù)據(jù)的重復存儲,造成企業(yè)成本浪費。
挑戰(zhàn)2:缺
企業(yè)普遍缺乏數(shù)據(jù)治理的標準或者數(shù)據(jù)標準不統(tǒng)一,數(shù)據(jù)缺乏治理,數(shù)據(jù)找不到,讀不懂及不可信等。
挑戰(zhàn)3:斷
數(shù)據(jù)理解與數(shù)據(jù)價值鏈條的斷層。數(shù)據(jù)的生產(chǎn)者和數(shù)據(jù)的消費者對數(shù)據(jù)的理解有斷層,例如生產(chǎn)者不知道消費者為什么消費這些數(shù)據(jù),對于數(shù)據(jù)指標背后的商業(yè)邏輯不理解,所以給業(yè)務決策者開發(fā)的數(shù)據(jù)運營報表就會存在數(shù)據(jù)是否可信和指標邏輯是否正確的問題。
挑戰(zhàn)4:難
企業(yè)會遇到知數(shù)據(jù)難、要數(shù)據(jù)難和懂數(shù)據(jù)難的情況,例如企業(yè)不同部門間相互要數(shù)據(jù)難,對于獲取過來的數(shù)據(jù),又不知道數(shù)據(jù)字段的含義,數(shù)據(jù)理解非常難。
華為云智能數(shù)據(jù)湖運營平臺DAYU :一站式高效易用的數(shù)據(jù)治理運營平臺
針對企業(yè)數(shù)字化運營轉(zhuǎn)型面臨的挑戰(zhàn),華為云打造了“智能數(shù)據(jù)湖運營平臺DAYU”——面向企業(yè)數(shù)字化運營訴求,提供一站式、端到端的數(shù)據(jù)中臺解決方案, 在全域數(shù)據(jù)目錄的基礎上,統(tǒng)一數(shù)據(jù)規(guī)范,協(xié)同數(shù)據(jù)開發(fā),優(yōu)化數(shù)據(jù)質(zhì)量,提供數(shù)據(jù)可視化,實現(xiàn)多數(shù)據(jù)源數(shù)據(jù)接入,多類型數(shù)據(jù)遷移,私有云&公有云數(shù)據(jù)湖統(tǒng)一調(diào)度,數(shù)據(jù)開放用于豐富數(shù)據(jù)消費的智能數(shù)據(jù)管理能力,幫助企業(yè)快速構建從數(shù)據(jù)接入到數(shù)據(jù)分析的端到端智能數(shù)據(jù)系統(tǒng),消除數(shù)據(jù)孤島,統(tǒng)一數(shù)據(jù)標準,加快數(shù)據(jù)變現(xiàn),促進數(shù)字化轉(zhuǎn)型。
應對一:行業(yè)模板+運營,一站式構建企業(yè)數(shù)據(jù)中臺,數(shù)據(jù)孤島不再
DAYU平臺通過內(nèi)置行業(yè)數(shù)據(jù)模板及全流程可視化的數(shù)據(jù)開發(fā)治理工具,使能企業(yè)聚焦業(yè)務領域數(shù)據(jù)變現(xiàn)。針對政府、園區(qū)、電力、工業(yè)、零售、汽車等行業(yè),DAYU平臺提供的行業(yè)模板,包含行業(yè)主題數(shù)據(jù)模型、指標庫、數(shù)據(jù)開發(fā)Pipeline、行業(yè)數(shù)據(jù)算子、計算資源智能規(guī)劃等,用戶可一鍵式完成數(shù)據(jù)中臺建設,幫助用戶管好和用好數(shù)據(jù)。
DAYU以可復用的行業(yè)模板,加速數(shù)據(jù)價值發(fā)現(xiàn)流程,提供垂直行業(yè)可復用的領域知識庫,涵蓋行業(yè)數(shù)據(jù)標準、行業(yè)領域模型、行業(yè)數(shù)據(jù)主題庫、行業(yè)算法庫和行業(yè)指標庫,支持智慧政務、智慧稅務、智慧園區(qū)等行業(yè)企業(yè)快速定制數(shù)據(jù)運營端到端解決方案。
在某園區(qū)行業(yè)數(shù)據(jù)中臺場景中,DAYU平臺幫助某地產(chǎn)集團建設智慧園區(qū)數(shù)據(jù)中臺,實現(xiàn)全國百余園區(qū)的人員、車輛、設備、資產(chǎn)、安防綜合態(tài)勢可視化管理、統(tǒng)一調(diào)度指揮、智能決策。
應對二:數(shù)據(jù)規(guī)范設計,基于華為數(shù)據(jù)體系建設方法論沉淀而成,統(tǒng)一數(shù)據(jù)標準
數(shù)據(jù)中臺的核心是要進行數(shù)據(jù)治理,而數(shù)據(jù)治理的核心是統(tǒng)一的數(shù)據(jù)標準。很多企業(yè)的數(shù)據(jù)標準當前只是停留在紙面上,無法真正應用到產(chǎn)品中,無法實現(xiàn)數(shù)據(jù)的規(guī)范。DAYU提供了數(shù)據(jù)規(guī)范設計模塊,該模塊是基于華為十多年的數(shù)據(jù)體系建設方法論沉淀而成,可以指導企業(yè)如何根據(jù)所在行業(yè)的業(yè)務和數(shù)據(jù)特點,結(jié)合企業(yè)自身訴求,輸出標準化的數(shù)據(jù)中臺涉及,幫助企業(yè)實現(xiàn)數(shù)據(jù)標準系統(tǒng)化、流程化,打通數(shù)據(jù)需求全鏈路,使數(shù)據(jù)研發(fā)自動化、無碼化。
應對三:一站式敏捷大數(shù)據(jù)開發(fā)治理,全流程可視
DAYU提供一站式數(shù)據(jù)開發(fā)治理能力,通過數(shù)據(jù)開發(fā)模塊對數(shù)據(jù)進行敏捷開發(fā)和調(diào)度;通過數(shù)據(jù)治理模塊對數(shù)據(jù)質(zhì)量進行管控,實時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題,并實時告警;通過標準的數(shù)據(jù)服務模塊提供一站式數(shù)據(jù)服務開發(fā)、測試部署能力,實現(xiàn)數(shù)據(jù)服務敏捷響應,降低數(shù)據(jù)獲取難度,提升數(shù)據(jù)消費體驗和效率,最終實現(xiàn)數(shù)據(jù)資產(chǎn)的變現(xiàn),幫助企業(yè)快速開發(fā)數(shù)據(jù)大屏;通過數(shù)據(jù)資產(chǎn)模塊統(tǒng)一管理數(shù)據(jù)資產(chǎn),可以提供全局資產(chǎn)視圖、快速查看、智能管理、數(shù)據(jù)溯源和數(shù)據(jù)開放共享,從業(yè)務視角管理和查看數(shù)據(jù),定義業(yè)務架構、業(yè)務分類和業(yè)務術語,統(tǒng)一管理資產(chǎn)訪問權限。
應對四:AI能力與SQL融合,懂SQL就可以開發(fā)AI業(yè)務
DAYU具有SQL和AI相結(jié)合的能力,可以使用SQL進行圖片識別,快速完成非結(jié)構化數(shù)據(jù)處理。同時DAYU通過與機器學習、深度學習算法深入結(jié)合,增強實時數(shù)據(jù)分析能力,SQL中調(diào)用各種機器學習算法和深度學習框架,降低AI能力使用門檻。
為了讓數(shù)據(jù)最大化發(fā)揮價值,企業(yè)急需構建數(shù)據(jù)中臺來提供數(shù)據(jù)運營能力。面向數(shù)據(jù)中臺場景,華為云與普華、希嘉、中軟、德勤、興海物聯(lián)、傲亞等諸多行業(yè)伙伴合作共建生態(tài),開放DAYU平臺能力,賦能行業(yè)合作伙伴,結(jié)合DAYU智能數(shù)據(jù)湖運營平臺和行業(yè)伙伴的行業(yè)經(jīng)驗知識,共同打造面向不同行業(yè)的數(shù)據(jù)中臺解決方案,幫助客戶打破數(shù)據(jù)孤島,快速完成業(yè)務創(chuàng)新和數(shù)據(jù)變現(xiàn)。
截止目前,集成了DAYU的華為云智能數(shù)據(jù)湖解決方案已廣泛應用于金融、醫(yī)學、物流、互聯(lián)網(wǎng)、汽車、政府、零售等行業(yè)。在近日舉行的2019第六界中國國際大數(shù)據(jù)大會上,華為一舉攬獲2項大獎,華為云智能數(shù)據(jù)湖榮獲“2019年度大數(shù)據(jù)行業(yè)最佳服務平臺獎”,華為云“存算分離+鯤鵬”大數(shù)據(jù)云服務榮獲“2019年度大數(shù)據(jù)行業(yè)創(chuàng)新產(chǎn)品獎”,再一次證明了華為云在大數(shù)據(jù)領域的不凡實力。
