該項(xiàng)目采用“1+1+1+N”的架構(gòu),也就是一個(gè)云資源中心、一個(gè)城市大腦、一個(gè)運(yùn)營(yíng)中心和N個(gè)智慧應(yīng)用體系架構(gòu),涉及了城市全景、城市治理、生態(tài)環(huán)境等6個(gè)主題庫(kù),通過(guò)多維度可視化的數(shù)據(jù),為城市運(yùn)行科學(xué)決策提供數(shù)據(jù)依據(jù)。
智慧大腦的項(xiàng)目很多,但是“霍山縣智慧大腦”項(xiàng)目緊緊抓住數(shù)據(jù)這個(gè)核心主體,通過(guò)數(shù)據(jù)的匯聚、治理,用全面可視化的方式,實(shí)現(xiàn)了城市數(shù)字化運(yùn)行、管理和監(jiān)管體系。
鑒于該項(xiàng)目的優(yōu)異表現(xiàn),今年霍山縣智慧城市項(xiàng)目被成功推廣并復(fù)制到了安徽葉集縣智慧城市的項(xiàng)目。
第三個(gè)是海南數(shù)據(jù)產(chǎn)品超市項(xiàng)目。
作為國(guó)務(wù)院頒布的全國(guó)公共數(shù)據(jù)資源開(kāi)發(fā)利用試點(diǎn)省市,海南省大數(shù)據(jù)管理局充分利用海南省已建成的“七個(gè)一”大數(shù)據(jù)能力支撐底座,并基于天翼云技術(shù)能力,搭建全省統(tǒng)一,功能強(qiáng)大的數(shù)據(jù)產(chǎn)品開(kāi)發(fā)利用平臺(tái),推出了海南數(shù)據(jù)產(chǎn)品超市,有序開(kāi)放公共數(shù)據(jù)資源和電子政務(wù)平臺(tái)能力資源。中國(guó)電信獲得特許期內(nèi)項(xiàng)目的獨(dú)家運(yùn)營(yíng)權(quán)。
這是全國(guó)首例,也是一個(gè)探索性的實(shí)施工程。天翼云結(jié)合自身多年的數(shù)據(jù)治理和運(yùn)營(yíng)經(jīng)驗(yàn),與海南省大數(shù)據(jù)管理局聯(lián)合打造了數(shù)據(jù)業(yè)務(wù)運(yùn)營(yíng)服務(wù)平臺(tái)建設(shè)方案。在保障數(shù)據(jù)安全的前提下,引進(jìn)多方安全計(jì)算、聯(lián)邦學(xué)習(xí)等多種前沿技術(shù),實(shí)現(xiàn)多路徑多元化融合技術(shù)創(chuàng)新,提升數(shù)據(jù)應(yīng)用價(jià)值。
該項(xiàng)目以“前店后廠(chǎng)”架構(gòu)新模式,實(shí)現(xiàn)數(shù)據(jù)交易全流程閉環(huán)。其中,“后廠(chǎng)”由大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)構(gòu)成,搭載隱私計(jì)算、機(jī)器學(xué)習(xí)等技術(shù),實(shí)現(xiàn)數(shù)據(jù)的匯聚、治理,以及數(shù)據(jù)產(chǎn)品開(kāi)發(fā)全流程?!扒暗辍敝浮皵?shù)據(jù)交易服務(wù)平臺(tái)”,通過(guò)用戶(hù)、產(chǎn)品、需求、交易、計(jì)費(fèi)等管理模塊,拉通數(shù)據(jù)供需匹配、交易撮合、風(fēng)險(xiǎn)防控、交易結(jié)算等環(huán)節(jié)。
先行者的這些案例,代表著當(dāng)今行業(yè)大數(shù)據(jù)應(yīng)用水平。
他們或重視基礎(chǔ)平臺(tái)的搭建,或者重視基于大數(shù)據(jù)的應(yīng)用實(shí)踐,從數(shù)據(jù)開(kāi)放的高度,對(duì)于數(shù)字創(chuàng)新和應(yīng)用進(jìn)行部署,是行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀的真實(shí)寫(xiě)照,也是天翼云大數(shù)據(jù)能力的真實(shí)展示。
探班基礎(chǔ)設(shè)施架構(gòu)
先行者的案例固然精彩,但是未必可以照搬,所謂臨淵羨魚(yú)不如退而結(jié)網(wǎng),打好大數(shù)據(jù)應(yīng)用的基礎(chǔ)仍然至關(guān)重要,對(duì)此,天翼云大數(shù)據(jù)做了什么?又是如何做的呢?
如今,天翼云被稱(chēng)為國(guó)家隊(duì)云服務(wù)商,作為國(guó)家隊(duì)大數(shù)據(jù)需要具備業(yè)界領(lǐng)先的技術(shù)水平和實(shí)力,用一個(gè)詞形容就是“頂天立地”。
“頂天”意味著要圍繞國(guó)家重大戰(zhàn)略需求,實(shí)現(xiàn)技術(shù)上持續(xù)創(chuàng)新突破,要充分考慮到芯片基礎(chǔ)設(shè)施自主可控等因素;“立地”則是圍繞行業(yè)應(yīng)用場(chǎng)景,實(shí)現(xiàn)大數(shù)據(jù)產(chǎn)品的應(yīng)用落地。
侯圣文表示:“我們經(jīng)歷了起步、創(chuàng)新、突破三個(gè)階段,我們大數(shù)據(jù)綜合解決方案核心優(yōu)勢(shì),總結(jié)起來(lái)有三個(gè)關(guān)鍵詞:強(qiáng)底座、建生態(tài)、重場(chǎng)景?!?/p>
什么樣的大數(shù)據(jù)底座可以稱(chēng)為強(qiáng)呢?對(duì)此,天翼云將其概括為下幾個(gè)方面:
(1)一云多芯:核心引擎滿(mǎn)足國(guó)內(nèi)外主流CPU、操作系統(tǒng)、數(shù)據(jù)庫(kù)應(yīng)用適配,實(shí)現(xiàn)信息技術(shù)應(yīng)用創(chuàng)新;
(2)智能運(yùn)維:依托專(zhuān)家經(jīng)驗(yàn)沉淀智能運(yùn)維平臺(tái),滿(mǎn)足大數(shù)據(jù)集群80%的運(yùn)維需求,助力集群管理效率至少提升5倍以上;
(3)高安全高穩(wěn)定:采用Kerberos+Ranger高安全方案,實(shí)現(xiàn)數(shù)據(jù)底座全域身份認(rèn)證以及庫(kù)、表、字段級(jí)數(shù)據(jù)細(xì)粒度的權(quán)限管控;提供完備的數(shù)據(jù)安全治理方案,包括數(shù)據(jù)脫敏、分級(jí)分類(lèi)、數(shù)據(jù)操作審計(jì)等數(shù)據(jù)安全防護(hù)能力;提供高性能高穩(wěn)定的大數(shù)據(jù)核心組件,滿(mǎn)足實(shí)時(shí)及離線(xiàn)存算需求。
(4)跨地域多中心架構(gòu)容災(zāi)能力:設(shè)計(jì)跨地域多中心架構(gòu),研發(fā)遷移工具實(shí)現(xiàn)數(shù)據(jù)安全穩(wěn)定遷移,保證數(shù)據(jù)安全高效流轉(zhuǎn)與容災(zāi)。
這個(gè)起點(diǎn)非常高。僅國(guó)內(nèi)外主流CPU適配并且保障高性能就不是一件簡(jiǎn)單的事情,這就是所謂國(guó)家隊(duì)需要有的底蘊(yùn)和實(shí)力。
“建生態(tài)“就是要把底座的基礎(chǔ)能力轉(zhuǎn)化為大數(shù)據(jù)的生產(chǎn)力,天翼云大數(shù)據(jù)為此攜手生態(tài)合作伙伴,構(gòu)建了大數(shù)據(jù)平臺(tái)、實(shí)時(shí)計(jì)算平臺(tái)、數(shù)據(jù)管理中臺(tái)、數(shù)據(jù)資產(chǎn)、BI等全棧的產(chǎn)品體系,為行業(yè)綜合性大數(shù)據(jù)應(yīng)用項(xiàng)目奠定了堅(jiān)實(shí)的軟硬件平臺(tái)基礎(chǔ)。
有了這個(gè)生態(tài)平臺(tái)的基礎(chǔ),行業(yè)用戶(hù)、開(kāi)發(fā)者就可以利用他們所熟悉的硬件、開(kāi)源軟件和工具,為上層的應(yīng)用場(chǎng)景提供支持。
“重場(chǎng)景”,天翼云的思路是逐步建立從行業(yè)“通用”技術(shù)方案到行業(yè)“專(zhuān)用”解決方案,如今已經(jīng)沉淀了眾多的行業(yè)解決方案,隨時(shí)為行業(yè)企業(yè)用戶(hù)提供選擇和服務(wù)。
數(shù)據(jù)治理實(shí)現(xiàn)升華
技術(shù)平臺(tái)也僅僅是萬(wàn)里長(zhǎng)征的第一步,用好數(shù)據(jù)、發(fā)揮數(shù)據(jù)創(chuàng)新價(jià)值,還需要從行業(yè)大數(shù)據(jù)實(shí)際應(yīng)用情況出發(fā),解決一些具體卡脖子的難題。
分析了行業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀,天翼云大數(shù)據(jù)總結(jié)了大數(shù)據(jù)行業(yè)應(yīng)用面臨的主要問(wèn)題:大數(shù)據(jù)行業(yè)新工具、新算法、新引擎不斷涌現(xiàn),需要用戶(hù)跟上技術(shù)發(fā)展步伐,不斷創(chuàng)新數(shù)據(jù)處理、分析的方法,為業(yè)務(wù)創(chuàng)新提供思路和支撐。
侯圣文指出:如果用戶(hù)自研大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)等產(chǎn)品,去解決數(shù)據(jù)開(kāi)發(fā)、治理、分析、處理等方面的問(wèn)題,成本高、難度大;尤其涉及多源異構(gòu)數(shù)據(jù)的準(zhǔn)確性、完整性、一致性等問(wèn)題,數(shù)據(jù)治理難度很大,需要數(shù)據(jù)清洗、去重、糾錯(cuò)等方面的經(jīng)驗(yàn)積累。
此外,數(shù)據(jù)增長(zhǎng)快也給存儲(chǔ)與計(jì)算技術(shù)帶來(lái)很大的挑戰(zhàn)。隨著數(shù)據(jù)規(guī)模增長(zhǎng)、開(kāi)放程度擴(kuò)大、共享需求的凸顯,數(shù)據(jù)安全和隱私保護(hù)要求越來(lái)越高,需要數(shù)據(jù)加解密、訪(fǎng)問(wèn)控制、審計(jì)跟蹤、隱私計(jì)算等技術(shù)應(yīng)用的支持,對(duì)數(shù)據(jù)使用政策、隱私保護(hù)法規(guī)、監(jiān)管也提出了更高要求。
為了讓行業(yè)用戶(hù)更加專(zhuān)注業(yè)務(wù),通過(guò)屏蔽底層復(fù)雜技術(shù),天翼云推出了大數(shù)據(jù)平臺(tái)、數(shù)據(jù)中臺(tái)等產(chǎn)品。其中,天翼云大數(shù)據(jù)平臺(tái)可提供快速部署、便捷維護(hù)的HDFS、YARN、Hudi、Hive和Flink等高性能的大數(shù)據(jù)組件以及智能運(yùn)維管理平臺(tái),并完成鯤鵬、海光、麒麟、CTyunOS、統(tǒng)信等國(guó)產(chǎn)化適配,具備湖倉(cāng)一體、一云多芯、智能化運(yùn)維等功能特點(diǎn),解決使用者在數(shù)據(jù)存儲(chǔ)、計(jì)算、集群運(yùn)維等方面難題。
相比,天翼云大數(shù)據(jù)管理平臺(tái)以全托管方式,為行業(yè)用戶(hù)提供一站式、開(kāi)箱即用的大數(shù)據(jù)開(kāi)發(fā)與數(shù)據(jù)資產(chǎn)管理工具,解決了數(shù)據(jù)集成、數(shù)據(jù)建模、數(shù)據(jù)處理、數(shù)據(jù)治理、數(shù)據(jù)服務(wù)等關(guān)鍵技術(shù)問(wèn)題,解決企業(yè)轉(zhuǎn)型時(shí)面臨的數(shù)據(jù)采集、開(kāi)發(fā)、管理、安全等需求。目前,天翼云結(jié)合公安行業(yè)場(chǎng)景,成功打造了公安行業(yè)數(shù)據(jù)中臺(tái),并通過(guò)公安三所測(cè)評(píng)認(rèn)證,成為全國(guó)4家通過(guò)該認(rèn)證企業(yè)之一。
“對(duì)企業(yè)用戶(hù)來(lái)說(shuō),我們建議,積極擁抱變化,破除傳統(tǒng)思路,一方面需進(jìn)一步思考如何利用好、管理好數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)提升企業(yè)內(nèi)部管理;另一方面,結(jié)合自身優(yōu)勢(shì),引入大數(shù)據(jù)等先進(jìn)技術(shù)與產(chǎn)品,拓展更多創(chuàng)新應(yīng)用場(chǎng)景,促進(jìn)企業(yè)業(yè)務(wù)高質(zhì)量發(fā)展?!焙钍ノ恼f(shuō)。
小結(jié)
從基礎(chǔ)支撐平臺(tái),到數(shù)據(jù)開(kāi)發(fā)和應(yīng)用平臺(tái),再到先行者的應(yīng)用實(shí)踐,天翼云大數(shù)據(jù)用自己能力描繪了行業(yè)大數(shù)據(jù)應(yīng)用的畫(huà)像。都說(shuō)這個(gè)世界并不缺乏美,缺乏的是發(fā)現(xiàn)美的眼睛。如今行業(yè)大數(shù)據(jù)應(yīng)用也是如此,隱藏在數(shù)據(jù)背后的價(jià)值有待行業(yè)用戶(hù)的發(fā)現(xiàn),天翼云大數(shù)據(jù)國(guó)家隊(duì)實(shí)力將經(jīng)受哪些其他行業(yè)用戶(hù)的考驗(yàn),讓我們拭目以待!