過去一年，全鏈路數(shù)據(jù)生產(chǎn)力1.0的提出，以數(shù)據(jù)中臺、數(shù)據(jù)應(yīng)用為兩大節(jié)點(diǎn)，讓企業(yè)大數(shù)據(jù)決策水平提升實(shí)現(xiàn)正向閉環(huán)，將數(shù)據(jù)價(jià)值從業(yè)務(wù)系統(tǒng)中釋放。在1.0的實(shí)踐中，網(wǎng)易數(shù)帆發(fā)現(xiàn)，全鏈路數(shù)據(jù)生產(chǎn)力的閉環(huán)仍然存在一些阻滯，其中數(shù)據(jù)中臺的節(jié)點(diǎn)，各個系統(tǒng)數(shù)據(jù)的物理聚合成本越來越高，數(shù)據(jù)開發(fā)的低效拖慢交付應(yīng)用，同時(shí)中臺對于實(shí)時(shí)數(shù)據(jù)的處理要求日趨增多；在數(shù)據(jù)應(yīng)用的節(jié)點(diǎn)，非結(jié)構(gòu)化數(shù)據(jù)的理解需要更多的手段支撐。

作為今年的重要看點(diǎn)，網(wǎng)易數(shù)帆是如何解決上述問題，實(shí)現(xiàn)全鏈路數(shù)據(jù)生產(chǎn)力從1.0到2.0的躍遷？這其中又有哪些創(chuàng)新技術(shù)的推出？

提升數(shù)據(jù)開發(fā)效率，試試有數(shù)DataOps

大會當(dāng)天，網(wǎng)易數(shù)帆推出了今年數(shù)據(jù)中臺的重磅升級——有數(shù)DataOps，旨在幫助企業(yè)解決數(shù)據(jù)開發(fā)過程中的效率和質(zhì)量問題，可以說是將DevOps的理念應(yīng)用于數(shù)據(jù)開發(fā)領(lǐng)域，以縮短洞察周期，推動項(xiàng)目持續(xù)集成（CI）和持續(xù)部署（CD）。

DataOps全流程

大會現(xiàn)場，余利華還展示了網(wǎng)易云音樂使用DataOps成功實(shí)踐。通過設(shè)置獨(dú)立的開發(fā)環(huán)境、自動測試流程，云音樂可以有效排查上線前代碼中存在的風(fēng)險(xiǎn)，實(shí)現(xiàn)自動運(yùn)行測試。從效果上看，在使用有數(shù)DataOps產(chǎn)品后，因代碼提交產(chǎn)生的數(shù)據(jù)質(zhì)量問題下降了接近90%，平均需求交付周期從5天下降到2.5天，效率直接提升100%。

邏輯數(shù)據(jù)湖：從“Collect”到“Connect”

企業(yè)建設(shè)數(shù)據(jù)中臺不應(yīng)該是把所有的數(shù)據(jù)全部收集（Collect）到一個載體后再開始應(yīng)用，隨著數(shù)據(jù)的不斷涌入，用一種連接(Connect)的方式重復(fù)利用數(shù)據(jù)，成為了當(dāng)下技術(shù)領(lǐng)先廠商們思考的手段。

余利華指出，數(shù)據(jù)中臺建設(shè)之初，往往誤以為只要把數(shù)據(jù)集中到一起，就能讓數(shù)據(jù)充分被利用。但在這些年與客戶交流后發(fā)現(xiàn)，企業(yè)想要構(gòu)建一個物理上集中的數(shù)據(jù)中臺非常困難。那么能否通過一種方式，在不要求數(shù)據(jù)遷移的前提下，將數(shù)據(jù)納入數(shù)據(jù)中臺管理？

大會現(xiàn)場，網(wǎng)易數(shù)帆發(fā)布了首創(chuàng)的，基于邏輯數(shù)據(jù)湖的數(shù)據(jù)中臺。作為一種構(gòu)建物理分散，邏輯統(tǒng)一的數(shù)據(jù)中臺，其核心價(jià)值就是統(tǒng)一源數(shù)據(jù)信息、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)源，同時(shí)兼容遺留系統(tǒng)，支持Oracle/MySQL/Vertica等7類系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一開發(fā)和統(tǒng)一治理。

有數(shù)邏輯數(shù)據(jù)湖

邁入實(shí)時(shí)中臺時(shí)代，Arctic引擎驅(qū)動力

面對日益增長的數(shù)據(jù)規(guī)模以及越來越低時(shí)延的數(shù)據(jù)處理要求，流處理正在成為大數(shù)據(jù)廠商亟待精進(jìn)的業(yè)務(wù)能力之一。企業(yè)對于實(shí)時(shí)數(shù)據(jù)的管理需求日益顯著，特別是對于像廣告、風(fēng)控、促銷、物流等業(yè)務(wù)場景，只有依賴強(qiáng)大的流計(jì)算引擎才能支持實(shí)時(shí)動態(tài)的數(shù)據(jù)結(jié)果。

為了解決這些問題，網(wǎng)易數(shù)帆推出了有數(shù)實(shí)時(shí)數(shù)據(jù)湖引擎Arctic，不僅實(shí)現(xiàn)了流批一體存儲，還支持無縫對接數(shù)據(jù)中臺數(shù)據(jù)治理體系，可以說是極大地增強(qiáng)了數(shù)據(jù)攝取性能，特別是對于海量日志、事件等變更頻繁、實(shí)時(shí)性高的數(shù)據(jù)加工等業(yè)務(wù)場景，有著十分廣闊的技術(shù)實(shí)踐空間。

此外，搭載數(shù)據(jù)湖引擎Arctic，網(wǎng)易數(shù)帆“有數(shù)實(shí)時(shí)數(shù)據(jù)中臺”更是成功入選多個國家級大數(shù)據(jù)標(biāo)桿示范項(xiàng)目評選，包括像今年中國大數(shù)據(jù)產(chǎn)業(yè)博覽會“十佳大數(shù)據(jù)案例”，工信部試點(diǎn)示范項(xiàng)目等等。

有數(shù)機(jī)器學(xué)習(xí)平臺：AI深化數(shù)據(jù)應(yīng)用

隨著物聯(lián)網(wǎng)和移動設(shè)備的發(fā)展，產(chǎn)生的數(shù)據(jù)越來越多，種類也包括圖片、文本、視頻等非結(jié)構(gòu)化數(shù)據(jù)，這使得機(jī)器學(xué)習(xí)模型可以獲得越來越多的數(shù)據(jù)。在全鏈路的數(shù)據(jù)應(yīng)用節(jié)點(diǎn)上，網(wǎng)易數(shù)帆也分享了自己多年的實(shí)戰(zhàn)經(jīng)驗(yàn)，推出了有數(shù)機(jī)器學(xué)習(xí)平臺，去幫助企業(yè)理解及處理非結(jié)構(gòu)化數(shù)據(jù)。

本次推出的網(wǎng)易有數(shù)機(jī)器學(xué)習(xí)平臺，經(jīng)過網(wǎng)易多年內(nèi)部業(yè)務(wù)驗(yàn)證，能夠大幅提升機(jī)器學(xué)習(xí)迭代效率。在機(jī)器學(xué)習(xí)的各個階段都能提供有效支持，通過無縫對接數(shù)據(jù)中臺，使得數(shù)據(jù)訪問變得非常簡單。同時(shí)還提供Notebook和可視化建模兩種方式，支持TensorFlow，PyTorch主流算法框架，一鍵部署等等。  

除了以上技術(shù)亮點(diǎn)，大會還發(fā)布了有數(shù)BI數(shù)據(jù)準(zhǔn)備，針對缺乏專業(yè)人員的小微企業(yè)來說，可以借助有數(shù)BI數(shù)據(jù)準(zhǔn)備，建立自助式ETL實(shí)現(xiàn)輕量級湖倉。

本次全鏈路數(shù)據(jù)生產(chǎn)力平臺2.0的發(fā)布，標(biāo)志著網(wǎng)易數(shù)帆數(shù)據(jù)能力的全面提升，最終目的還是通過技術(shù)手段去解決企業(yè)實(shí)際業(yè)務(wù)中暴露的難點(diǎn)，提升數(shù)據(jù)價(jià)值的有效利用。

songjy