5月28日，“2021阿里云峰會(huì)”在北京開(kāi)幕。此次峰會(huì)以“云上創(chuàng)新”為主題，阿里云與眾多嘉賓、合作伙伴共同探討了企業(yè)數(shù)字創(chuàng)新的新思路、新策略、新產(chǎn)品、新方案，展開(kāi)“云上創(chuàng)新”的全景圖。

在28日下午舉行的“全鏈路數(shù)據(jù)服務(wù)-大數(shù)據(jù)及AI論壇”分論壇上，匯量科技 （Mobvista）資深算法架構(gòu)師、EnginePlus 產(chǎn)品負(fù)責(zé)人陳緒受邀發(fā)表演講，與嘉賓們分享了云原生數(shù)據(jù)湖的探索和實(shí)踐，并介紹了匯量自研開(kāi)源數(shù)據(jù)湖框架 StarLake 與新一代“一站式云原生大數(shù)據(jù) AI 平臺(tái)” EnginePlus 。

從數(shù)據(jù)倉(cāng)庫(kù)到湖倉(cāng)一體：數(shù)據(jù)分析架構(gòu)的演進(jìn)

隨著企業(yè)業(yè)務(wù)的快速擴(kuò)展，衍生數(shù)據(jù)量面臨爆發(fā)式增長(zhǎng)，企業(yè)對(duì)數(shù)據(jù)處理分析的需求日趨迫切。在此背景下，創(chuàng)新技術(shù)與方案成為企業(yè)剛需，用以解決數(shù)據(jù)智能處理的挑戰(zhàn)。

陳緒介紹稱，云原生的數(shù)據(jù)分析架構(gòu)，經(jīng)歷了從傳統(tǒng)數(shù)倉(cāng)，到數(shù)據(jù)湖，再到湖倉(cāng)一體的演進(jìn)。

匯量科技資深算法架構(gòu)師、EnginePlus 產(chǎn)品負(fù)責(zé)人陳緒發(fā)表演講

傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)強(qiáng)調(diào)結(jié)構(gòu)化數(shù)據(jù)，在當(dāng)今的互聯(lián)網(wǎng)應(yīng)用中會(huì)導(dǎo)致建模繁瑣、流批架構(gòu)復(fù)雜等一系列問(wèn)題，傳統(tǒng)的 hive 等方案也不再適配云原生的演進(jìn)趨勢(shì)。在這種背景下，數(shù)據(jù)湖應(yīng)運(yùn)而生。

數(shù)據(jù)湖解決了數(shù)倉(cāng)的部分問(wèn)題，例如實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)的處理、流批一體化等等，此外，云上元數(shù)據(jù)和對(duì)象存儲(chǔ)能力也在持續(xù)不斷地演進(jìn)、優(yōu)化。在 OSS 的支撐下，計(jì)算和存儲(chǔ)能夠更好地實(shí)現(xiàn)分離，數(shù)據(jù)湖的能力由此得到擴(kuò)展。

因此，數(shù)據(jù)湖和數(shù)據(jù)倉(cāng)庫(kù)的功能進(jìn)一步整合，已經(jīng)成為當(dāng)前的趨勢(shì)。

陳緒表示，從業(yè)務(wù)視角來(lái)看，理想的湖倉(cāng)一體是以數(shù)據(jù)湖為“底座”，具備元數(shù)據(jù)管理強(qiáng)拓展性，同時(shí)優(yōu)化對(duì)象存儲(chǔ)訪問(wèn)的性能，進(jìn)而能夠優(yōu)化寬表的實(shí)時(shí)多流攝入能力，最終能夠統(tǒng)一支撐分析和科學(xué) AI 的應(yīng)用場(chǎng)景。

StarLake：匯量科技自研開(kāi)源數(shù)據(jù)湖框架

據(jù)悉，為在互聯(lián)網(wǎng)業(yè)務(wù)中實(shí)踐數(shù)據(jù)湖和湖倉(cāng)一體化，匯量科技自研并開(kāi)源了數(shù)據(jù)湖框架 StarLake，實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的實(shí)時(shí)攝入和更新，高效構(gòu)建湖倉(cāng)一體化分析平臺(tái)，能夠更好地解決開(kāi)發(fā)者上云和數(shù)據(jù)處理的挑戰(zhàn)。

據(jù)介紹，相比開(kāi)源同類數(shù)據(jù)湖框架，StarLake 具有以下特點(diǎn)：

1、支持多級(jí)分區(qū)和 Range、Hash 兩種分區(qū)模式，在 Upsert 場(chǎng)景上有較明顯的性能提升，能夠支撐實(shí)時(shí)寬表的能力；

2、采用分布式 DB 實(shí)現(xiàn)元數(shù)據(jù)管理，在擴(kuò)展能力上進(jìn)一步提升；

3、針對(duì)對(duì)象存儲(chǔ)的專門優(yōu)化: 通過(guò)重寫文件解析層與存儲(chǔ)層融合，達(dá)到計(jì)算和 IO 并行化；

4、同時(shí)支持 Copy on Write 和 Merge on Read 模式，支持高并發(fā)的寫入能力；

5、將元數(shù)據(jù)、分區(qū)規(guī)則等進(jìn)一步下推到計(jì)算引擎層，進(jìn)行聯(lián)合算子優(yōu)化，提升查詢分析的性能。

陳緒提到，在匯量科技，StarLake 數(shù)據(jù)湖框架并非“單兵作戰(zhàn)”，而是作為新一代一站式云原生大數(shù)據(jù) AI 平臺(tái) EnginePlus 的一部分，在云原生的架構(gòu)下，更好地為企業(yè)提供服務(wù)。

EnginePlus：新一代一站式云原生大數(shù)據(jù) AI 平臺(tái)

記者了解到，在 EnginePlus 平臺(tái)上，StarLake 數(shù)據(jù)湖可以實(shí)現(xiàn)高效的數(shù)據(jù)攝入，為分析、計(jì)算提供“底座”，同時(shí)還可無(wú)縫對(duì)接匯量科技自研的開(kāi)源機(jī)器學(xué)習(xí)框架 MindAlpha ，對(duì)數(shù)據(jù)進(jìn)行人工智能建模。

EnginePlus 通過(guò)將大數(shù)據(jù)與云計(jì)算、人工智能等信息技術(shù)融合創(chuàng)新，實(shí)現(xiàn)數(shù)據(jù)攝入、數(shù)據(jù)計(jì)算、模型訓(xùn)練、在線預(yù)測(cè)的一站式閉環(huán)，幫助客戶有效提升數(shù)據(jù)處理的效率與精準(zhǔn)度。在大規(guī)模業(yè)務(wù)的生產(chǎn)驗(yàn)證下，EnginePlus 兼具快速接入、簡(jiǎn)單易用、高性能、高穩(wěn)定性等特點(diǎn)。

陳緒舉例稱，在典型的個(gè)性化算法業(yè)務(wù)場(chǎng)景里，會(huì)存在多個(gè)實(shí)時(shí)流，包括用戶數(shù)據(jù)流、item 數(shù)據(jù)流、交互數(shù)據(jù)流、離線數(shù)據(jù)等，通過(guò) StarLake 數(shù)據(jù)湖框架，實(shí)時(shí)流可以直接并發(fā)入湖，使多個(gè)維度的更新同步進(jìn)行。

結(jié)合 OSS 為數(shù)據(jù)湖提供的存儲(chǔ)能力，就能搭建起一個(gè)實(shí)時(shí)化的寬表，在這個(gè)過(guò)程中，基本消除了傳統(tǒng)數(shù)倉(cāng)建模和 ETL 流程，隨后就可以對(duì)接分析、BI 和 AI 的計(jì)算。

如此，業(yè)務(wù)流程變得更加敏捷，數(shù)據(jù)架構(gòu)得到了大幅簡(jiǎn)化。據(jù)了解，這套架構(gòu)已經(jīng)在廣告、電商、風(fēng)控等場(chǎng)景得到落地使用。

數(shù)據(jù)湖場(chǎng)景下，云商產(chǎn)品去向何方？

作為云原生數(shù)據(jù)湖的深度用戶，匯量科技從業(yè)務(wù)視角分享了 StarLake 數(shù)據(jù)湖框架的架構(gòu)實(shí)踐。從架構(gòu)角度，針對(duì)數(shù)據(jù)湖的場(chǎng)景，匯量科技希望未來(lái)云廠商在產(chǎn)品功能上如何進(jìn)一步發(fā)展？

在演講后的圓桌討論環(huán)節(jié)，陳緒提出，站在互聯(lián)網(wǎng)業(yè)務(wù)和云原生架構(gòu)視角看“湖倉(cāng)一體”的演進(jìn)，未來(lái)將會(huì)是應(yīng)用場(chǎng)景和底層架構(gòu)融合“co-design” 的趨勢(shì)。

陳緒認(rèn)為，EnginePlus 的數(shù)據(jù)湖組件 StarLake，根據(jù)業(yè)務(wù)場(chǎng)景以及面向云上對(duì)象存儲(chǔ)需要有新的融合設(shè)計(jì)，這同時(shí)也是一種新的“co-design”；在湖倉(cāng)一體趨勢(shì)中，大家也看到了對(duì)象存儲(chǔ)和應(yīng)用層的融合——例如，近期 OSS 推出的加速器就是一個(gè)很好的功能；未來(lái)，云廠商在對(duì)象存儲(chǔ)上進(jìn)一步提升元數(shù)據(jù)管理、一致性、并發(fā)吞吐等能力，更好地支撐各類實(shí)時(shí)數(shù)據(jù)分析的場(chǎng)景，能夠進(jìn)一步在湖上統(tǒng)一數(shù)據(jù)分析體系，是非常有意義的趨勢(shì)。

陳緒在圓桌討論環(huán)節(jié)

伴隨著新的行業(yè)發(fā)展趨勢(shì)，企業(yè)有望實(shí)現(xiàn)新一代數(shù)據(jù)智能開(kāi)發(fā)、解放業(yè)務(wù)生產(chǎn)力，組成更美好的“云上創(chuàng)新”全景圖。

songjy