1.開源數(shù)據(jù)湖框架 StarLake

作為一種中心數(shù)據(jù)儲存的容器，數(shù)據(jù)湖具有高效、快速的特性，但伴隨著的是相當(dāng)高的復(fù)雜度和高昂的計算成本。

為了讓客戶更好地用上這種數(shù)據(jù)儲存分析方式，Mobvista 自研并開源了數(shù)據(jù)湖框架 StarLake，實現(xiàn)了大規(guī)模數(shù)據(jù)的實時攝入和更新。

通過行列 upsert 功能、高并發(fā)入湖、元數(shù)據(jù)管理強(qiáng)拓展性、對象儲存 IO 性能深度優(yōu)化等特性，StarLake 數(shù)據(jù)湖框架能夠高效構(gòu)建湖倉一體化分析平臺，相比開源同類數(shù)據(jù)湖框架具有顯著優(yōu)勢。

（圖片：StarLake vs. Iceberg 對比測試）

同時，整合了云原生計算平臺 Spark on K8s 的 EnginePlus 2.0 能提供極速資源伸縮，實現(xiàn)資源高效利用，滿足企業(yè)超大規(guī)模數(shù)據(jù)請求與高效彈性的需求。

2.開源機(jī)器學(xué)習(xí)框架 MindAlpha

除了數(shù)據(jù)湖，對數(shù)據(jù)進(jìn)行人工智能建模是挖掘數(shù)據(jù)背后價值的重要途徑，通過對數(shù)據(jù)進(jìn)行算法建模，賦能業(yè)務(wù)，產(chǎn)生價值。

Mobvista 自研開源機(jī)器學(xué)習(xí)框架 MindAlpha，輕松處理大規(guī)模離散特征，與 EnginePlus 2.0 之上的 Spark、StarLake 無縫結(jié)合，提供從數(shù)據(jù)到智能的一體化、一站式的高效體驗。

MindAlpha 的開源 Parameter Server SDK 支持千億級大規(guī)模稀疏離散特征，與PyTorch、Spark MLLib 無縫銜接，特征處理與模型推理邏輯和參數(shù)能全自動導(dǎo)出至線上 Serving 服務(wù)。其實時特征達(dá)到毫秒級延遲水平，真正做到實時反饋，快速捕捉用戶行為。同時，其高性能在線 Serving 能進(jìn)行模型橫向切分，支持萬億參數(shù)，具有低延遲、自動彈性伸縮的特性，能進(jìn)行CPU、GPU 異構(gòu)混布調(diào)度和負(fù)載均衡。

（圖片：MindAlpha 架構(gòu)）

3.基于 SpotMax 的云原生架構(gòu)

便捷地利用網(wǎng)絡(luò)資源，實現(xiàn)管理、業(yè)務(wù)等方面的數(shù)據(jù)化轉(zhuǎn)型，企業(yè)上云需求正在爆發(fā)。云原生架構(gòu)也因具備高性能、高可擴(kuò)展、一致性、符合標(biāo)準(zhǔn)、容錯、易于管理和多云支持等特性，受到企業(yè)的青睞。

EnginePlus 2.0 基于 SpotMax 實現(xiàn)云原生架構(gòu)。SpotMax 云原生體系包括云資源調(diào)度優(yōu)化、容器+服務(wù)網(wǎng)格融合、多云及混合云統(tǒng)一管理、無服務(wù)平臺等特性。通過 SpotMax 構(gòu)建的云原生基礎(chǔ)設(shè)施，EnginePlus 2.0 支持一鍵快速部署，大幅度降低運(yùn)維成本。在計算存儲分離下，EnginePlus 2.0 能針對對象存儲系統(tǒng)專門優(yōu)化。同時，其所有組件均可彈性伸縮，有效加速企業(yè)效率，降低構(gòu)建系統(tǒng)成本。

源于 Mobvista技術(shù)中臺戰(zhàn)略

在 EnginePlus 2.0 一站式云原生大數(shù)據(jù)AI平臺的背后，是整個 Mobvista 技術(shù)中臺。打破業(yè)務(wù)邊界，Mobvista 技術(shù)中臺通過聚合協(xié)同作用對外賦能。

2017年，Mobvista 啟動中臺戰(zhàn)略，自主研發(fā)以 AI+Big Data 為核心的技術(shù)中臺架構(gòu)。此時正值 Mobvista 旗下移動程序化廣告平臺 Mintegral、數(shù)據(jù)分析平臺 GameAnalytics 的快速發(fā)展，以及集團(tuán)提出國際化戰(zhàn)略，進(jìn)一步拓展全球業(yè)務(wù)。

2018年，多個技術(shù)中臺產(chǎn)品成功研發(fā)并成功賦能業(yè)務(wù)，包括數(shù)據(jù)中臺 Datatory、大數(shù)據(jù)計算平臺 EnginePlus、大規(guī)模機(jī)器學(xué)習(xí)中臺 MindAlpha 以及基于云原生架構(gòu)開發(fā)出的彈性集群管理平臺 SpotMax。Mobvista 將技術(shù)中臺產(chǎn)品化，對外發(fā)布，旨在以智能技術(shù)驅(qū)動增長。

從自研走向商業(yè)化，Mobvista 技術(shù)中臺——這個為全公司各業(yè)務(wù)提供解決方案的團(tuán)隊，正在邁出對外賦能的更多步。無論是 Datatory、EnginePlus、MindAlpha 還是已經(jīng)成為集團(tuán)二級品牌的 SpotMax，這些產(chǎn)品均來自于 Mobvista 的大規(guī)模業(yè)務(wù)實踐。在深度融合業(yè)務(wù)需求場景的同時，Mobvista 技術(shù)中臺從中沉淀出平臺能力，不斷復(fù)用，使之產(chǎn)品化、商業(yè)化，對外創(chuàng)造價值。

而這與 Mobvista 所提出的「SaaS 工具生態(tài)」戰(zhàn)略相一致。互聯(lián)網(wǎng)的「技術(shù)溢出效應(yīng)」正在加速數(shù)字化轉(zhuǎn)型，Mobvista 正在由技術(shù)創(chuàng)新者變?yōu)榧夹g(shù)輸出者。

市場需求在爆發(fā)，數(shù)據(jù)技術(shù)在更迭。對于任何想要加速數(shù)字化轉(zhuǎn)型的企業(yè)來說，EnginePlus 2.0 都能通過一體化的產(chǎn)品解決方案，助力企業(yè)的數(shù)字化進(jìn)程并實際有效地推動企業(yè)的業(yè)務(wù)發(fā)展。

從互聯(lián)網(wǎng)廣告、電商行業(yè)到金融風(fēng)控，EnginePlus 2.0 已成功賦能數(shù)家國內(nèi)企業(yè)、海外企業(yè)的業(yè)務(wù)發(fā)展。

以 Mobvista 旗下程序化互動式廣告平臺 Mintegral 為例，其日均數(shù)據(jù)量已達(dá) PB 級，需調(diào)度數(shù)萬 CPU 核心。在使用 EnginePlus 2.0 后，Mintegral 能實時處理用戶行為特征，進(jìn)行毫秒級反饋。在每天千億次 DNN 模型預(yù)測請求下，滿足萬億級排序量的排序業(yè)務(wù)服務(wù)，有效奠定了 Mintegral 在全球的領(lǐng)先地位。此外，在 EnginePlus 2.0 賦能下，某互聯(lián)網(wǎng)出海金融公司的業(yè)務(wù)表現(xiàn)指標(biāo)迅速提升20%+。

“EnginePlus 2.0 融合了豐富行業(yè)套件、開源代碼、數(shù)據(jù)算法模型，能幫助開發(fā)者在數(shù)據(jù)分析、技術(shù)開發(fā)、業(yè)務(wù)發(fā)展提供可靠精準(zhǔn)的分析應(yīng)用能力。讓客戶能站在眾人肩膀上，快速建立起從數(shù)據(jù)攝入、分析到 AI 模型離線訓(xùn)練、在線預(yù)測的一體化能力?！盡obvista 集團(tuán)副總裁朱亞東博士表示。

“當(dāng)然，在經(jīng)歷業(yè)務(wù)的大規(guī)模實踐和可行性驗證下，我們積累了更多經(jīng)驗和專業(yè)知識，為客戶提供部署服務(wù)，幫助他們用最低的技術(shù)門檻、最低的成本、更小的風(fēng)險實現(xiàn)數(shù)字化轉(zhuǎn)型、智能化升級。我們希望成為中國版AI加持的Databricks，跨越數(shù)據(jù)爆發(fā)式增長到智能處理之間的鴻溝，構(gòu)建新一代的基建體系?！?/p>

數(shù)字化轉(zhuǎn)型發(fā)展前景廣闊。結(jié)合多年技術(shù)經(jīng)驗與行業(yè)積累，Mobvista 正在為更多企業(yè)組織打造 SaaS工具生態(tài)，以技術(shù)產(chǎn)品、實踐經(jīng)驗賦能行業(yè)的智能化升級。

zhangnn