8月18日，ArchSummit全球架構(gòu)師峰會(huì)在北京舉行。

字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)負(fù)責(zé)人羅旋、極客邦雙數(shù)研究院特聘專家/精益數(shù)據(jù)方法創(chuàng)始人史凱、第四范式研發(fā)副總裁/基礎(chǔ)技術(shù)負(fù)責(zé)人鄭曌、經(jīng)緯中國(guó)高級(jí)投資經(jīng)理謝巖圍繞“數(shù)字化實(shí)踐”等多個(gè)主題進(jìn)行了經(jīng)驗(yàn)分享。

隨著互聯(lián)網(wǎng)流量紅利的日漸消退，部分企業(yè)正通過(guò)“數(shù)據(jù)驅(qū)動(dòng)”挖掘更深層次的業(yè)務(wù)價(jià)值，進(jìn)入精益運(yùn)營(yíng)時(shí)代。

作為國(guó)內(nèi)率先踐行“數(shù)據(jù)驅(qū)動(dòng)”理念的企業(yè)之一，字節(jié)跳動(dòng)近年來(lái)備受關(guān)注。

峰會(huì)上，羅旋用“快”和“多”兩個(gè)字，概括了字節(jié)跳動(dòng)過(guò)去幾年的發(fā)展特征，并指出正是在這樣的背景下，字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)完成了9年的演進(jìn)。

優(yōu)先解決最顯露的業(yè)務(wù)問(wèn)題

“快，是業(yè)務(wù)發(fā)展快，2012年推出的今日頭條APP用兩年時(shí)間就實(shí)現(xiàn)了用戶破千萬(wàn)，抖音APP上線17個(gè)月DAU破億，”羅旋在分享中解釋了他所理解的字節(jié)跳動(dòng)發(fā)展，“多，則是業(yè)務(wù)類型多樣，除今日頭條、抖音為代表的圖文信息流、短視頻外，近年來(lái)字節(jié)跳動(dòng)還發(fā)展出包括電商、toB等多條業(yè)務(wù)線?！?/p>

2014年，字節(jié)跳動(dòng)開始了數(shù)據(jù)平臺(tái)建設(shè)。與同時(shí)期大多數(shù)企業(yè)的數(shù)據(jù)建設(shè)體系不同，字節(jié)跳動(dòng)在路徑選擇上摒棄了大而全的規(guī)劃，而是聚焦當(dāng)時(shí)業(yè)務(wù)所面臨的實(shí)際問(wèn)題，優(yōu)先解決業(yè)務(wù)痛點(diǎn)。

如果將字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)的建設(shè)歷程拆解來(lái)看，其實(shí)不難發(fā)現(xiàn)大致可以分出4個(gè)演進(jìn)節(jié)點(diǎn)。

首先是為了解決業(yè)務(wù)最直接暴露出來(lái)的問(wèn)題的階段，如滿足業(yè)務(wù)隨時(shí)迭代上線需求，羅旋將其稱為“原始階段”。

在這個(gè)階段，A/B測(cè)試是解決業(yè)務(wù)結(jié)果驗(yàn)證問(wèn)題的重要工具，即便是在今天，字節(jié)跳動(dòng)旗下產(chǎn)品的每一次迭代背后，都還有A/B測(cè)試的身影，“像當(dāng)時(shí)今日頭條迭代發(fā)版，很多業(yè)務(wù)側(cè)的提問(wèn)我們都能用A/B測(cè)試的實(shí)驗(yàn)數(shù)據(jù)來(lái)解答，很實(shí)用而且高效?！?/p>

在之后幾年，隨著應(yīng)用場(chǎng)景增多，A/B測(cè)試的功能也在不斷豐富完善，并于2016年正式形成標(biāo)準(zhǔn)化服務(wù)式產(chǎn)品，并在內(nèi)部以Libra命名，這也是字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)的第一款自研產(chǎn)品。

發(fā)力引擎層建設(shè)

最上層的業(yè)務(wù)問(wèn)題逐步有了敏捷穩(wěn)定的解決通路，但另一方面，原本覆蓋在業(yè)務(wù)表現(xiàn)之下的數(shù)據(jù)層卻以指數(shù)型增長(zhǎng)的速度暴露出更多難題，這也推動(dòng)著字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)進(jìn)入第二階段。

2017年，以抖音為代表的業(yè)務(wù)數(shù)據(jù)量急速膨脹，不斷挑戰(zhàn)原本數(shù)據(jù)平臺(tái)的能力邊界。羅旋舉例，2017年之前，數(shù)據(jù)平臺(tái)每天處理的數(shù)據(jù)量大約在200TB，但去年這個(gè)數(shù)字已經(jīng)達(dá)到了1500PB，數(shù)據(jù)平臺(tái)日新增數(shù)據(jù)大約在40PB。

成長(zhǎng)太快帶來(lái)的問(wèn)題很明顯，他提到很多時(shí)候?qū)?shù)據(jù)鏈路個(gè)環(huán)節(jié)進(jìn)行優(yōu)化處理，不只是因?yàn)槌杀?，很多時(shí)候是因?yàn)橘Y源不夠，“導(dǎo)致我們必須要去這么做”。

也正因如此，通過(guò)優(yōu)化來(lái)解決數(shù)據(jù)量和分析效率，成為字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)首要的一個(gè)突破重點(diǎn)，并為此做了諸多選型嘗試，如Presto、Kylin、Druid 等——但出于對(duì)“能夠處理海量數(shù)據(jù)、秒級(jí)響應(yīng)的超高性能、自主靈活的分析模式”這三項(xiàng)基本需求的考慮，字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)最終選定ClickHouse為長(zhǎng)線使用的OLAP查詢引擎，并基于自身發(fā)展實(shí)際情況做了大量二次開發(fā)和優(yōu)勢(shì)強(qiáng)化。

同時(shí)聚焦提升資源利用率、降低運(yùn)維成本、提升數(shù)據(jù)實(shí)時(shí)性三大性能點(diǎn)，字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)通過(guò)火山引擎對(duì)外發(fā)布ByteHouse。

截止到8月的數(shù)據(jù)顯示，ByteHouse在字節(jié)跳動(dòng)內(nèi)部的數(shù)據(jù)分析服務(wù)超過(guò)了2.5萬(wàn)個(gè)節(jié)點(diǎn)，單集群最大規(guī)?？梢赃_(dá)到2400個(gè)節(jié)點(diǎn)左右；從業(yè)務(wù)上來(lái)看，在字節(jié)內(nèi)部支撐了超過(guò)80%的字節(jié)分析應(yīng)用。

數(shù)據(jù)BP+中臺(tái)，中央廚房式協(xié)作

在歷經(jīng)原始階段和建設(shè)階段后，字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)的演變進(jìn)程進(jìn)入第三個(gè)階段，平臺(tái)階段。

在這一階段，字節(jié)跳動(dòng)已經(jīng)擁有非常多元迥異的業(yè)務(wù)線形態(tài)，“作為數(shù)據(jù)平臺(tái)，我們需要去考慮之前的經(jīng)驗(yàn)還有沒(méi)有用？如果要用，該怎么用？以及面對(duì)這么多不同的業(yè)務(wù)，應(yīng)該怎么更敏捷更深入地加以支持，等等?！?/p>

顯然，這些并不是依賴技術(shù)層面的優(yōu)化創(chuàng)新就能解決。

通過(guò)從HRBP（Human Resources Business Partner ，人力資源業(yè)務(wù)合作伙伴）中，字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)汲取到了靈感，并以此建立數(shù)據(jù)BP機(jī)制，探索中臺(tái)能力+數(shù)據(jù)BP的模式。

數(shù)據(jù)BP機(jī)制在組織形式上屬于可以統(tǒng)一管理調(diào)配的集中式，執(zhí)行上分布式到各個(gè)業(yè)務(wù)，解決業(yè)務(wù)問(wèn)題。這種組織方式的優(yōu)勢(shì)在于，盡管 BP 團(tuán)隊(duì)向上支撐了不同類型的業(yè)務(wù)線，但其實(shí)向下兼容了數(shù)據(jù)平臺(tái)底層的各項(xiàng)能力，具備相似的技能棧，對(duì)工具引擎的學(xué)習(xí)和使用是高效且順滑的。

作為數(shù)據(jù)平臺(tái)能力的解決方案提供方，數(shù)據(jù) BP 團(tuán)隊(duì)成員在組織上都匯報(bào)給數(shù)據(jù)平臺(tái)，統(tǒng)一培養(yǎng)和調(diào)度，相互學(xué)習(xí)經(jīng)驗(yàn)的角度，對(duì)中臺(tái)能力也保證足夠的熟悉度，以便根據(jù)不同業(yè)務(wù)的特性，靈活組合，提供綜合性的數(shù)據(jù)解決方案，也保證了復(fù)用性，不輕易重復(fù)造輪子；在具體工作時(shí)，又能分布在不同的業(yè)務(wù)線上，跟業(yè)務(wù)團(tuán)隊(duì)充分融合在一起，把自身視為業(yè)務(wù)線的一部分，保障與業(yè)務(wù)一起成功。

“就好比是一個(gè)中央廚房和餐廳的關(guān)系，”羅旋進(jìn)一步解釋道，“通過(guò)采摘或者購(gòu)入食材，進(jìn)行一系列復(fù)雜而標(biāo)準(zhǔn)化的加工，最終為各餐廳提供標(biāo)準(zhǔn)化的成品或者半成品的食物；而餐廳，則可以根據(jù)自己的用戶需要，煎炸烹煮各種方式來(lái)將這些食物組合加工形成一道道的菜，直接供客戶食用?！?/p>

其中，中央廚房就是中臺(tái)，而數(shù)據(jù)BP則承擔(dān)著餐廳的角色。

現(xiàn)階段，數(shù)據(jù)BP+中臺(tái)的模式在字節(jié)跳動(dòng)內(nèi)部已經(jīng)得到廣泛運(yùn)用。

2021年P(guān)ico正式并入字節(jié)跳動(dòng)，如何快速實(shí)現(xiàn)已有數(shù)據(jù)平臺(tái)對(duì)全新業(yè)務(wù)形態(tài)的適配與支持，成為難題。

但數(shù)據(jù)BP機(jī)制成為了一道突破口：通過(guò)數(shù)據(jù)BP團(tuán)隊(duì)率先融入業(yè)務(wù)了解業(yè)務(wù)形態(tài)，并梳理出當(dāng)前階段的數(shù)據(jù)狀況及痛點(diǎn)訴求，整理出相對(duì)完善的技術(shù)方案；使得基礎(chǔ)數(shù)據(jù)可以快速接入，同時(shí)進(jìn)行歷史數(shù)據(jù)遷移。

而當(dāng)基礎(chǔ)數(shù)據(jù)接入之后，Pico業(yè)務(wù)就能直接在字節(jié)數(shù)據(jù)平臺(tái)的體系中使用各種數(shù)據(jù)建設(shè)和數(shù)據(jù)分析應(yīng)用產(chǎn)品。

這一整套操作只用了3周時(shí)間，從Pico業(yè)務(wù)感知上來(lái)說(shuō)，基本屬于「即插即用」的體驗(yàn)。

此外，為了更好評(píng)估中臺(tái)+數(shù)據(jù)BP模式，字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)還提出了更具量化參考意義的體系標(biāo)準(zhǔn)，“0987”——穩(wěn)定性 SLA 核心指標(biāo)要達(dá)到 0 個(gè)事故，需求滿足率要達(dá)到 90%，數(shù)倉(cāng)構(gòu)建覆蓋 80% 的分析需求，同時(shí)用戶滿意度達(dá)到 70%。

如今，字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)在歷經(jīng)多年內(nèi)部業(yè)務(wù)場(chǎng)景實(shí)踐后，已在探索中臺(tái)+數(shù)據(jù)BP模式通過(guò)火山引擎的對(duì)外輸出，這也是字節(jié)跳動(dòng)數(shù)據(jù)平臺(tái)歷程發(fā)展的第四階段——To B階段。

截至目前，智能數(shù)據(jù)洞察DataWind、增長(zhǎng)分析 DataFinder 、 A/B 測(cè)試 DataTester、客戶數(shù)據(jù)平臺(tái)VeCDP、增長(zhǎng)營(yíng)銷平臺(tái)GMP、大數(shù)據(jù)研發(fā)套件DataLeap和云原生數(shù)據(jù)倉(cāng)庫(kù)ByteHouse等在字節(jié)跳動(dòng)內(nèi)部支持服務(wù)比較好的產(chǎn)品和經(jīng)驗(yàn)，已經(jīng)實(shí)現(xiàn)封裝成數(shù)據(jù)套件，并通過(guò)火山引擎全面對(duì)外提供服務(wù)。

“同時(shí)，我們也在嘗試數(shù)據(jù) BP 的是否能幫助到外部客戶，讓他們也享受到和抖音一樣的數(shù)據(jù)服務(wù)級(jí)別?！绷_旋補(bǔ)充道。

據(jù)了解，僅在過(guò)去一年時(shí)間， 火山引擎的多款數(shù)據(jù)產(chǎn)品已被陜西旅游集團(tuán)、服裝品牌 Levi’s 、得到APP、買什么都省APP、慢慢買APP等文旅、零售、互聯(lián)網(wǎng)在內(nèi)的多個(gè)行業(yè)頭部企業(yè)應(yīng)用，并獲得實(shí)效。

xiesc