ByteHouse+kafka實(shí)時(shí)數(shù)倉(cāng)架構(gòu)圖

在產(chǎn)品層面,布魯肯基于ByteHouse+Kafka搭建了實(shí)時(shí)數(shù)倉(cāng),滿足數(shù)據(jù)實(shí)時(shí)處理和分析的需求,確保廣告投放策略能夠快速響應(yīng)市場(chǎng)變化。來(lái)源于廣告終端的數(shù)據(jù),進(jìn)入Kafka集群,再經(jīng)過(guò)ByteHouse內(nèi)表和物化視圖加工,同步到數(shù)據(jù)應(yīng)用中,最終輔助廣告主、廣告平臺(tái)等進(jìn)行投放效果的評(píng)估、費(fèi)用結(jié)算等。

值得一提的是,為了更好地適配Kafka,ByteHouse內(nèi)置增強(qiáng)型 Kafka引擎,為數(shù)據(jù)寫入提供高性能保障。目前,布魯肯的實(shí)時(shí)數(shù)倉(cāng)已具備2GB/s的數(shù)據(jù)處理性能,在持續(xù)穩(wěn)定運(yùn)行中。

除此之外,ByteHouse還在系統(tǒng)擴(kuò)展性、資源成本兩方面,為布魯肯提供助力。ByteHouse和Kafka的分布式架構(gòu)優(yōu)勢(shì),讓布魯肯系統(tǒng)具備充分的靈活性,可以在分鐘級(jí)別下完成全鏈路擴(kuò)容,以便應(yīng)對(duì)廣告場(chǎng)景中常見(jiàn)的大促、節(jié)假日等流量高峰。為了進(jìn)一步壓縮成本,布魯肯基于ByteHouse熱數(shù)據(jù)自動(dòng)轉(zhuǎn)存到冷存儲(chǔ)的方式,有效緩解業(yè)務(wù)存儲(chǔ)空間持續(xù)增長(zhǎng)的問(wèn)題,實(shí)現(xiàn)了存儲(chǔ)成本降低20%以上。

“通過(guò)與ByteHouse的合作,我們快速完成了實(shí)時(shí)數(shù)倉(cāng)的建設(shè),兼顧高性能、低成本,后續(xù)也期待這套架構(gòu)能夠?yàn)楦嗪献骰锇樘峁┓?wù)?!辈剪斂螩EO董航麟表示。

分享到

xiesc

相關(guān)推薦