核心技術(shù)方面,F(xiàn)LIP(Flink Improvement Proposal)是 Flink 核心設(shè)計(jì)提案,代表了Flink發(fā)展路線圖中最核心、最重要的功能和設(shè)計(jì)落地。阿里巴巴與Ververica共主導(dǎo)了211 個(gè)FLIP,貢獻(xiàn)了Flink 70%以上的核心改進(jìn)。其中,最為值得關(guān)注的有:2019年,用Blink planner替代Flink SQL 舊引擎,帶領(lǐng) Flink SQL 在性能、功能、穩(wěn)定性上全面生產(chǎn)可用,成為 Flink 用戶構(gòu)建實(shí)時(shí)應(yīng)用的首選 API;從2020年開始,力推“流批一體”架構(gòu)演進(jìn)和大規(guī)模實(shí)踐落地;積極推進(jìn)Flink擁抱AI和云原生。

人才培養(yǎng)方面,阿里與Ververica共累計(jì)培養(yǎng)了近70位Flink核心貢獻(xiàn)者(含項(xiàng)目管理委員會(huì)PMC成員和活躍貢獻(xiàn)者committer),占比超70%。社區(qū)運(yùn)營方面,阿里在2018年把Apache Flink 社區(qū)官方技術(shù)大會(huì)Flink Forward引入亞洲,2019-2022年間,連續(xù)舉辦了4屆FFA大會(huì)(Flink Forward Asia);不定期舉辦各種類型線下 Meetup,已累計(jì)上百場;投入大量精力打造Flink中文社區(qū),大力推廣Flink生態(tài),吸引及培養(yǎng)Flink開發(fā)人才。

應(yīng)用落地方面,Apple、Capital One、eBay、Ericsson等全球知名公司使用Flink處理實(shí)時(shí)數(shù)據(jù),基于Flink的實(shí)時(shí)化技術(shù)升級走向成熟。大規(guī)模應(yīng)用也帶來了社區(qū)貢獻(xiàn)的蓬勃發(fā)展,以Flink CDC為例,自2021年開始,吸引了Decodable、Cloudera等多家海外知名企業(yè)集成。云服務(wù)是開源技術(shù)最廣泛的用戶實(shí)踐平臺,云廠商積極擁抱Flink技術(shù),如阿里云就基于Apache Flink推出了實(shí)時(shí)計(jì)算Flink云產(chǎn)品和全球統(tǒng)一的Flink企業(yè)版平臺Ververica Platform,推動(dòng)Flink在各行各業(yè)落地;目前,已在政務(wù)、金融、制造、零售、交通出行、傳媒、游戲、科技等行業(yè)大規(guī)模應(yīng)用,幫助上千家全球企業(yè)更高效地進(jìn)行實(shí)時(shí)業(yè)務(wù)升級。根據(jù)不完全統(tǒng)計(jì),使用Flink的非互聯(lián)網(wǎng)企業(yè)占比已超過30%。

2021年Ververica Platform挺進(jìn)權(quán)威咨詢機(jī)構(gòu)Forrester數(shù)據(jù)流分析報(bào)告“強(qiáng)勁者表現(xiàn)者”象限。

大幅降低開發(fā)門檻 向“流式數(shù)倉”演進(jìn)

目前,F(xiàn)link已推出1.16版本,在批處理方面,完成了易用性、穩(wěn)定性、性能全方位的改進(jìn),是 Flink 批處理的里程碑式版本,是走向成熟的重要一步;在流處理方面,也完成了很多重大改進(jìn),毫秒級Checkpoint大幅提升用戶容錯(cuò)體驗(yàn),常被用戶詬病的多個(gè)痛點(diǎn)也得以解決。這標(biāo)志著Flink社區(qū)正一步步推動(dòng)Streaming Warehouse(流式數(shù)倉)從概念變?yōu)楝F(xiàn)實(shí),并走向成熟。

阿里巴巴開源委員會(huì)副主席、阿里云開源大數(shù)據(jù)平臺負(fù)責(zé)人、Flink中文社區(qū)發(fā)起人王峰表示,F(xiàn)link 擊敗Storm成為新一代流計(jì)算引擎的關(guān)鍵點(diǎn)在于,它是一款有狀態(tài)的流計(jì)算,除了低延遲、高吞吐的流計(jì)算能力,它能將流計(jì)算和狀態(tài)存儲進(jìn)行有機(jī)融合,從而在框架層支持整個(gè)流計(jì)算狀態(tài)的精準(zhǔn)數(shù)據(jù)一致性。

2019 年,阿里將Blink SQL 貢獻(xiàn)給Flink 社區(qū),解決了計(jì)算層的體驗(yàn)問題,大幅降低了開發(fā)門檻,使得Flink 的應(yīng)用得到爆炸式增長。Flink 社區(qū)下一步將繼續(xù)提升計(jì)算、存儲一體化體驗(yàn),通過Flink 的流批一體SQL和流批一體存儲,構(gòu)建一套真正一體化體驗(yàn)的流式數(shù)倉。

“阿里巴巴積極擁抱開源,貢獻(xiàn)開源、引領(lǐng)開源。”王峰表示,“Flink是阿里代表性開源項(xiàng)目之一,未來會(huì)持續(xù)對其進(jìn)行投入。我們會(huì)繼續(xù)朝著流式數(shù)倉的方向努力,真正意義上完成流批一體計(jì)算與存儲的融合,讓數(shù)倉的數(shù)據(jù)流動(dòng)起來,為全球的用戶提供更優(yōu)質(zhì)的服務(wù)與支持?!?/p>

分享到

xiesc

相關(guān)推薦