流計(jì)算在蘇寧的前世今生

課程簡(jiǎn)介：1. 流計(jì)算平臺(tái)的發(fā)展歷程

2014年到現(xiàn)在4年多的發(fā)展歷程，經(jīng)歷storm->spark streaming->flink的轉(zhuǎn)變，目前在轉(zhuǎn)變中。

2. storm及spark streaming的缺點(diǎn)&我們?yōu)槭裁催x擇flink？

（1）兼顧吞吐量和延時(shí)；（2）高效的狀態(tài)管理；（3）Exactly-Once的保證；（4）Event-Time

3. 關(guān)于flink，我們做了哪些工作？

（1）平臺(tái)層功能豐富：sql語(yǔ)法豐富（distinct，流表join)，算子自動(dòng)擴(kuò)縮容，connector(mysql, hbase，kafka1.0)，sink降速；（2）工具層：統(tǒng)一日志收集及展示、統(tǒng)一監(jiān)控管理平臺(tái)（平臺(tái)層&業(yè)務(wù)層）；（3）服務(wù)層：Dlink 一站式開(kāi)發(fā)平臺(tái)。

4. 未來(lái)展望

數(shù)據(jù)集成 && 機(jī)器學(xué)習(xí) && CEP 等

講師介紹：蘇寧易購(gòu)IT總部大數(shù)據(jù)平臺(tái)高級(jí)技術(shù)經(jīng)理陳豐，負(fù)責(zé)蘇寧易購(gòu)集團(tuán)大數(shù)據(jù)流計(jì)算平臺(tái)建設(shè)，包括Storm、SparkStreaming、Flink等組件，經(jīng)歷了流計(jì)算從組件化到平臺(tái)服務(wù)化到智能化的發(fā)展過(guò)程。對(duì)大數(shù)據(jù)開(kāi)源框架有較為豐富的經(jīng)驗(yàn)，在分布式計(jì)算架構(gòu)設(shè)計(jì)和系統(tǒng)優(yōu)化方面有自己的思考和領(lǐng)悟。

流式大數(shù)據(jù)和即時(shí)交互式分析技術(shù)

課程簡(jiǎn)介：大數(shù)據(jù)技術(shù)逐漸變成企業(yè)的標(biāo)配，漫長(zhǎng)的等待數(shù)據(jù)分析結(jié)果已經(jīng)不合時(shí)宜，延遲更低的流式大數(shù)據(jù)處理技術(shù)，即時(shí)分析變得越來(lái)越重要。在本論壇將給大家?guī)?lái)行業(yè)中領(lǐng)先的流式大數(shù)據(jù)，即時(shí)交互式分析技術(shù)的相關(guān)分享。

講師介紹：TalkingData研發(fā)副總裁閻志濤，現(xiàn)任TalkingData研發(fā)副總裁，領(lǐng)導(dǎo)研發(fā)了公司的數(shù)據(jù)管理平臺(tái)(DMP)、數(shù)據(jù)觀象臺(tái)等產(chǎn)品，并且負(fù)責(zé)公司大數(shù)據(jù)計(jì)算平臺(tái)的研發(fā)。目前專注于構(gòu)建一個(gè)融合多種計(jì)算模型，支持機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘的大數(shù)據(jù)計(jì)算平臺(tái)。關(guān)注Spark、Hadoop、HBase、MongoDB等技術(shù)。超過(guò)15年的IT領(lǐng)域從業(yè)經(jīng)驗(yàn)，一直從事大規(guī)模分布式計(jì)算系統(tǒng)、中間件、BI等相關(guān)工作。

流式計(jì)算在內(nèi)容資訊推薦服務(wù)的應(yīng)用

課程簡(jiǎn)介：流式計(jì)算一直是近年來(lái)赤手可熱的專業(yè)技術(shù)話題，內(nèi)容資訊也是互聯(lián)網(wǎng)發(fā)展近20年來(lái)一致持續(xù)受資本青睞的創(chuàng)業(yè)方向，本期內(nèi)容主要是向大家介紹流式計(jì)算在內(nèi)容資訊推薦方面的應(yīng)用，給大家介紹當(dāng)前主流資訊推薦服務(wù)流程，介紹其中用戶畫(huà)像的實(shí)時(shí)更新，這個(gè)也正是流式計(jì)算的典型應(yīng)用。

講師介紹：中東新媒體首席架構(gòu)師王成光，曾先后在百麗電商優(yōu)購(gòu)、搜狐、網(wǎng)易、一點(diǎn)資訊任職架構(gòu)師、技術(shù)專家等職位，一直從事搜索、數(shù)據(jù)挖掘和個(gè)性化推薦的設(shè)計(jì)、研發(fā)工作，曾多次從零構(gòu)建完整的搜索和推薦系統(tǒng)，曾開(kāi)源輕量級(jí)分布式實(shí)時(shí)計(jì)算框架light_drtc，并于2016年出版《分布式實(shí)時(shí)計(jì)算框架原理及實(shí)踐案例》。

Fred

baiyan