eBay上海大數(shù)據(jù)峰會2014 參會嘉賓
本次大會雖然只有短短一天，但是卻以更加國際化的視野，幫助與會者了解全球大數(shù)據(jù)技術(shù)的發(fā)展趨勢;從行業(yè)應(yīng)用出發(fā)，探討大數(shù)據(jù)領(lǐng)域的實踐經(jīng)驗，深度剖析大數(shù)據(jù)的核心技術(shù)。
eBay上海大數(shù)據(jù)峰會2014 大會現(xiàn)場
eBay總經(jīng)理，eBay China Center of Excellence田衛(wèi)做了開場致辭，在感謝各位來賓的同時，對1500位報名但由于場地限制，未能來參會的朋友們也表示了歉意。大數(shù)據(jù)以迅雷不及掩耳之勢，迅速的擴(kuò)展到金融、娛樂、工作和生活中來。以打橋牌的經(jīng)歷為例，她介紹了自己如何通過一個”小數(shù)據(jù)“實現(xiàn)了價值。”打橋牌，不僅牌要打得好，還要運氣好，失誤少。我將大數(shù)據(jù)技術(shù)融入到橋牌中來，通過對大量數(shù)據(jù)的積累與分析，最終以新人身份沖入第14屆世界橋牌競標(biāo)賽。這足以說明數(shù)據(jù)分析的魅力。未來，eBay會開源幾個大數(shù)據(jù)平臺工具，將頂尖的大數(shù)據(jù)技術(shù)分享給世界。”
eBay全球數(shù)據(jù)架構(gòu)副總裁Debashis Saha則發(fā)表了題為“大數(shù)據(jù)基礎(chǔ)架構(gòu)的未來”的演講。如今有五分之一的美元是花費在網(wǎng)上，eBay已經(jīng)不僅僅是一家連接買家和賣家的電子商務(wù)公司。eBay目前有1.28億的活躍用戶，Paypal有1.43億活躍賬戶，200PB以上的數(shù)據(jù)。幾年前，Hadoop的出現(xiàn)為這些大數(shù)據(jù)的處理提供了可能。Debashis首先介紹了eBay如何在Hadoop的基礎(chǔ)上，擴(kuò)展平臺和工具，來適應(yīng)大數(shù)據(jù)商業(yè)的需求，在eBay的生態(tài)系統(tǒng)中，分為三層：Infrastructure，Platform和Services。接下來，Debashis介紹了eBay在深度數(shù)據(jù)分析和快速、實時分析方面所做的工作，包括對開源社區(qū)的貢獻(xiàn)。
國立臺灣大學(xué)卓越教授林智仁，作為作為機(jī)器學(xué)習(xí)的研究者，帶來了“大規(guī)模分布式機(jī)器學(xué)習(xí)”的分享。分布式機(jī)器學(xué)習(xí)還在很初期的階段，其帶來的最大挑戰(zhàn)是：以前在一臺機(jī)器上的算法、工具等都已經(jīng)基本失效，要考慮算法、系統(tǒng)和應(yīng)用等各個方面，但也有人說大量的數(shù)據(jù)中能夠更容易挖掘出有效數(shù)據(jù)。從技術(shù)角度來說，分布式機(jī)器學(xué)習(xí)的優(yōu)點是：1.可實現(xiàn)并行數(shù)據(jù)加載，提高加載效率;2.容錯機(jī)制。但分布式機(jī)器學(xué)習(xí)也有缺點：深度分析使流程更加復(fù)雜。如果真的要采用分布式機(jī)器學(xué)習(xí)，就要考慮數(shù)據(jù)的計算時間，加載時間和同步時間，而在過去的機(jī)器學(xué)習(xí)中，大部分場景中卻只考慮了計算時間。最后，林智仁介紹了幾個分布式機(jī)器學(xué)習(xí)的算法及其應(yīng)用場景，比如Logistic Regression問題的分布式實現(xiàn)，Google的Sibyl系統(tǒng)，并以用戶的CTR預(yù)測應(yīng)用場景進(jìn)行了說明。
Druid創(chuàng)始人Eric Tschetter接下來發(fā)表演講“Druid之旅，大數(shù)據(jù)實時分析數(shù)據(jù)存儲框架”的演講。Eric以一個Demo開場介紹了Druid。Druid是一個開源的、實時處理數(shù)據(jù)庫，主要用于數(shù)據(jù)量較大、多維度數(shù)據(jù)的場景，滿足不宕機(jī)的數(shù)據(jù)分析需求，在Druid之前，他們嘗試過RDBMS(加載速度過慢)、NoSQL存儲(隨著維度的增加，效率降低)，由于各種缺陷開始了Druid的開發(fā)。Druid將歷史數(shù)據(jù)和實時數(shù)據(jù)分開，Realtime Nodes、Historical Nodes，還有Broker Nodes，再將兩者進(jìn)行合并處理。接下來Eric詳細(xì)介紹了Druid的數(shù)據(jù)存儲形式和處理方式。
eBay全球平臺架構(gòu)資深架構(gòu)師Sami Ben-romdhane詳細(xì)介紹了“Eagle：Hadoop平臺監(jiān)控、預(yù)警及自動化”的實踐經(jīng)驗。eBay的Hadoop平臺團(tuán)隊，包括9位中國工程師和11位美國工程師，Eagle完全由中國的團(tuán)隊開發(fā)。eBay的Hadoop節(jié)點從2007年的幾個，發(fā)展到2014年的10000個，Hadoop集群的管理成為難點，Eagle應(yīng)運而生。Eagle的應(yīng)用場景包括監(jiān)控M/R作業(yè)，作業(yè)性能的分析，服務(wù)器異常檢測，管理SLA作業(yè)，監(jiān)控節(jié)點審計日志，監(jiān)控HDFS鏡像，監(jiān)控進(jìn)程GC日志等。Eagle的主要組件包括Eagle Data Feeder，Eagle Logstash Integration，Eagle Data Storage，Eagle Query Service，Eagle Anomaly Detection，Sami分別對其做了詳細(xì)解說，并介紹了Eagle完全由中國團(tuán)隊開發(fā)完成。
EV Analysis Corporation首席數(shù)據(jù)科學(xué)家Ying Li則分享了數(shù)據(jù)科學(xué)的實踐。Ying Li首先介紹了數(shù)據(jù)科學(xué)的定義和自己多年積累的實踐原則：Question，用問題指引工作;Unknowns，知道你的盲點;Explore，從不同角度看數(shù)據(jù);Scrupulous vs. Speed, Science vs. Scrappiness;Truth，數(shù)據(jù)和現(xiàn)實的關(guān)聯(lián)。認(rèn)為數(shù)據(jù)科學(xué)的一個重要性質(zhì)是可重復(fù)性，而評價數(shù)據(jù)科學(xué)家的一個重要指標(biāo)則是其代表作。
CSDN云計算日前翻譯的《Kylin正式發(fā)布：面向大數(shù)據(jù)的終極OLAP引擎方案》引發(fā)了開發(fā)者對麒麟(Kyllin)極大的興趣。eBay資深架構(gòu)師蔣旭對剛剛開源的技術(shù)Kylin——基于Hadoop的大規(guī)模聯(lián)機(jī)分析引擎，進(jìn)行了深入的分析。隨著eBay大量數(shù)據(jù)都遷移到Hadoop上，如何讀取數(shù)據(jù)?如何達(dá)到百億數(shù)量級的數(shù)據(jù)，秒級時間內(nèi)就能收到數(shù)據(jù)分析結(jié)果?而Hive又太慢了，eBay開發(fā)了Kylin來完成這個任務(wù)。對于開發(fā)者關(guān)心的“現(xiàn)在已經(jīng)有很多SQL-on-Hadoop技術(shù)了，為什么還要重復(fù)造車輪?”這個問題，蔣旭詳細(xì)分析了現(xiàn)有系統(tǒng)的問題，多數(shù)選擇ROLAP的模式，數(shù)據(jù)集一大，查詢延遲特別長。為此，eBay選擇了MOLAP和ROLAP的混合模式，并堅持盡量使用Hadoop已有功能的原則，Kylin支持ANSI SQL查詢。并能與現(xiàn)有商業(yè)智能工具無縫的整合，比如Tableau。 支持TB到PB級別的快速查詢能力。麒麟(Kylin)是完全由中國團(tuán)隊研發(fā)并貢獻(xiàn)到開源社區(qū)的產(chǎn)品，目前正在提交到Apache孵化器項目。
騰訊數(shù)據(jù)平臺部精準(zhǔn)推薦中心總監(jiān)李勇則以“騰訊大數(shù)據(jù)平臺與推薦應(yīng)用架構(gòu)”作為峰會的結(jié)尾。騰訊的月活躍用戶8.3億，微信月活躍用戶4.4億，QQ空間月活躍用戶6.5億，游戲月活躍用戶過億。如今騰訊的數(shù)據(jù)分析已經(jīng)能做到始終“不落地”，即全部的實時處理。騰訊大數(shù)據(jù)平臺有如下核心模塊：TDW、TRC、TDBank、TPR和Gaia。簡單來說，TDW用來做批量的離線計算，TRC負(fù)責(zé)做流式的實時計算，TPR負(fù)責(zé)精準(zhǔn)推薦，TDBank則作為統(tǒng)一的數(shù)據(jù)采集入口，而底層的Gaia則負(fù)責(zé)整個集群的資源調(diào)度和管理。李勇還特別強調(diào)了數(shù)據(jù)平臺體系化是應(yīng)用基礎(chǔ)，數(shù)據(jù)應(yīng)用商業(yè)化是價值導(dǎo)向。
本次大數(shù)據(jù)峰會是一次數(shù)百名業(yè)內(nèi)人士齊聚的深度技術(shù)實踐之旅，通過業(yè)界頂級專家的技術(shù)分享，幫助數(shù)據(jù)分析人員、數(shù)據(jù)科學(xué)家們，走出原先的框架看看新技術(shù)新架構(gòu)下的技術(shù)實踐，不要總是桎梏于傳統(tǒng)的思路和方法。同時本次大數(shù)據(jù)峰會希望可以利用專業(yè)知識和行業(yè)經(jīng)驗，幫著那些”求大數(shù)據(jù)若渴“的行業(yè)用戶們好好定位下對他們真正有價值的新應(yīng)用場景，設(shè)計更多的有意義的分布式算法和機(jī)器學(xué)習(xí)模型，真正幫助他們解決大數(shù)據(jù)應(yīng)用之惑。
更多內(nèi)容詳見 eBay上海大數(shù)據(jù)峰會2014
