2014年10月25日，由eBay、CSDN共同舉辦的“大數(shù)據(jù)峰會”在上海豫園萬麗酒店成功舉辦。本次活動由CSDN&《程序員》總編劉江主持，eBay全球數(shù)據(jù)架構副總裁Debashis Saha，eBay全球平臺架構資深架構師Sami Ben-romdhane，eBay資深架構師蔣旭，Druid創(chuàng)始人Eric Tschetter，EV Analysis Corporation首席數(shù)據(jù)科學家Ying Li，騰訊數(shù)據(jù)平臺部精準推薦中心總監(jiān)李勇等嘉賓為大家奉上一場大數(shù)據(jù)的技術盛宴。

eBay上海大數(shù)據(jù)峰會2014 參會嘉賓

本次大會雖然只有短短一天，但是卻以更加國際化的視野，幫助與會者了解全球大數(shù)據(jù)技術的發(fā)展趨勢;從行業(yè)應用出發(fā)，探討大數(shù)據(jù)領域的實踐經驗，深度剖析大數(shù)據(jù)的核心技術。

eBay上海大數(shù)據(jù)峰會2014 大會現(xiàn)場

eBay總經理，eBay China Center of Excellence田衛(wèi)做了開場致辭，在感謝各位來賓的同時，對1500位報名但由于場地限制，未能來參會的朋友們也表示了歉意。大數(shù)據(jù)以迅雷不及掩耳之勢，迅速的擴展到金融、娛樂、工作和生活中來。以打橋牌的經歷為例，她介紹了自己如何通過一個”小數(shù)據(jù)“實現(xiàn)了價值。”打橋牌，不僅牌要打得好，還要運氣好，失誤少。我將大數(shù)據(jù)技術融入到橋牌中來，通過對大量數(shù)據(jù)的積累與分析，最終以新人身份沖入第14屆世界橋牌競標賽。這足以說明數(shù)據(jù)分析的魅力。未來，eBay會開源幾個大數(shù)據(jù)平臺工具，將頂尖的大數(shù)據(jù)技術分享給世界。”

eBay全球數(shù)據(jù)架構副總裁Debashis Saha則發(fā)表了題為“大數(shù)據(jù)基礎架構的未來”的演講。如今有五分之一的美元是花費在網(wǎng)上，eBay已經不僅僅是一家連接買家和賣家的電子商務公司。eBay目前有1.28億的活躍用戶，Paypal有1.43億活躍賬戶，200PB以上的數(shù)據(jù)。幾年前，Hadoop的出現(xiàn)為這些大數(shù)據(jù)的處理提供了可能。Debashis首先介紹了eBay如何在Hadoop的基礎上，擴展平臺和工具，來適應大數(shù)據(jù)商業(yè)的需求，在eBay的生態(tài)系統(tǒng)中，分為三層：Infrastructure，Platform和Services。接下來，Debashis介紹了eBay在深度數(shù)據(jù)分析和快速、實時分析方面所做的工作，包括對開源社區(qū)的貢獻。

國立臺灣大學卓越教授林智仁，作為作為機器學習的研究者，帶來了“大規(guī)模分布式機器學習”的分享。分布式機器學習還在很初期的階段，其帶來的最大挑戰(zhàn)是：以前在一臺機器上的算法、工具等都已經基本失效，要考慮算法、系統(tǒng)和應用等各個方面，但也有人說大量的數(shù)據(jù)中能夠更容易挖掘出有效數(shù)據(jù)。從技術角度來說，分布式機器學習的優(yōu)點是：1.可實現(xiàn)并行數(shù)據(jù)加載，提高加載效率;2.容錯機制。但分布式機器學習也有缺點：深度分析使流程更加復雜。如果真的要采用分布式機器學習，就要考慮數(shù)據(jù)的計算時間，加載時間和同步時間，而在過去的機器學習中，大部分場景中卻只考慮了計算時間。最后，林智仁介紹了幾個分布式機器學習的算法及其應用場景，比如Logistic Regression問題的分布式實現(xiàn)，Google的Sibyl系統(tǒng)，并以用戶的CTR預測應用場景進行了說明。

Druid創(chuàng)始人Eric Tschetter接下來發(fā)表演講“Druid之旅，大數(shù)據(jù)實時分析數(shù)據(jù)存儲框架”的演講。Eric以一個Demo開場介紹了Druid。Druid是一個開源的、實時處理數(shù)據(jù)庫，主要用于數(shù)據(jù)量較大、多維度數(shù)據(jù)的場景，滿足不宕機的數(shù)據(jù)分析需求，在Druid之前，他們嘗試過RDBMS(加載速度過慢)、NoSQL存儲(隨著維度的增加，效率降低)，由于各種缺陷開始了Druid的開發(fā)。Druid將歷史數(shù)據(jù)和實時數(shù)據(jù)分開，Realtime Nodes、Historical Nodes，還有Broker Nodes，再將兩者進行合并處理。接下來Eric詳細介紹了Druid的數(shù)據(jù)存儲形式和處理方式。

eBay全球平臺架構資深架構師Sami Ben-romdhane詳細介紹了“Eagle：Hadoop平臺監(jiān)控、預警及自動化”的實踐經驗。eBay的Hadoop平臺團隊，包括9位中國工程師和11位美國工程師，Eagle完全由中國的團隊開發(fā)。eBay的Hadoop節(jié)點從2007年的幾個，發(fā)展到2014年的10000個，Hadoop集群的管理成為難點，Eagle應運而生。Eagle的應用場景包括監(jiān)控M/R作業(yè)，作業(yè)性能的分析，服務器異常檢測，管理SLA作業(yè)，監(jiān)控節(jié)點審計日志，監(jiān)控HDFS鏡像，監(jiān)控進程GC日志等。Eagle的主要組件包括Eagle Data Feeder，Eagle Logstash Integration，Eagle Data Storage，Eagle Query Service，Eagle Anomaly Detection，Sami分別對其做了詳細解說，并介紹了Eagle完全由中國團隊開發(fā)完成。

EV Analysis Corporation首席數(shù)據(jù)科學家Ying Li則分享了數(shù)據(jù)科學的實踐。Ying Li首先介紹了數(shù)據(jù)科學的定義和自己多年積累的實踐原則：Question，用問題指引工作;Unknowns，知道你的盲點;Explore，從不同角度看數(shù)據(jù);Scrupulous vs. Speed, Science vs. Scrappiness;Truth，數(shù)據(jù)和現(xiàn)實的關聯(lián)。認為數(shù)據(jù)科學的一個重要性質是可重復性，而評價數(shù)據(jù)科學家的一個重要指標則是其代表作。

CSDN云計算日前翻譯的《Kylin正式發(fā)布：面向大數(shù)據(jù)的終極OLAP引擎方案》引發(fā)了開發(fā)者對麒麟(Kyllin)極大的興趣。eBay資深架構師蔣旭對剛剛開源的技術Kylin——基于Hadoop的大規(guī)模聯(lián)機分析引擎，進行了深入的分析。隨著eBay大量數(shù)據(jù)都遷移到Hadoop上，如何讀取數(shù)據(jù)?如何達到百億數(shù)量級的數(shù)據(jù)，秒級時間內就能收到數(shù)據(jù)分析結果?而Hive又太慢了，eBay開發(fā)了Kylin來完成這個任務。對于開發(fā)者關心的“現(xiàn)在已經有很多SQL-on-Hadoop技術了，為什么還要重復造車輪?”這個問題，蔣旭詳細分析了現(xiàn)有系統(tǒng)的問題，多數(shù)選擇ROLAP的模式，數(shù)據(jù)集一大，查詢延遲特別長。為此，eBay選擇了MOLAP和ROLAP的混合模式，并堅持盡量使用Hadoop已有功能的原則，Kylin支持ANSI SQL查詢。并能與現(xiàn)有商業(yè)智能工具無縫的整合，比如Tableau。 支持TB到PB級別的快速查詢能力。麒麟(Kylin)是完全由中國團隊研發(fā)并貢獻到開源社區(qū)的產品，目前正在提交到Apache孵化器項目。

騰訊數(shù)據(jù)平臺部精準推薦中心總監(jiān)李勇則以“騰訊大數(shù)據(jù)平臺與推薦應用架構”作為峰會的結尾。騰訊的月活躍用戶8.3億，微信月活躍用戶4.4億，QQ空間月活躍用戶6.5億，游戲月活躍用戶過億。如今騰訊的數(shù)據(jù)分析已經能做到始終“不落地”，即全部的實時處理。騰訊大數(shù)據(jù)平臺有如下核心模塊：TDW、TRC、TDBank、TPR和Gaia。簡單來說，TDW用來做批量的離線計算，TRC負責做流式的實時計算，TPR負責精準推薦，TDBank則作為統(tǒng)一的數(shù)據(jù)采集入口，而底層的Gaia則負責整個集群的資源調度和管理。李勇還特別強調了數(shù)據(jù)平臺體系化是應用基礎，數(shù)據(jù)應用商業(yè)化是價值導向。

本次大數(shù)據(jù)峰會是一次數(shù)百名業(yè)內人士齊聚的深度技術實踐之旅，通過業(yè)界頂級專家的技術分享，幫助數(shù)據(jù)分析人員、數(shù)據(jù)科學家們，走出原先的框架看看新技術新架構下的技術實踐，不要總是桎梏于傳統(tǒng)的思路和方法。同時本次大數(shù)據(jù)峰會希望可以利用專業(yè)知識和行業(yè)經驗，幫著那些”求大數(shù)據(jù)若渴“的行業(yè)用戶們好好定位下對他們真正有價值的新應用場景，設計更多的有意義的分布式算法和機器學習模型，真正幫助他們解決大數(shù)據(jù)應用之惑。

更多內容詳見 eBay上海大數(shù)據(jù)峰會2014