易觀OLAP算法大賽商業(yè)組頒獎儀式
開源組三甲:
第一名:廣州向量線科技 韋萬和李本旺
在開源組比賽中韋萬和李本旺另辟蹊徑,向北取經。使用目前國內鮮為人知的俄羅斯神級開源軟件ClickHouse參賽。利用ClickHouse超強分析性能和靈活的架構特點,使得集群間節(jié)點的計算完全并行化,同時優(yōu)化底層的存儲和上層的計算細節(jié),挖掘CPU cache、向量化執(zhí)行和具體算法優(yōu)化方面的潛力。憑借在時效和精度上的優(yōu)異表現(xiàn),韋萬和李本旺團隊成為本屆大賽最大黑馬,獲得開源組第一名。
第二名:美團點評 孫業(yè)銳
美團點評團隊基于自身的業(yè)務優(yōu)勢經驗,設計了本次參賽的解題思路。用bitmap快速過濾和基于時間戳序列匹配的算法,利用Apache Spark、Alluxio等開源框架快速落地實現(xiàn),使用了一系列工程優(yōu)化方法,在每日數(shù)百億條日志和百萬屬性的數(shù)據(jù)集上,實現(xiàn)有序漏斗的秒級查詢。在易觀正式數(shù)據(jù)環(huán)境中,在26億數(shù)據(jù),400萬用戶,幾十個屬性的場景下,美團點評團隊均實現(xiàn)了快速查詢。
第三名:北京郵電大學 盧躍凱
易觀OLAP算法大賽還吸引了來自計算機名門高校的個人選手。北京郵電大學的研究生盧躍凱,采用了HDFS作為儲存,將Spark作為數(shù)據(jù)預處理和核心過濾算法實現(xiàn)。借鑒最長遞增子序列的存儲和更新思想,將查找每個用戶轉化率的時間復雜度變?yōu)榱?(n),提升了漏斗計算的效率。
易觀OLAP算法大賽開源組頒獎儀式
開源組10萬元現(xiàn)金獎勵
易觀OLAP大賽為每組前三名的團隊頒發(fā)獲獎證書,同時開源組第一名還將獲得UCloud提供的10萬元現(xiàn)金獎勵。據(jù)悉,韋萬和李本旺獲得開源組第一名后注冊了自己的公司,將對算法技術進行更深入的研究和落地實踐。
開源組第一名10萬元現(xiàn)金獎勵授予儀式
賽制公正具有含金量
2017易觀OLAP算法大賽在“有序漏斗”的實時計算效率和精確度上得到突破性的好成績,這離不開易觀海量的數(shù)據(jù)支撐以及UCloud強大的技術支持。
一直以來,UCloud都是易觀良好的合作伙伴,本次大賽UCloud為所有參賽團隊提供了穩(wěn)定的底層IT計算資源服務。比賽在4臺UCloud云主機16核、16G內存、SSD數(shù)據(jù)盤300G硬件的環(huán)境下進行。比賽時現(xiàn)給出8個不同的場景,同時開始計時,每個場景的運行時間須在8分鐘以內,8個場景總體比賽時間在1小時內,以此考察參賽團隊在不同場景下的實時計算精度和用時效率。每個場景根據(jù)事件的數(shù)量、事件的復雜程度、事件的屬性、時間窗口的大小等差異賦予不同的權重??偡譃閱蝹€場景乘以該場景權重的累加所得。在8個場景中,運行時間最短且精確度最高的隊伍獲勝。在正式數(shù)據(jù)環(huán)境開跑階段,還進行全程錄像,確保比賽成果的含金量。
作為易觀A10峰會的重要項目,OLAP算法大賽不僅為技術黑馬提供大展拳腳的道場,同時還為行業(yè)挖掘出更多技術型人才和更優(yōu)秀解決方案。做技術領域的“伯樂”,讓世界看到更多“黑馬”,易觀致力于推進大數(shù)據(jù)應用創(chuàng)新。未來,易觀OLAP大賽取得的成果將用于數(shù)據(jù)產品的研發(fā)當中,從技術應用層面實踐“數(shù)以致用”。