在舊金山舉行的2014 Google I/O大會(huì)上，Google技術(shù)基礎(chǔ)設(shè)施高級(jí)副總裁Urs Hölzle宣布了一項(xiàng)新的云分析系統(tǒng)Cloud Dataflow。

Cloud Dataflow還將作為一項(xiàng)服務(wù)提供給使用Google云計(jì)算平臺(tái)的開發(fā)者，它沒(méi)有MapReduce的規(guī)模限制。

“Cloud Dataflow是數(shù)十年數(shù)據(jù)分析經(jīng)驗(yàn)的成果，”Hölzle說(shuō)。“和任何其他的系統(tǒng)相比，它的運(yùn)行速度更快，擴(kuò)展性更好。”

他表示，Cloud Dataflow是一項(xiàng)自動(dòng)優(yōu)化、部署、管理和擴(kuò)展的全面的管理服務(wù)。它允許開發(fā)人員使用統(tǒng)一的編程輕松地創(chuàng)建復(fù)雜的管道用于批處理和流媒體服務(wù)，并且可以迅速抓取任意大型數(shù)據(jù)集。

Google還表示，Cloud Dataflow可以通過(guò)動(dòng)態(tài)圖顯示數(shù)據(jù)流，Google演示了在本屆世界杯上巴西對(duì)陣克羅地亞時(shí)的Twitter社區(qū)討論追蹤，當(dāng)裁判“誤判點(diǎn)球”時(shí)，網(wǎng)友的反映變化一目了然。

Google認(rèn)為，Cloud Dataflow所有的這些特性解決了MapReduce搞不定的工作：它很難迅速攝取數(shù)據(jù)，它需要很多不同的技術(shù)，批處理和流是無(wú)關(guān)的，還有，MapReduce集群的部署和操作始終是必需的。

zhoujianding