網(wǎng)易數(shù)帆有數(shù)產(chǎn)品總經(jīng)理余利華指出：從大數(shù)據(jù)底座、到數(shù)據(jù)中臺(tái)、再到數(shù)據(jù)應(yīng)用，每個(gè)鏈路都需要更好的打磨才能服務(wù)好客戶(hù)，才能夠達(dá)成實(shí)際業(yè)務(wù)中“人人用數(shù)據(jù)、時(shí)時(shí)用數(shù)據(jù)”的目標(biāo)，真正發(fā)揮數(shù)據(jù)生產(chǎn)力。以數(shù)據(jù)中臺(tái)為例，如今各個(gè)節(jié)點(diǎn)、系統(tǒng)的數(shù)據(jù)聚合成本越來(lái)越高，甚至拖慢了應(yīng)用交付，與此同時(shí)，數(shù)據(jù)應(yīng)用對(duì)實(shí)時(shí)數(shù)據(jù)的需求日趨增多;非結(jié)構(gòu)化數(shù)據(jù)理解也需要更多技術(shù)手段支撐。

針對(duì)大數(shù)據(jù)應(yīng)用現(xiàn)有的問(wèn)題，網(wǎng)易數(shù)帆旗下網(wǎng)易有數(shù)發(fā)布了全新的全鏈路數(shù)據(jù)生產(chǎn)力平臺(tái)2.0，推出了DataOps、邏輯數(shù)據(jù)湖、實(shí)時(shí)數(shù)據(jù)引擎、機(jī)器學(xué)習(xí)平臺(tái)等技術(shù)工具和解決方案。

與傳統(tǒng)瀑布流式開(kāi)發(fā)方式相比，DataOps引入DevOps的思想，在開(kāi)發(fā)、測(cè)試、部署階段過(guò)程中就對(duì)接有關(guān)數(shù)據(jù)，迭代式更新，針對(duì)不同階段的數(shù)據(jù)需求，提供一個(gè)跨越全流程的自動(dòng)化開(kāi)發(fā)工具。

從效果上看，網(wǎng)易云音樂(lè)使用DataOps對(duì)上線前代碼的風(fēng)險(xiǎn)進(jìn)行有效排查，自動(dòng)運(yùn)行測(cè)試，使得數(shù)據(jù)質(zhì)量問(wèn)題下降了接近90%，平均需求交付周期從5天下降到2.5天，效率提升100%。

“邏輯數(shù)據(jù)湖”核心價(jià)值就是統(tǒng)一源數(shù)據(jù)信息、數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)源，同時(shí)兼容遺留系統(tǒng)，支持Oracle/MySQL/Vertica等7類(lèi)系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)的統(tǒng)一開(kāi)發(fā)和統(tǒng)一治理，是一種物理分散、邏輯統(tǒng)一的數(shù)據(jù)中臺(tái)。

余利華指出，在不要求數(shù)據(jù)遷移的前提下，邏輯數(shù)據(jù)湖實(shí)現(xiàn)了數(shù)據(jù)中臺(tái)集中管理。

針對(duì)實(shí)時(shí)數(shù)據(jù)的使用需求，網(wǎng)易有數(shù)發(fā)布了實(shí)時(shí)數(shù)據(jù)湖引擎Arctic，在全鏈路的數(shù)據(jù)應(yīng)用節(jié)點(diǎn)上，網(wǎng)易數(shù)帆也分享了自己多年的實(shí)戰(zhàn)經(jīng)驗(yàn)，推出了有數(shù)機(jī)器學(xué)習(xí)平臺(tái)，去幫助企業(yè)理解及處理各種結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。

可以說(shuō)，網(wǎng)易有數(shù)全鏈路數(shù)據(jù)生產(chǎn)力平臺(tái)2.0從專(zhuān)業(yè)角度指出了目前大數(shù)據(jù)應(yīng)用的問(wèn)題。

實(shí)際上，不管是什么拖累了大數(shù)據(jù)應(yīng)用的推廣，對(duì)于用戶(hù)而言，數(shù)據(jù)應(yīng)用創(chuàng)新的需求是始終高漲的，以電商為例，無(wú)論是管理層，還是股東投資方，都希望能夠隨時(shí)看到銷(xiāo)售情況、以及貨物的銷(xiāo)售情況、需要補(bǔ)貨的情況，傳統(tǒng)的報(bào)表方式是沒(méi)有滿(mǎn)足需求，就需要各種大數(shù)據(jù)技術(shù)的加持。再例如物流行業(yè)，物流效率非常重要，有用戶(hù)想到的方法就是將數(shù)據(jù)應(yīng)用和企業(yè)微信進(jìn)行對(duì)接，榜單、排名等一目了然，極大提升了企業(yè)的管理效率。

所以，對(duì)于企業(yè)來(lái)說(shuō)，大數(shù)據(jù)“拖油瓶”爭(zhēng)論并不重要，企業(yè)關(guān)注還是解決應(yīng)用的問(wèn)題，這里的問(wèn)題有大有小，有些用戶(hù)數(shù)據(jù)系統(tǒng)眾多且標(biāo)準(zhǔn)不一，面臨的緊迫問(wèn)題是不同系統(tǒng)之間的數(shù)據(jù)治理問(wèn)題，就需要數(shù)據(jù)中臺(tái)的解決方案，對(duì)于創(chuàng)新企業(yè)和中小企業(yè)而言，數(shù)據(jù)應(yīng)用創(chuàng)新的需求更加迫切，能夠解決問(wèn)題的方案就是好方案。大數(shù)據(jù)生態(tài)有20多個(gè)功能模塊，相關(guān)的開(kāi)源項(xiàng)目層出不窮，如Hive、HBase等，不管它們稱(chēng)為數(shù)據(jù)倉(cāng)庫(kù)、列式數(shù)據(jù)庫(kù)，還是大數(shù)據(jù)，只要能夠解決問(wèn)題，都是值得推崇的。

因此，大數(shù)據(jù)真正的“拖油瓶”并不是某個(gè)具體的產(chǎn)品技術(shù)，真正的“拖油瓶” 是跟不上技術(shù)發(fā)展的步伐，大數(shù)據(jù)需要我們能夠真正理解數(shù)據(jù)的價(jià)值，并結(jié)合實(shí)際需要巧妙加以應(yīng)用。

songjy