EMR集群兩種不同的運行模式
傳統(tǒng)的EMR是基于任務調度,需要先創(chuàng)建集群,然后才能執(zhí)行任務,企業(yè)需要長時間保有并運維集群?;鹕揭鍱MR Stateless基于工作流調度,提交任務即可自動創(chuàng)建瞬態(tài)集群,任務結束后自動釋放集群,幫助企業(yè)數(shù)據(jù)平臺架構有更好的演進成長能力和最佳的成本優(yōu)化。
據(jù)透露,已有多家客戶正在使用或測試EMR Stateless能力,并在成本上獲得較大優(yōu)化收益。以其中一家客戶為例,他們的大數(shù)據(jù)集群原本部署在IDC 機房,業(yè)務負載高峰集中在白天的6個小時內。該客戶搬站上云至火山引擎EMR 后,得益于其靈活的瞬態(tài)集群能力、計算存儲分離架構以及智能分層存儲,成本共節(jié)省40%。
今年9月,火山引擎發(fā)布數(shù)智平臺VeDI,包括EMR、ByteHouse、VeCDP等多款數(shù)據(jù)產(chǎn)品,全面開放了字節(jié)跳動數(shù)據(jù)技術能力。目前,火山引擎數(shù)智平臺已服務平安銀行、陜西旅游、藍河、美的、上海家化、萬達、吉利領克、南孚、聯(lián)合利華、李維斯等不同行業(yè)的客戶,幫助其實現(xiàn)運維降本、運營提效和業(yè)務增長。