MapReduce 框架的核心優(yōu)勢:
1. 高度可擴(kuò)展,可動態(tài)增加/削減計算節(jié)點,真正實現(xiàn)彈性計算。
2. 高容錯能力,支持任務(wù)自動遷移、重試和預(yù)測執(zhí)行,不受計算節(jié)點故障影響。
3. 公平調(diào)度算法,支持優(yōu)先級和任務(wù)搶占,兼顧長/短任務(wù),有效支持交互式任務(wù)。
4. 就近調(diào)度算法, 調(diào)度任務(wù)到最近的數(shù)據(jù)節(jié)點,有效降低網(wǎng)絡(luò)帶寬。
5. 動態(tài)靈活的資源分配和調(diào)度,達(dá)到資源利用最大化,計算節(jié)點不會出現(xiàn)閑置和過載的情況;同時支持資源配額管理。
6. 經(jīng)過大量實際生產(chǎn)環(huán)境使用和驗證,最大集群規(guī)模在 4000 個計算節(jié)點。