yarn的調度器以及它們的區別


yarn 一共有3個類型的調度器:FIFO調度器、容量調度器、公平調度器。

1,FIFO調度器。先進先出,隊列中同一時間只有一個任務在運行。該任務獨占整個集群的資源。

2,容量調度器。多隊列,每個隊列內部先進先出,同一個隊列同時間只有一個任務在運行,任務的並行度為隊列的個數。

3,公平調度器。同個隊列同一時間有多個任務在運行,按照缺額大小分配資源啟動任務。

 

在生產環境中,不可能使用FIFO調度器。實際情況是,企業會分配多個隊列,每個隊列分配一定的資源,並行度不可能是1

hadoop2.7.2 默認的資源調度器為容量調度器。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM