如何在CDH中配置YARN動態資源池的計划規則


 

1.文檔編寫目的


在CDH中使用Yarn的動態資源池,用戶會根據時段來區分集群資源的分配情況(如:在夜晚時段集群資源主要傾向於跑批作業,白天時段集群資源主要傾向於業務部門實時計算作業)。針對這樣的需求在CDH中如何配置?本篇文章Fayson主要介紹如何通過CM配置Yarn動態資源池的計划規則。

  • 內容概述

1.創建資源池配置集

2.修改各配置集資源分配及驗證

3.總結

  • 測試環境

1.CM和CDH版本為5.15

2.創建資源池配置集


在CDH集群中默認只有一個資源池的配置集,接下來Fayson通過CM創建多個資源池配置集,在本示例中Fayson共創建3個配置集

  • 晚上9點到早上9點使用pool_nigth資源池配置集
  • 早上9點到晚上6點使用pool_day資源池配置集
  • 其它時間段使用default資源池配置集

1.登錄CM進入動態資源池管理界面

2.點擊“計划模式”進入配置界面

3.點擊“創建計划規則”,創建兩個新的配置集

創建新的配置集時需要從一個現有的配置集進行復制,可以選擇配置集重復周期“每天、每周、每月”,重復時間以小時為單位進行選擇。

4.配置集創建完成列表如下

以上步驟只是完成了多個不通時間段使用的配置集。

3.修改各配置集資源分配


1.進入資源池配置主界面

2.將default的配置集root.default和root.users資源池占比修改50%和50%

3.選擇pool_nigth資源池,將root.defaut和root.users資源池占比修改為80%和20%

4.選擇pool_day資源池,將root.default和root.users資源池占比修改為20%和80%

5.修改完成各個配置集資源池配置后,點擊“刷新動態資源池

如上步驟完成各個配置集資源池的配置。

4.驗證配置集是否生效


根據資源池配置集的配置規則,當前時間為晚上10點,此時應該使用的資源池為pool_nigth配置集。

1.登錄Yarn的8088界面查看資源池的占比

2.點擊Scheduler查看資源池的占比情況

可以看到root.default的資源池是root.users資源池占比的4倍,與配置集的計划規則一致。

5.總結


1.通過CM的動態資源池配置,可以方便的創建多個配置集。

2.根據不同時段對資源池的使用進行重新分配,動態的調整不需要手動觸發。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM