1.文檔編寫目的
在CDH中使用Yarn的動態資源池,用戶會根據時段來區分集群資源的分配情況(如:在夜晚時段集群資源主要傾向於跑批作業,白天時段集群資源主要傾向於業務部門實時計算作業)。針對這樣的需求在CDH中如何配置?本篇文章Fayson主要介紹如何通過CM配置Yarn動態資源池的計划規則。
- 內容概述
1.創建資源池配置集
2.修改各配置集資源分配及驗證
3.總結
- 測試環境
1.CM和CDH版本為5.15
2.創建資源池配置集
在CDH集群中默認只有一個資源池的配置集,接下來Fayson通過CM創建多個資源池配置集,在本示例中Fayson共創建3個配置集
- 晚上9點到早上9點使用pool_nigth資源池配置集
- 早上9點到晚上6點使用pool_day資源池配置集
- 其它時間段使用default資源池配置集
1.登錄CM進入動態資源池管理界面

2.點擊“計划模式”進入配置界面

3.點擊“創建計划規則”,創建兩個新的配置集
創建新的配置集時需要從一個現有的配置集進行復制,可以選擇配置集重復周期“每天、每周、每月”,重復時間以小時為單位進行選擇。


4.配置集創建完成列表如下

以上步驟只是完成了多個不通時間段使用的配置集。
3.修改各配置集資源分配
1.進入資源池配置主界面

2.將default的配置集root.default和root.users資源池占比修改50%和50%

3.選擇pool_nigth資源池,將root.defaut和root.users資源池占比修改為80%和20%

4.選擇pool_day資源池,將root.default和root.users資源池占比修改為20%和80%

5.修改完成各個配置集資源池配置后,點擊“刷新動態資源池

如上步驟完成各個配置集資源池的配置。
4.驗證配置集是否生效
根據資源池配置集的配置規則,當前時間為晚上10點,此時應該使用的資源池為pool_nigth配置集。
1.登錄Yarn的8088界面查看資源池的占比

2.點擊Scheduler查看資源池的占比情況

可以看到root.default的資源池是root.users資源池占比的4倍,與配置集的計划規則一致。
5.總結
1.通過CM的動態資源池配置,可以方便的創建多個配置集。
2.根據不同時段對資源池的使用進行重新分配,動態的調整不需要手動觸發。