參照site:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
我們在配置yarn的時候只有充分了解各參數的含義,才能避免隱患。這些參數均在yarn-site.xml中配置
以下涉及的簡寫:
RM :ResourceManager
AM :ApplicationMaster
NM :NodeManager
參數 | 默認值 | 描述 |
yarn.resourcemanager.hostname | RM的hostname | |
yarn.resourcemanager.address | ${yarn.resourcemanager.hostname}:8032 | RM對客戶端暴露的地址,客戶端通過該地址向RM提交應用程序等 |
yarn.resourcemanager.scheduler.address | ${yarn.resourcemanager.hostname}:8030 | RM對AM暴露的地址,AM通過地址想RM申請資源,釋放資源等 |
yarn.resourcemanager.webapp.address | ${yarn.resourcemanager.hostname}:8088 | RM對外暴露的web http地址,用戶可通過該地址在瀏覽器中查看集群信息 |
yarn.resourcemanager.webapp.https.address | ${yarn.resourcemanager.hostname}:8090 | web https 地址 |
yarn.resourcemanager.resource-tracker.address | ${yarn.resourcemanager.hostname}:8031 | RM對NM暴露地址,NM通過該地址向RM匯報心跳,領取任務等 |
yarn.resourcemanager.resource-tracker.client.thread-count | 50 | 處理來自NM的RPC請求的handler數 |
yarn.resourcemanager.admin.address | ${yarn.resourcemanager.hostname}:8033 | 管理員可以通過該地址向RM發送管理命令等 |
yarn.resourcemanager.scheduler.class | org.apache.hadoop.yarn.server.resourcemanager .scheduler.capacity.CapacityScheduler |
資源調度器主類 |
yarn.resourcemanager.scheduler.client.thread-count | 50 | 處理來自AM的RPC請求的handler數 |
yarn.scheduler.minimum-allocation-mb | 1024 | 可申請的最少內存資源,以MB為單位 |
yarn.scheduler.maximum-allocation-mb | 8192 | 可申請的最大內存資源,以MB為單位 |
yarn.scheduler.minimum-allocation-vcores | 1 | 可申請的最小虛擬CPU個數 |
yarn.scheduler.maximum-allocation-vcores | 32 | 可申請的最 大虛擬CPU個數 |
yarn.nodemanager.local-dirs | ${hadoop.tmp.dir}/nm-local-dir | 中間結果存放位置,可配置多目錄 |
yarn.log-aggregation-enable | false | 是否啟用日志聚合 |
yarn.nodemanager.remote-app-log-dir | /tmp/logs | 日志聚合目錄 |
yarn.nodemanager.resource.memory-mb | 8192 | NM總的可用物理內存,以MB為單位。一旦設置,不可動態修改 |
yarn.nodemanager.resource.cpu-vcores | 8 | 可分配的CPU個數 |
yarn.nodemanager.aux-services | NodeManager上運行的附屬服務。需配置成mapreduce_shuffle,才可運行MapReduce程序 |
Hadoop歷史服務器jobhistoryserver的配置
jobhistoryserver的默認值我們可以在mapred-site.xml文件中進行修改
下面列舉幾個常用參數
參數 | 默認值 | 描述 |
mapreduce.jobhistory.address | 0.0.0.0:10020 | JobHistory服務器IPC 主機:端口 |
mapreduce.jobhistory.webapp.address | 0.0.0.0:19888 | obHistory服務器Web UI地址,用戶可根據該地址查看Hadoop歷史作業情況 |
mapreduce.jobhistory.done-dir | ${yarn.app.mapreduce.am.staging-dir}/history/done | 在什么目錄下存放已經運行完的Hadoop作業記錄 |
mapreduce.jobhistory.intermediate-done-dir | ${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate | 正在運行的Hadoop作業記錄 |
(1)、歷史作業記錄是存放在HDFS目錄中;
(2)、由於歷史作業記錄可能非常多,所以歷史作業記錄是按照年/月/日的形式分別存放在相應的目錄中,這樣便於管理和查找;
(3)、對於每一個Hadoop歷史作業記錄相關信息都用兩個文件存放,后綴名分別為*.jhist,*.xml。
*.jhist文件里存放的是具體Hadoop作業的詳細信息
*.xml文件里面記錄的是相應作業運行時候的完整參數配置
(4)、每一個作業的歷史記錄都存放在一個單獨的文件中