Hadoop yarn配置參數


參照site:http://hadoop.apache.org/docs/r2.6.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

我們在配置yarn的時候只有充分了解各參數的含義,才能避免隱患。這些參數均在yarn-site.xml中配置

  以下涉及的簡寫:

  RM :ResourceManager

  AM :ApplicationMaster

  NM :NodeManager

 

參數 默認值  描述
yarn.resourcemanager.hostname   RM的hostname
yarn.resourcemanager.address ${yarn.resourcemanager.hostname}:8032 RM對客戶端暴露的地址,客戶端通過該地址向RM提交應用程序等
yarn.resourcemanager.scheduler.address ${yarn.resourcemanager.hostname}:8030 RM對AM暴露的地址,AM通過地址想RM申請資源,釋放資源等
yarn.resourcemanager.webapp.address ${yarn.resourcemanager.hostname}:8088 RM對外暴露的web  http地址,用戶可通過該地址在瀏覽器中查看集群信息
yarn.resourcemanager.webapp.https.address ${yarn.resourcemanager.hostname}:8090 web https 地址
yarn.resourcemanager.resource-tracker.address ${yarn.resourcemanager.hostname}:8031 RM對NM暴露地址,NM通過該地址向RM匯報心跳,領取任務等
yarn.resourcemanager.resource-tracker.client.thread-count 50 處理來自NM的RPC請求的handler數
yarn.resourcemanager.admin.address ${yarn.resourcemanager.hostname}:8033 管理員可以通過該地址向RM發送管理命令等
yarn.resourcemanager.scheduler.class

org.apache.hadoop.yarn.server.resourcemanager

.scheduler.capacity.CapacityScheduler

資源調度器主類
yarn.resourcemanager.scheduler.client.thread-count 50 處理來自AM的RPC請求的handler數
yarn.scheduler.minimum-allocation-mb 1024 可申請的最少內存資源,以MB為單位
yarn.scheduler.maximum-allocation-mb 8192 可申請的最大內存資源,以MB為單位
yarn.scheduler.minimum-allocation-vcores 1 可申請的最小虛擬CPU個數
yarn.scheduler.maximum-allocation-vcores 32 可申請的最 大虛擬CPU個數
yarn.nodemanager.local-dirs ${hadoop.tmp.dir}/nm-local-dir 中間結果存放位置,可配置多目錄
yarn.log-aggregation-enable false 是否啟用日志聚合
yarn.nodemanager.remote-app-log-dir /tmp/logs 日志聚合目錄
yarn.nodemanager.resource.memory-mb 8192 NM總的可用物理內存,以MB為單位。一旦設置,不可動態修改
yarn.nodemanager.resource.cpu-vcores 8 可分配的CPU個數
yarn.nodemanager.aux-services   NodeManager上運行的附屬服務。需配置成mapreduce_shuffle,才可運行MapReduce程序

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Hadoop歷史服務器jobhistoryserver的配置

參照site http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

jobhistoryserver的默認值我們可以在mapred-site.xml文件中進行修改

下面列舉幾個常用參數

參數 默認值 描述
mapreduce.jobhistory.address 0.0.0.0:10020 JobHistory服務器IPC 主機:端口
mapreduce.jobhistory.webapp.address 0.0.0.0:19888 obHistory服務器Web UI地址,用戶可根據該地址查看Hadoop歷史作業情況
mapreduce.jobhistory.done-dir ${yarn.app.mapreduce.am.staging-dir}/history/done 在什么目錄下存放已經運行完的Hadoop作業記錄
mapreduce.jobhistory.intermediate-done-dir ${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate 正在運行的Hadoop作業記錄

 

 

 

 

 

(1)、歷史作業記錄是存放在HDFS目錄中;

(2)、由於歷史作業記錄可能非常多,所以歷史作業記錄是按照年/月/日的形式分別存放在相應的目錄中,這樣便於管理和查找;

(3)、對於每一個Hadoop歷史作業記錄相關信息都用兩個文件存放,后綴名分別為*.jhist,*.xml。

    *.jhist文件里存放的是具體Hadoop作業的詳細信息

    *.xml文件里面記錄的是相應作業運行時候的完整參數配置

(4)、每一個作業的歷史記錄都存放在一個單獨的文件中


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM