轉自:https://blog.csdn.net/zhanglong_4444/article/details/99471770
name | description | value | |
hadoop.registry.rm.enabled | 是否在YARN資源管理器中啟用了注冊表? 如果屬實,那么YARN RM將根據需要。 創建用戶和系統路徑,並清除 服務記錄集裝箱,應用程序嘗試 和應用程序完成。 如果錯誤,路徑必須通過其他方式創建, 並且不會自動清理服務記錄 |
TRUE | |
hadoop.registry.zk.quorum | 配置 zk | bj-rack001-hadoop002:2181,bj-rack001-hadoop004:2181,bj-rack001-hadoop003:2181 | |
yarn.ipc.client.factory.class | 工廠創建客戶端IPC類。 | ||
yarn.ipc.server.factory.class | 工廠創建服務器IPC類。 | ||
yarn.ipc.record.factory.class | 工廠創建可序列化的記錄。 | ||
yarn.ipc.rpc.class | RPC類實現 | org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC | |
yarn.resourcemanager.hostname | RM的主機名。 | 0.0.0.0 | bj-rack001-hadoop003 |
yarn.resourcemanager.address | RM中應用程序管理器界面的地址。 | ${yarn.resourcemanager.hostname}:8032 | bj-rack001-hadoop003:8050 |
yarn.resourcemanager.bind-host | 服務器將綁定到的實際地址。如果設置了此可選地址,則RPC和webapp服務器將分別綁定到此地址和yarn.resourcemanager.address和yarn.resourcemanager.webapp.address中指定的端口。這對於通過設置為0.0.0.0使RM監聽所有接口非常有用。 | 0.0.0.0 | |
yarn.resourcemanager.auto-update.containers | 如果設置為true,則所有容器更新將自動發送到下一個心跳中的NM | FALSE | |
yarn.resourcemanager.client.thread-count | 用於處理應用程序管理器請求的線程數。 | 50 | |
yarn.resourcemanager.amlauncher.thread-count | 用於啟動/清理AM的線程數。 | 50 | |
yarn.resourcemanager.nodemanager-connect-retries | 重試與NM連接的時間。 | 10 | |
yarn.dispatcher.drain-events.timeout | YARN調度程序嘗試排除事件時超時(以毫秒為單位)。通常,這在服務停止時發生。例如,RM在停止時消耗ATS事件調度員。 | 300000 | |
yarn.am.liveness-monitor.expiry-interval-ms | 應用程序主報告的到期時間間隔。 | 600000 | |
yarn.resourcemanager.principal | 資源管理器的Kerberos主體。 | ||
yarn.resourcemanager.scheduler.address | 調度程序接口的地址。 | ${yarn.resourcemanager.hostname}:8030 | bj-rack001-hadoop003:8030 |
yarn.resourcemanager.scheduler.client.thread-count | 處理調度程序接口的線程數。 | 50 | |
yarn.resourcemanager.application-master-service.processors | 逗號分隔的ApplicationMasterServiceProcessor實現的類名。處理器將按指定的順序應用。 | ||
yarn.http.policy | 這會為YARN守護程序配置HTTP端點。支持以下值: - HTTP_ONLY:僅在http上提供服務 - HTTPS_ONLY:僅在https上提供服務 | HTTP_ONLY | |
yarn.resourcemanager.webapp.address | RM Web應用程序的http地址。如果僅提供主機作為值,則webapp將在隨機端口上提供。 | ${yarn.resourcemanager.hostname}:8088 | bj-rack001-hadoop003:8088 |
yarn.resourcemanager.webapp.https.address | RM Web應用程序的https地址。如果僅提供主機作為值,則webapp將在隨機端口上提供。 | ${yarn.resourcemanager.hostname}:8090 | bj-rack001-hadoop003:8090 |
yarn.resourcemanager.webapp.spnego-keytab-file | 用於RM Web界面的spnego過濾器的Kerberos keytab文件。 | ||
yarn.resourcemanager.webapp.spnego-principal | 用於RM Web界面的spnego過濾器的Kerberos主體。 | ||
yarn.resourcemanager.webapp.ui-actions.enabled | 在RM Application視圖中添加按鈕以終止應用程序。 | TRUE | |
yarn.webapp.ui2.enable | 啟用RM web ui2應用程序。 | FALSE | |
yarn.webapp.ui2.war-file-path | 如果需要,明確提供ui2的WAR文件路徑。 | ||
yarn.resourcemanager.resource-tracker.address | ${yarn.resourcemanager.hostname}:8031 | bj-rack001-hadoop003:8025 | |
yarn.acl.enable | 是否啟用了acls。 | FALSE | |
yarn.acl.reservation-enable | 是否啟用了預訂服務。 | FALSE | |
yarn.admin.acl | 誰可以成為YARN集群管理員的ACL。 | * | activity_analyzer,yarn |
yarn.resourcemanager.admin.address | RM管理界面的地址。 | ${yarn.resourcemanager.hostname}:8033 | bj-rack001-hadoop003:8141 |
yarn.resourcemanager.admin.client.thread-count | 用於處理RM管理界面的線程數。 | 1 | |
yarn.resourcemanager.connect.max-wait.ms | 等待與ResourceManager建立連接的最長時間。 | 900000 | -1 |
yarn.resourcemanager.connect.retry-interval.ms | 多久嘗試連接一次ResourceManager。 | 30000 | 15000 |
yarn.resourcemanager.am.max-attempts | 最大應用程序嘗試次數。它是所有應用程序主人的全局設置。每個應用程序主機都可以通過API指定其各自的最大應用程序嘗試次數,但是單個數字不能超過全局上限。如果是,資源管理器將覆蓋它。默認數量設置為2,以允許至少一次重試AM。 | 2 | |
yarn.resourcemanager.container.liveness-monitor.interval-ms | 檢查容器是否還活着的頻率。 | 600000 | |
yarn.resourcemanager.keytab | 資源管理器的keytab。 | /etc/krb5.keytab | |
yarn.resourcemanager.webapp.delegation-token-auth-filter.enabled | 標記以啟用使用RM身份驗證篩選器覆蓋默認kerberos身份驗證篩選器以允許使用委派令牌進行身份驗證(如果缺少令牌,則回退到kerberos)。僅適用於http身份驗證類型為kerberos的情況。 | TRUE | false |
yarn.resourcemanager.webapp.cross-origin.enabled | 標記以在RM中啟用跨源(CORS)支持。此標志需要將CORS過濾器初始化程序添加到core-site.xml中的過濾器初始化程序列表中。 | FALSE | |
yarn.nm.liveness-monitor.expiry-interval-ms | 等待節點管理器被認為已經死亡的時間。 | 600000 | |
yarn.resourcemanager.nodes.include-path | 包含要包含的節點的文件路徑。 | ||
yarn.resourcemanager.nodes.exclude-path | 包含要排除的節點的文件路徑。 | /etc/hadoop/conf/yarn.exclude | |
yarn.resourcemanager.node-ip-cache.expiry-interval-secs | 節點IP緩存的到期時間間隔。-1禁用緩存 | -1 | |
yarn.resourcemanager.resource-tracker.client.thread-count | 處理資源跟蹤器調用的線程數。 | 50 | |
yarn.resourcemanager.scheduler.class | 用作資源調度程序的類。 | org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler | org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler |
yarn.scheduler.minimum-allocation-mb | RM中每個容器請求的最小分配(MB)。低於此值的內存請求將設置為此屬性的值。此外,資源管理器將關閉配置為具有比此值少的內存的節點管理器。 | 1024 | |
yarn.scheduler.maximum-allocation-mb | RM中每個容器請求的最大分配,以MB為單位。高於此的內存請求將拋出InvalidResourceRequestException。 | 8192 | 30720 |
yarn.scheduler.minimum-allocation-vcores | 就虛擬CPU核心而言,RM上每個容器請求的最小分配。低於此值的請求將設置為此屬性的值。此外,資源管理器將關閉配置為具有比此值更少的虛擬核心的節點管理器。 | 1 | |
yarn.scheduler.maximum-allocation-vcores | 就虛擬CPU核心而言,RM上每個容器請求的最大分配。高於此的請求將拋出InvalidResourceRequestException。 | 4 | 12 |
yarn.scheduler.include-port-in-node-name | 由節點標簽使用。如果設置為true,則端口應包含在節點名稱中。僅在調度程序支持節點標簽時才可用。 | FALSE | |
yarn.resourcemanager.recovery.enabled | 啟動后啟用RM以恢復狀態。如果為true,則必須指定yarn.resourcemanager.store.class。 | FALSE | true |
yarn.resourcemanager.fail-fast | 如果遇到任何錯誤,RM應該快速失敗。通過defalt,它指向$ {yarn.fail-fast}。錯誤包括:1)狀態存儲寫入/讀取操作失敗時的異常。 | ${yarn.fail-fast} | |
yarn.fail-fast | 如果遇到任何錯誤,YARN應該快速失敗。這是包括RM,NM等所有其他組件的全局配置。如果沒有為特定於組件的配置設置值(例如yarn.resourcemanager.fail-fast),則此值將是默認值。 | FALSE | |
yarn.resourcemanager.work-preserving-recovery.enabled | 啟用RM工作以保留恢復。此配置對YARN是專用的,用於試驗該功能。 | TRUE | |
yarn.resourcemanager.work-preserving-recovery.scheduling-wait-ms | 設置RM在為工作保留 - 恢復分配新容器之前等待的時間。在將新容器分配給應用程序之前,這樣的等待期使RM有機會在恢復時解決與集群中的NM重新同步的問題。 | 10000 | |
yarn.resourcemanager.store.class | 用作持久存儲的類。如果使用org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore,則隱式隔離存儲; 這意味着單個ResourceManager可以在任何時間點使用商店。有關此隱式防護的更多詳細信息以及設置適當的ACL將在yarn.resourcemanager.zk-state-store.root-node.acl中討論。 | org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore | org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore |
yarn.resourcemanager.ha.failover-controller.active-standby-elector.zk.retries | 啟用自動故障轉移后,ActiveStandbyElector中的zookeeper操作重試次數 | ||
yarn.resourcemanager.state-store.max-completed-applications | RM狀態存儲保留的最大已完成應用程序數,小於或等於$ {yarn.resourcemanager.max-completed-applications}。默認情況下,它等於$ {yarn.resourcemanager.max-completed-applications}。這可確保保存在狀態存儲中的應用程序與RM內存中記住的應用程序一致。任何大於$ {yarn.resourcemanager.max-completed-applications}的值都將重置為$ {yarn.resourcemanager.max-completed-applications}。請注意,此值會影響RM恢復性能。通常,值越小表示RM恢復的性能越好。 | ${yarn.resourcemanager.max-completed-applications} | ${yarn.resourcemanager.max-completed-applications} |
yarn.resourcemanager.zk-state-store.parent-path | ZooKeeper znode的完整路徑,其中將存儲RM狀態。當使用org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore作為yarn.resourcemanager.store.class的值時,必須提供此參數。 | /rmstore | |
yarn.resourcemanager.zk-state-store.root-node.acl | 在HA場景中使用ZKRMStateStore進行防護時,用於根znode的ACL。ZKRMStateStore支持隱式防護,允許單個ResourceManager對存儲進行寫訪問。對於防護,群集中的ResourceManagers在根節點上共享讀寫管理員權限,但Active ResourceManager聲明了獨占的create-delete權限。默認情況下,如果未設置此屬性,我們將使用yarn.resourcemanager.zk-acl中的ACL進行共享管理員訪問,使用rm-address:random-number進行基於用戶名的獨占創建 - 刪除訪問。此屬性允許用戶設置自己選擇的ACL,而不是使用默認機制。為擊劍工作, | ||
yarn.resourcemanager.fs.state-store.uri | URI指向將存儲RM狀態的FileSystem路徑的位置。當使用org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore作為yarn.resourcemanager.store.class的值時,必須提供此參數。 | ${hadoop.tmp.dir}/yarn/system/rmstore | <property> <name>yarn.resourcemanager.fs.state-store.uri</name> <value> </value> </property> |
yarn.resourcemanager.fs.state-store.retry-policy-spec | hdfs客戶端重試策略規范。始終啟用hdfs客戶端重試。在成對的休眠時間和重試次數以及(t0,n0),(t1,n1),...中指定,第一個n0重試平均休眠t0毫秒,以下n1重試平均休眠t1毫秒,等等。 | 2000, 500 | |
yarn.resourcemanager.fs.state-store.num-retries | 在FileSystemRMStateStore中從IOException恢復的重試次數。 | 0 | |
yarn.resourcemanager.fs.state-store.retry-interval-ms | 在FileSystemRMStateStore中重試間隔(以毫秒為單位)。 | 1000 | |
yarn.resourcemanager.leveldb-state-store.path | 使用org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore作為yarn.resourcemanager.store.class的值時將存儲RM狀態的本地路徑 | ${hadoop.tmp.dir}/yarn/system/rmstore | |
yarn.resourcemanager.leveldb-state-store.compaction-interval-secs | leveldb數據庫完全壓縮之間的時間(以秒為單位)。將間隔設置為零會禁用完整的壓縮循環。 | 3600 | |
yarn.resourcemanager.ha.enabled | 啟用RM高可用性。啟用時,(1)默認情況下,RM以待機模式啟動,並在提示時轉換為活動模式。(2)RM集合中的節點列在yarn.resourcemanager.ha.rm-ids中(3)如果明確指定了yarn.resourcemanager.ha.id,則每個RM的id來自yarn.resourcemanager.ha.id或者可以通過匹配yarn.resourcemanager.address。{id}與本地地址(4)找出實際的物理地址來自模式的配置 - {rpc-config}。{id} | FALSE | |
yarn.resourcemanager.ha.automatic-failover.enabled | 啟用自動故障轉移。默認情況下,僅在啟用HA時啟用它 | TRUE | |
yarn.resourcemanager.ha.automatic-failover.embedded | 啟用嵌入式自動故障轉移。默認情況下,僅在啟用HA時啟用它。嵌入式選舉器依賴RM狀態存儲來處理防護,主要用於與ZKRMStateStore結合使用。 | TRUE | |
yarn.resourcemanager.ha.automatic-failover.zk-base-path | 用於存儲領導者信息的基本znode路徑,當使用基於ZooKeeper的領導者選舉時。 | /yarn-leader-election | |
yarn.resourcemanager.zk-appid-node.split-index | 應用程序ID的最后一部分(應用程序ID中用_分隔的每個部分)的索引將被拆分,以便存儲在zookeeper RM狀態存儲中的應用程序znode將存儲為兩個不同的znode(父子)。拆分從最后完成。例如,如果沒有拆分,appid znode將采用application_1352994193343_0001的形式。如果此配置的值為1,則appid znode將分為兩部分application_1352994193343_000和1,前者分別為父節點。然后,application_1352994193343_0002將在父節點application_1352994193343_000下存儲為2。此配置可以取0到4之間的值.0表示不會有拆分。如果配置值超出此范圍,則將其視為配置值0(即 沒有分裂)。如果在基於ZK的RM狀態存儲中存儲大量應用程序並且狀態存儲操作由於Zookeeper中的LenError而失敗,則應配置大於0(最多4)的值。 | 0 | |
yarn.resourcemanager.zk-delegation-token-node.split-index | 將分割RM委派令牌ID的索引,以便存儲在zookeeper RM狀態存儲中的委托令牌znode將存儲為兩個不同的znode(父子)。分裂是從最后完成的。例如,如果沒有拆分,則委托令牌znode的格式為RMDelegationToken_123456789。如果此配置的值為1,則委托令牌znode將分為兩部分:RMDelegationToken_12345678和9,前者為父節點。此配置可以取0到4之間的值.0表示不會有拆分。如果該值超出此范圍,則將其視為0(即不分割)。如果運行大量應用程序,則應配置大於0(最多4)的值, | 0 | |
yarn.resourcemanager.zk-max-znode-size.bytes | 指定可以存儲在znode中的數據的最大大小。值應該與zookeeper中配置的jute.maxbuffer相同或更小。配置的默認值為1MB。 | 1048576 | |
yarn.resourcemanager.cluster-id | 集群的名稱。在HA設置中,這用於確保RM參與此群集的領導者選舉,並確保它不會影響其他群集 | ||
yarn.resourcemanager.ha.rm-ids | 啟用HA時群集中的RM節點列表。有關如何使用紗線的詳細信息,請參閱yarn.resourcemanager.ha .enabled的說明。 | ||
yarn.resourcemanager.ha.id | 當前RM的id(字符串)。啟用HA時,這是可選配置。當前RM的id可以通過顯式指定yarn.resourcemanager.ha.id來設置,也可以通過匹配yarn.resourcemanager.address。{id}和本地地址來計算。有關如何獲取有關詳細信息,請參閱yarn.resourcemanager.ha.enabled的說明這是用的。 | ||
yarn.client.failover-proxy-provider | 啟用HA后,客戶端,AM和NM將使用的類故障轉移到Active RM。它應該擴展org.apache.hadoop.yarn.client.RMFailoverProxyProvider | org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider | org.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvider |
yarn.client.failover-max-attempts | 啟用HA后,FailoverProxyProvider應嘗試進行故障轉移的最大次數。設置后,將覆蓋yarn.resourcemanager.connect.max-wait.ms。未設置時,這可以從yarn.resourcemanager.connect.max-wait.ms中推斷出來。 | ||
yarn.client.failover-sleep-base-ms | 啟用HA時,睡眠基數(以毫秒為單位)用於計算故障轉移之間的指數延遲。設置后,將覆蓋yarn.resourcemanager.connect。*設置。未設置時,將使用yarn.resourcemanager.connect.retry-interval.ms。 | ||
yarn.client.failover-sleep-max-ms | 啟用HA時,故障轉移之間的最長休眠時間(以毫秒為單位)。設置后,將覆蓋yarn.resourcemanager.connect。*設置。未設置時,將使用yarn.resourcemanager.connect.retry-interval.ms。 | ||
yarn.client.failover-retries | 啟用HA時,每次嘗試連接到ResourceManager的重試次數。換句話說,它是在故障轉移嘗試期間使用的ipc.client.connect.max.retries | 0 | |
yarn.client.failover-retries-on-socket-timeouts | 啟用HA時,每次嘗試連接到套接字超時上的ResourceManager的重試次數。換句話說,它是在故障轉移嘗試期間使用的ipc.client.connect.max.retries.on.timeouts | 0 | |
yarn.resourcemanager.max-completed-applications | RM保留的已完成應用程序的最大數量。 | 10000 | |
yarn.resourcemanager.delayed.delegation-token.removal-interval-ms | 延遲令牌刪除線程運行的時間間隔 | 30000 | |
yarn.resourcemanager.delegation-token.max-conf-size-bytes | 應用程序可以為RM提供的用於更新委派令牌的配置的最大大小(以字節為單位)。通過實驗,每個鍵值對大約128個字節。默認值12800允許大約100個配置,可能更少。 | 12800 | |
yarn.resourcemanager.proxy-user-privileges.enabled | 如果為true,則ResourceManager將具有代理用戶權限。使用案例:在安全集群中,YARN要求用戶hdfs delegation-tokens代表用戶進行本地化和日志聚合。如果將其設置為true,則ResourceManager可以代表用戶請求新的hdfs委派令牌。這是長期運行服務所需要的,因為hdfs令牌最終會過期,YARN需要新的有效令牌才能進行本地化和日志聚合。請注意,要啟用此用例,相應的HDFS NameNode必須將ResourceManager配置為代理用戶,以便當令牌超過其最大生命周期時,ResourceManager本身可以代表用戶請求新令牌。 | FALSE | |
yarn.resourcemanager.am-rm-tokens.master-key-rolling-interval-secs | 用於生成應用程序令牌的主密鑰的翻轉間隔 | 86400 | |
yarn.resourcemanager.container-tokens.master-key-rolling-interval-secs | 用於生成容器令牌的主密鑰的翻轉間隔。預計它將比yarn.nm.liveness-monitor.expiry-interval-ms和yarn.resourcemanager.rm.container-allocation.expiry-interval-ms大得多。否則行為未定義。 | 86400 | |
yarn.resourcemanager.nodemanagers.heartbeat-interval-ms | 群集中每個NodeManager的心跳間隔(以毫秒為單位)。 | 1000 | |
yarn.resourcemanager.nodemanager.minimum.version | 連接節點管理器的最小允許版本。有效值為NONE(無版本檢查),EqualToRM(nodemanager的版本等於或大於RM版本)或版本字符串。 | NONE | |
yarn.resourcemanager.scheduler.monitor.enable | 啟用一組影響調度程序的定期監視器(在yarn.resourcemanager.scheduler.monitor.policies中指定)。 | FALSE | |
yarn.resourcemanager.scheduler.monitor.policies | 與調度程序交互的SchedulingEditPolicy類列表。特定模塊可能與調度程序,其他策略或任一配置不兼容。 | org.apache.hadoop.yarn.server.resourcemanager.monitor.capacity.ProportionalCapacityPreemptionPolicy | |
yarn.resourcemanager.configuration.provider-class | 用作配置提供程序的類。如果使用org.apache.hadoop.yarn.LocalConfigurationProvider,則將加載本地配置。如果使用org.apache.hadoop.yarn.FileSystemBasedConfigurationProvider,則應首先將要加載的配置上載到遠程文件系統。 | org.apache.hadoop.yarn.LocalConfigurationProvider | |
yarn.resourcemanager.configuration.file-system-based-store | 如果yarn.resourcemanager.configuration.provider-class設置為org.apache.hadoop.yarn.FileSystemBasedConfigurationProvider,則該值指定ResourceManager加載配置的文件系統(例如HDFS)路徑。 | /yarn/conf | |
yarn.resourcemanager.system-metrics-publisher.enabled | 通過RM控制紗線系統指標是否發布到時間軸服務器(版本1)的設置。現在不推薦使用此配置,而使用yarn.system-metrics-publisher.enabled。 | FALSE | true |
yarn.system-metrics-publisher.enabled | 控制紗線系統指標是否在RM和NM上在時間軸服務上發布的設置。 | FALSE | |
yarn.rm.system-metrics-publisher.emit-container-events | 控制紗線容器事件是否由RM發布到時間軸服務的設置。此配置設置適用於ATS V2。 | FALSE | |
yarn.resourcemanager.system-metrics-publisher.dispatcher.pool-size | 發送yarn系統指標數據的工作線程數。 | 10 | |
yarn.resourcemanager.max-log-aggregation-diagnostics-in-memory | 可以在RM中保存診斷/故障消息的數量以進行日志聚合。它還定義了可以在日志聚合web ui中顯示的診斷/失敗消息的數量。 | 10 | |
yarn.resourcemanager.delegation-token-renewer.thread-count | RM DelegationTokenRenewer線程計數 | 50 | |
yarn.resourcemanager.delegation.key.update-interval | RM密鑰更新間隔(ms) | 86400000 | |
yarn.resourcemanager.delegation.token.max-lifetime | RM委托令牌最長生命周期(ms) | 604800000 | |
yarn.resourcemanager.delegation.token.renew-interval | RM委托令牌更新間隔(ms) | 86400000 | |
yarn.resourcemanager.history-writer.multi-threaded-dispatcher.pool-size | RMApplicationHistoryWriter的線程池大小。 | 10 | |
yarn.resourcemanager.metrics.runtime.buckets | 與計划隊列相關的度量標准的逗號分隔值列表(以分鍾為單位)。 | 603,001,440 | |
yarn.resourcemanager.nm-tokens.master-key-rolling-interval-secs | 用於生成NodeManager令牌的主密鑰的翻轉間隔。預計將設置為比yarn.nm.liveness-monitor.expiry-interval-ms大得多的值。 | 86400 | |
yarn.resourcemanager.reservation-system.enable | 用於啟用ResourceManager預留系統的標志。 | FALSE | |
yarn.resourcemanager.reservation-system.class | 用作ResourceManager預留系統的Java類。默認情況下,使用CapacityScheduler時設置為org.apache.hadoop.yarn.server.resourcemanager.reservation.CapacityReservationSystem,使用FairScheduler時設置為org.apache.hadoop.yarn.server.resourcemanager.reservation.FairReservationSystem。 | ||
yarn.resourcemanager.reservation-system.plan.follower | 用於ResourceManager預訂系統的計划跟隨者策略類名稱。默認情況下,設置為org.apache.hadoop.yarn.server.resourcemanager.reservation.CapacitySchedulerPlanFollower在使用CapacityScheduler時使用,並在使用FairScheduler時設置為org.apache.hadoop.yarn.server.resourcemanager.reservation.FairSchedulerPlanFollower。 | ||
yarn.resourcemanager.reservation-system.planfollower.time-step | 預約系統的步長,以毫秒為單位 | 1000 | |
yarn.resourcemanager.rm.container-allocation.expiry-interval-ms | 容器的到期間隔 | 600000 | |
yarn.nodemanager.hostname | NM的主機名。 | 0.0.0.0 | |
yarn.nodemanager.address | NM中容器管理器的地址。 | ${yarn.nodemanager.hostname}:0 | 0.0.0.0:45454 |
yarn.nodemanager.bind-host | 服務器將綁定到的實際地址。如果設置了此可選地址,則RPC和webapp服務器將分別綁定到此地址和yarn.nodemanager.address和yarn.nodemanager.webapp.address中指定的端口。這對於通過設置為0.0.0.0使NM監聽所有接口非常有用。 | 0.0.0.0 | |
yarn.nodemanager.admin-env | 應該從NodeManager環境轉發到容器的環境變量。 | MALLOC_ARENA_MAX=$MALLOC_ARENA_MAX | MALLOC_ARENA_MAX=$MALLOC_ARENA_MAX |
yarn.nodemanager.env-whitelist | 容器可以覆蓋的環境變量,而不是使用NodeManager的默認值。 | JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME | |
yarn.nodemanager.container-executor.class | 誰將執行(啟動)容器。 | org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor | org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor |
yarn.nodemanager.container-state-transition-listener.classes | 逗號分隔的容器狀態轉換偵聽器列表。 | ||
yarn.nodemanager.container-manager.thread-count | 容器管理器使用的線程數。 | 20 | |
yarn.nodemanager.collector-service.thread-count | 收集器服務使用的線程數。 | 5 | |
yarn.nodemanager.delete.thread-count | 清理中使用的線程數。 | 4 | |
yarn.nodemanager.opportunistic-containers-max-queue-length | 要在nodemanager處排隊的最大OPPORTUNISTIC容器數。 | 0 | |
yarn.nodemanager.delete.debug-delay-sec | 應用程序在nodemanager的DeletionService刪除應用程序的本地化文件目錄和日志目錄之前完成的秒數。要診斷YARN應用程序問題,請將此屬性的值設置得足夠大(例如,設置為600 = 10分鍾)以允許檢查這些目錄。更改屬性的值后,必須重新啟動nodemanager才能使其生效。YARN應用程序工作目錄的根目錄可以使用yarn.nodemanager.local-dirs屬性進行配置(見下文),YARN應用程序日志目錄的根目錄可以使用yarn.nodemanager.log-dirs屬性進行配置(另請參見下面)。 | 0 | |
yarn.nodemanager.keytab | NM的Keytab。 | /etc/krb5.keytab | |
yarn.nodemanager.local-dirs | 存儲本地化文件的目錄列表。應用程序的本地化文件目錄位於:$ {yarn.nodemanager.local-dirs} / usercache / $ {user} / appcache / application _ $ {appid}。單個容器的工作目錄(稱為container _ $ {contid})將是其子目錄。 | ${hadoop.tmp.dir}/nm-local-dir | /data/hadoop/yarn/local |
yarn.nodemanager.local-cache.max-files-per-directory | 它限制將在單個本地目錄中本地化的最大文件數。如果達到限制,則將創建子目錄並將新文件本地化。如果設置為小於或等於36的值[這是子目錄(0-9然后是az)],則NodeManager將無法啟動。例如; [for public cache]如果配置值為40(4個文件+36個子目錄),local-dir為“/ tmp / local-dir1”,那么它將允許直接在“/”內創建4個文件TMP /本地DIR1 / filecache”。對於進一步本地化的文件,它將在“/ tmp / local-dir1 / filecache”中創建一個子目錄“0”,並將對其中的文件進行本地化,直到它變滿。 | 8192 | |
yarn.nodemanager.localizer.address | 地址定位器IPC的地址。 | ${yarn.nodemanager.hostname}:8040 | |
yarn.nodemanager.collector-service.address | 收集器服務IPC的地址。 | ${yarn.nodemanager.hostname}:8048 | |
yarn.nodemanager.localizer.cache.cleanup.interval-ms | 緩存清理之間的間隔。 | 600000 | |
yarn.nodemanager.localizer.cache.target-size-mb | 每個節點管理器以MB為單位的本地化程序緩存的目標大小。它是一個目標保留大小,僅包含具有PUBLIC和PRIVATE可見性的資源,並且不包含具有APPLICATION可見性的資源 | 10240 | |
yarn.nodemanager.localizer.client.thread-count | 處理本地化請求的線程數。 | 5 | |
yarn.nodemanager.localizer.fetch.thread-count | 用於本地化提取的線程數。 | 4 | |
yarn.nodemanager.container-localizer.java.opts | -Xmx256m | ||
yarn.nodemanager.log-dirs | 存儲容器日志的位置。應用程序的本地化日志目錄位於$ {yarn.nodemanager.log-dirs} / application _ $ {appid}中。單個容器的日志目錄將在名為container _ {$ contid}的目錄中。每個容器目錄將包含該容器生成的文件stderr,stdin和syslog。 | ${yarn.log.dir}/userlogs | /data/hadoop/yarn/log |
yarn.nodemanager.default-container-executor.log-dirs.permissions | 使用DefaultContainerExecutor時用於創建容器目錄的權限設置。這遵循標准用戶/組/所有權限格式。 | 710 | |
yarn.log-aggregation-enable | 是否啟用日志聚合。日志聚合收集每個容器的日志,並在應用程序完成后將這些日志移動到文件系統,例如HDFS。用戶可以配置“yarn.nodemanager.remote-app-log-dir”和“yarn.nodemanager.remote-app-log-dir-suffix”屬性以確定這些日志的移動位置。用戶可以通過應用程序時間線服務器訪問日志。 | FALSE | true |
yarn.log-aggregation.retain-seconds | 在刪除聚合日志之前保留多長時間。-1禁用。小心設置這個太小,你會浪費 name node 。 | -1 | 2592000 |
yarn.log-aggregation.retain-check-interval-seconds | 在聚合日志保留檢查之間等待多長時間。如果設置為0或負值,則該值將計算為聚合日志保留時間的十分之一。小心設置這個太小,你會垃圾郵件名稱節點。 | -1 | |
yarn.log-aggregation.file-formats | 指定我們將支持哪些日志文件控制器。我們添加的第一個文件控制器將用於編寫聚合日志。這個以逗號分隔的配置將與配置一起使用:yarn.log-aggregation.file-controller。%s.class,它定義了支持的文件控制器的類。默認情況下,將使用TFile控制器。用戶可以通過添加更多文件控制器來覆蓋此配置。要支持后向兼容性,請確保我們始終添加TFile文件控制器。 | TFile | IndexedFormat,Tfile IndexedFormat 估計會出問題, 需要配置: <property> <name>yarn.log-aggregation.file-controller.IndexedFormat.class</name> <value>org.apache.hadoop.yarn.logaggregation.filecontroller.ifile.LogAggregationIndexedFileController</value> </property> |
yarn.log-aggregation.file-controller.TFile.class | 支持TFile讀寫操作的類。 | org.apache.hadoop.yarn.logaggregation.filecontroller.tfile.LogAggregationTFileController | org.apache.hadoop.yarn.logaggregation.filecontroller.tfile.LogAggregationTFileController |
yarn.log-aggregation-status.time-out.ms | ResourceManager等待NodeManager報告其日志聚合狀態的時間。如果從NodeManager報告日志聚合狀態的等待時間超過配置的值,RM將報告此NodeManager的日志聚合狀態為TIME_OUT | 600000 | |
yarn.nodemanager.log.retain-seconds | 保留用戶日志的時間(以秒為單位)僅適用於禁用日志聚合的情況 | 10800 | 604800 ( 7 day) |
yarn.nodemanager.remote-app-log-dir | 將日志聚合到的位置。 | /tmp/logs | /app-logs |
yarn.nodemanager.remote-app-log-dir-suffix | 遠程日志目錄將在{yarn.nodemanager.remote-app-log-dir} / $ {user} / {thisParam}創建 | logs | |
yarn.nodemanager.log-container-debug-info.enabled | 生成有關容器啟動的其他日志。目前,這將創建啟動腳本的副本,並列出容器工作目錄的目錄內容。列出目錄內容時,我們遵循符號鏈接到最大深度為5(包括指向容器工作目錄之外的符號鏈接),這可能導致啟動容器的速度變慢。 | FALSE | |
yarn.nodemanager.resource.memory-mb | 可以為容器分配的物理內存量(MB)。如果設置為-1且yarn.nodemanager.resource.detect-hardware-capabilities為true,則會自動計算(如果是Windows和Linux)。在其他情況下,默認值為8192MB。 | -1 | 32768 |
yarn.nodemanager.resource.system-reserved-memory-mb | 為非YARN進程保留的物理內存量(MB)。僅當yarn.nodemanager.resource.detect-hardware-capabilities設置為true且yarn.nodemanager.resource.memory-mb為-1時,才使用此配置。如果設置為-1,則此數量計算為20%(系統內存 - 2 * HADOOP_HEAPSIZE) | -1 | |
yarn.nodemanager.pmem-check-enabled | 是否將對容器強制實施物理內存限制。 | TRUE | |
yarn.nodemanager.vmem-check-enabled | 是否將對容器強制實施虛擬內存限制。 | TRUE | false |
yarn.nodemanager.vmem-pmem-ratio | 設置容器的內存限制時虛擬內存與物理內存之間的比率。容器分配以物理內存表示,允許虛擬內存使用量超過此分配。 | 2.1 | |
yarn.nodemanager.resource.cpu-vcores | 可以為容器分配的vcores數。在為容器分配資源時,RM調度程序使用它。這不用於限制YARN容器使用的CPU數量。如果設置為-1且yarn.nodemanager.resource.detect-hardware-capabilities為true,則在Windows和Linux的情況下會自動從硬件確定。在其他情況下,默認情況下,vcores的數量為8。 | -1 | 24 |
yarn.nodemanager.resource.count-logical-processors-as-cores | 用於確定邏輯處理器(例如超線程)是否應計為內核的標志。僅當yarn.nodemanager.resource.cpu-vcores設置為-1且yarn.nodemanager.resource.detect-hardware-capabilities為true時才適用於Linux。 | FALSE | |
yarn.nodemanager.resource.pcores-vcores-multiplier | 乘數來確定如何將物理核心轉換為vcores。如果yarn.nodemanager.resource.cpu-vcores設置為-1(表示自動計算vcores)並且yarn.nodemanager.resource.detect-hardware-capabilities設置為true,則使用此值。vcores的數量將計算為CPU數*乘數。 | 1 | |
yarn.nodemanager.logaggregation.threadpool-size-max | 節點管理器中LogAggregationService的線程池大小。 | 100 | |
yarn.nodemanager.resource.percentage-physical-cpu-limit | 可以為容器分配的CPU百分比。此設置允許用戶限制YARN容器使用的CPU數量。目前僅在使用cgroup的Linux上運行。默認是使用100%的CPU。 | 100 | |
yarn.nodemanager.resource.detect-hardware-capabilities | 啟用節點功能(如內存和CPU)的自動檢測。 | FALSE | |
yarn.nodemanager.webapp.address | NM Webapp地址。 | ${yarn.nodemanager.hostname}:8042 | |
yarn.nodemanager.webapp.https.address | NM Web應用程序的https地址。 | 0.0.0.0:8044 | |
yarn.nodemanager.webapp.spnego-keytab-file | 用於NM Web界面的spnego過濾器的Kerberos keytab文件。 | ||
yarn.nodemanager.webapp.spnego-principal | 用於NM Web界面的spnego過濾器的Kerberos主體。 | ||
yarn.nodemanager.resource-monitor.interval-ms | 監視節點和容器的頻率。如果為0或負數,則禁用監視。 | 3000 | |
yarn.nodemanager.resource-calculator.class | 計算當前資源利用率的類。 | ||
yarn.nodemanager.container-monitor.enabled | 啟用容器監視器 | TRUE | |
yarn.nodemanager.container-monitor.interval-ms | 監視容器的頻率。如果未設置,將使用yarn.nodemanager.resource-monitor.interval-ms的值。如果為0或負數,則禁用容器監視。 | 3000 | |
yarn.nodemanager.container-monitor.resource-calculator.class | 計算容器當前資源利用率的類。如果未設置,將使用yarn.nodemanager.resource-calculator.class的值。 | ||
yarn.nodemanager.health-checker.interval-ms | 運行節點運行狀況腳本的頻率。 | 600000 | 135000 |
yarn.nodemanager.health-checker.script.timeout-ms | 腳本超時期限。 | 1200000 | 60000 |
yarn.nodemanager.health-checker.script.path | 要運行的運行狀況檢查腳本。 | ||
yarn.nodemanager.health-checker.script.opts | 傳遞給運行狀況檢查腳本的參數。 | ||
yarn.nodemanager.disk-health-checker.interval-ms | 運行磁盤運行狀況檢查程序代碼的頻率。 | 120000 | |
yarn.nodemanager.disk-health-checker.min-healthy-disks | nodemanager啟動新容器的最佳磁盤數量的最小比例。這對應於yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。即如果可用的健康local-dirs(或log-dirs)數量較少,則不會在此節點上啟動新容器。 | 0.25 | |
yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage | 磁盤空間利用率的最大百分比,在此之后磁盤被標記為壞。值的范圍為0.0到100.0。如果該值大於或等於100,則nodemanager將檢查是否有完整磁盤。這適用於yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。 | 90 | |
yarn.nodemanager.disk-health-checker.disk-utilization-watermark-low-per-disk-percentage | 將壞磁盤標記為良好時使用的磁盤空間閾值百分比較低。值的范圍為0.0到100.0。這適用於yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。請注意,如果其值大於yarn.nodemanager.disk-health-checker。max-disk-utilization-per-disk-percentage或未設置,將設置為與yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage相同的值。 | ||
yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mb | 磁盤上必須使用的最小空間。這適用於yarn.nodemanager.local-dirs和yarn.nodemanager.log-dirs。 | 0 | |
yarn.nodemanager.linux-container-executor.path | Linux容器執行程序的路徑。 | ||
yarn.nodemanager.linux-container-executor.resources-handler.class | 應該幫助LCE處理資源的類。 | org.apache.hadoop.yarn.server.nodemanager.util.DefaultLCEResourcesHandler | |
yarn.nodemanager.linux-container-executor.cgroups.hierarchy | 用於放置YARN的cgroups層次結構(不能包含逗號)。如果yarn.nodemanager.linux-container-executor.cgroups.mount為false(即,如果已經預先配置了cgroup)並且YARN用戶具有對父目錄的寫訪問權限,則將創建該目錄。如果該目錄已存在,則管理員必須以遞歸方式向其授予YARN寫入權限。僅當LCE資源處理程序設置為CgroupsLCEResourcesHandler時,此屬性才適用。 | /hadoop-yarn | |
yarn.nodemanager.linux-container-executor.cgroups.mount | LCE是否應該在未找到的情況下嘗試掛載cgroup。僅當LCE資源處理程序設置為CgroupsLCEResourcesHandler時,此屬性才適用。 | FALSE | |
yarn.nodemanager.linux-container-executor.cgroups.mount-path | 此屬性設置YARN將讀取CGroups配置的路徑。YARN具有發現系統CGroup裝載路徑的內置功能,因此僅當YARN的自動裝載路徑發現不起作用時才使用此屬性。在啟動NodeManager之前,此屬性指定的路徑必須存在。如果yarn.nodemanager.linux-container-executor.cgroups.mount設置為true,則YARN將首先嘗試在讀取它們之前將CGroup安裝在指定的路徑上。如果yarn.nodemanager.linux-container-executor.cgroups.mount設置為false,則YARN將讀取指定路徑上的CGroup。如果此屬性為空,則YARN會嘗試檢測CGroups位置。有關更多詳細信息,請參閱文檔中的NodeManagerCgroups.html。 | ||
yarn.nodemanager.linux-container-executor.cgroups.delete-delay-ms | 嘗試刪除linux cgroup之間的延遲ms | 20 | |
yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users | 這決定了LCE應該在非安全集群上使用的兩種模式中的哪一種。如果此值設置為true,則將以yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user中指定的用戶啟動所有容器。如果此值設置為false,則容器將以提交應用程序的用戶身份運行。 | TRUE | |
yarn.nodemanager.linux-container-executor.nonsecure-mode.local-user | 如果設置了yarn.nodemanager.linux-container-executor.nonsecure-mode.limit-users,則容器將在非安全模式下使用Linux容器執行程序時運行的UNIX用戶(此用例使用cgroups)為真。 | nobody | |
yarn.nodemanager.linux-container-executor.nonsecure-mode.user-pattern | Linux-container-executor在非安全模式下使用時允許的UNIX用戶名模式(用例是使用cgroups)。默認值取自/ usr / sbin / adduser | ^[_.A-Za-z0-9][-@_.A-Za-z0-9]{0,255}?[$]?$ | |
yarn.nodemanager.linux-container-executor.cgroups.strict-resource-usage | 此標志確定應用程序是應以嚴格的資源限制運行,還是允許在需要時使用備用資源。例如,打開標志將限制應用程序僅使用其CPU份額,即使該節點具有備用CPU周期。默認值為false,即使用可用資源。請注意,打開此標志可能會降低群集上的作業吞吐量。 | FALSE | |
yarn.nodemanager.runtime.linux.allowed-runtimes | 逗號分隔的使用LinuxContainerExecutor時允許的運行時列表。允許的值是default和docker。 | default | |
yarn.nodemanager.runtime.linux.docker.capabilities | 此配置設置確定在啟動時分配給docker容器的功能。雖然從docker的角度來看這些可能不區分大小寫,但最好保持這些大寫。要在沒有任何功能的情況下運行,請將此值設置為“none”或“NONE” | CHOWN,DAC_OVERRIDE,FSETID,FOWNER,MKNOD,NET_RAW,SETGID,SETUID,SETFCAP,SETPCAP,NET_BIND_SERVICE,SYS_CHROOT,KILL,AUDIT_WRITE | |
yarn.nodemanager.runtime.linux.docker.privileged-containers.allowed | 此配置設置確定此群集上是否允許特權docker容器。請特別小心使用。 | FALSE | |
yarn.nodemanager.runtime.linux.docker.privileged-containers.acl | 此配置設置確定允許誰在此群集上運行特權docker容器。請特別小心使用。 | ||
yarn.nodemanager.runtime.linux.docker.allowed-container-networks | 使用DockerContainerRuntime啟動容器時允許的網絡集。 | host,none,bridge | |
yarn.nodemanager.runtime.linux.docker.default-container-network | 在請求中未指定網絡時使用DockerContainerRuntime啟動容器時使用的網絡。該網絡必須是(可配置的)允許的容器網絡之一。 | host | |
yarn.nodemanager.runtime.linux.docker.enable-userremapping.allowed | 啟用docker用戶重映射的屬性 | TRUE | |
yarn.nodemanager.runtime.linux.docker.userremapping-uid-threshold | 用戶重新映射用戶的可接受uid的下限 | 1 | |
yarn.nodemanager.runtime.linux.docker.userremapping-gid-threshold | 用戶重新映射用戶的可接受gid的下限 | 1 | |
yarn.nodemanager.windows-container.memory-limit.enabled | 此標志確定是否將為默認容器執行程序啟動的容器的Windows作業對象設置內存限制。 | FALSE | |
yarn.nodemanager.windows-container.cpu-limit.enabled | 此標志確定是否將為默認容器執行程序啟動的容器的Windows作業對象設置CPU限制。 | FALSE | |
yarn.nodemanager.linux-container-executor.cgroups.delete-timeout-ms | 在清理容器時,linux容器執行程序應該嘗試清理cgroups條目的時間間隔。 | 1000 | |
yarn.nodemanager.linux-container-executor.group | linux-container-executor應該運行的UNIX組。 | hadoop | |
yarn.nodemanager.log-aggregation.compression-type | 用於壓縮聚合日志的T文件壓縮類型。 | none | gz |
yarn.nodemanager.principal | 節點管理器的kerberos主體。 | ||
yarn.nodemanager.aux-services | 以逗號分隔的服務列表,其中服務名稱應僅包含a-zA-Z0-9_且不能以數字開頭 | mapreduce_shuffle,spark2_shuffle | |
yarn.nodemanager.sleep-delay-before-sigkill.ms | 將SIGTERM和SIGKILL發送到容器之間要等待的ms數 | 250 | |
yarn.nodemanager.process-kill-wait.ms | 嘗試清理容器時等待進程出現的最長時間 | 2000 | |
yarn.nodemanager.resourcemanager.minimum.version | nodemanager將連接到的資源管理器的最小允許版本。有效值為NONE(無版本檢查),EqualToNM(資源管理器的版本等於或大於NM版本)或版本字符串。 | NONE | |
yarn.nodemanager.container-diagnostics-maximum-size | 包含診斷的最大大小,以便重新啟動容器盒。 | 10000 | |
yarn.nodemanager.container-retry-minimum-interval-ms | 最小容器重啟間隔(以毫秒為單位)。 | 1000 | |
yarn.client.nodemanager-client-async.thread-pool-max-size | NMClientAsync中用於處理容器管理事件的最大線程數 | 500 | |
yarn.client.nodemanager-connect.max-wait-ms | 等待與NM建立連接的最長時間 | 180000 | 60000 |
yarn.client.nodemanager-connect.retry-interval-ms | 每次嘗試連接到NM之間的時間間隔 | 10000 | |
yarn.nodemanager.resourcemanager.connect.max-wait.ms | 等待NM連接到RM的最長時間。未設置時,代理將回退到使用yarn.resourcemanager.connect.max-wait.ms的值。 | ||
yarn.nodemanager.resourcemanager.connect.retry-interval.ms | 每個NM嘗試連接到RM之間的時間間隔。未設置時,代理將回退到使用yarn.resourcemanager.connect.retry-interval.ms的值。 | ||
yarn.client.max-cached-nodemanagers-proxies | 節點管理器的最大緩存代理連接數。如果設置為大於零的值,則啟用緩存,NMClient和MRAppMaster將緩存指定數量的節點管理器代理。每個節點管理器最多只能有一個代理。防爆。將其配置為值5將確保客戶端最多有5個代理緩存5個不同的節點管理器。如果空閑時間超過系統范圍的空閑超時時間,則這些代理的這些連接將超時。請注意,這可能會導致大型群集出現問題,因為許多連接可能會同時延遲並導致大量連接線程。用於身份驗證的令牌僅在連接創建時使用。如果收到新令牌,則應關閉先前的連接以使用新令牌。這和(yarn.client.nodemanager-client-async.thread-pool-max-size)是相關的,應該是同步的(不需要它們相等)。如果此屬性的值為零,則禁用連接緩存,並且連接將使用零空閑超時來防止大型群集上的連接線程過多。 | 0 | |
yarn.nodemanager.recovery.enabled | 啟動后啟用節點管理器以進行恢復 | FALSE | true |
yarn.nodemanager.recovery.dir | 啟用恢復時節點管理器將在其中存儲狀態的本地文件系統目錄。 | ${hadoop.tmp.dir}/yarn-nm-recovery | /data/var/log/hadoop-yarn/nodemanager/recovery-state |
yarn.nodemanager.recovery.compaction-interval-secs | NM狀態數據庫的完全壓縮之間的時間(以秒為單位)。將間隔設置為零會禁用完整的壓縮循環。 | 3600 | |
yarn.nodemanager.recovery.supervised | nodemanager是否在監督下運行。支持恢復並在監督下運行的節點管理器將不會嘗試清理容器,因為它會立即重新啟動並恢復容器。 | FALSE | |
yarn.nodemanager.container-executor.os.sched.priority.adjustment | 調整容器OS調度優先級。在Linux中,直接傳遞給nice命令。如果未指定,則啟動容器時沒有任何明確的OS優先級。 | ||
yarn.nodemanager.container-metrics.enable | 標記以啟用容器指標 | TRUE | |
yarn.nodemanager.container-metrics.period-ms | 容器度量標准刷新周期(ms)。設置為-1表示完成時刷新。 | -1 | |
yarn.nodemanager.container-metrics.unregister-delay-ms | 完成后取消注冊容器指標的延遲時間ms。 | 10000 | 60000 |
yarn.nodemanager.container-monitor.process-tree.class | 用於計算當前容器資源利用率的類。 | ||
yarn.nodemanager.disk-health-checker.enable | 用於啟用NodeManager磁盤運行狀況檢查程序的標志 | TRUE | |
yarn.nodemanager.log.deletion-threads-count | NM日志清理中使用的線程數。禁用日志聚合時使用。 | 4 | |
yarn.nodemanager.windows-secure-container-executor.group | Windows-container-executor應該運行的Windows組。 | ||
yarn.nodemanager.docker-container-executor.exec-name | Docker客戶端的名稱或路徑。 | /usr/bin/docker | |
yarn.nodemanager.docker-container-executor.image-name | 用於DockerContainerExecutor的Docker鏡像名稱 | ||
yarn.nodemanager.aux-services.mapreduce_shuffle.class | org.apache.hadoop.mapred.ShuffleHandler | org.apache.hadoop.mapred.ShuffleHandler | |
yarn.web-proxy.principal | 代理的kerberos主體,如果代理不是作為RM的一部分運行的話。 | ||
yarn.web-proxy.keytab | WebAppProxy的Keytab,如果代理未作為RM的一部分運行。 | ||
yarn.web-proxy.address | Web代理的地址為HOST:PORT,如果未給出,則代理將作為RM的一部分運行 | ||
yarn.application.classpath | 適用於YARN應用程序的CLASSPATH。以逗號分隔的CLASSPATH條目列表。當此值為空時,將使用以下默認的CLARSPATH for YARN應用程序。對於Linux:$ HADOOP_CONF_DIR,$ HADOOP_COMMON_HOME / share / hadoop / common / *,$ HADOOP_COMMON_HOME / share / hadoop / common / lib / *,$ HADOOP_HDFS_HOME / share / hadoop / hdfs / *,$ HADOOP_HDFS_HOME / share / hadoop / hdfs / lib / *,$ HADOOP_YARN_HOME / share / hadoop / yarn / *,$ HADOOP_YARN_HOME / share / hadoop / yarn / lib / *對於Windows:%HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/ share / hadoop / common / *,%HADOOP_COMMON_HOME%/ share / hadoop / common / lib / *,%HADOOP_HDFS_HOME%/ share / hadoop / hdfs / *,%HADOOP_HDFS_HOME%/ share / hadoop / hdfs / lib / *,%HADOOP_YARN_HOME%/ share / hadoop / yarn / *, | ||
yarn.timeline-service.version | 指示正在運行的時間軸服務的當前版本。例如,如果“yarn.timeline-service.version”為1.5,並且“yarn.timeline-service.enabled”為true,則表示群集將並且應該調出時間軸服務v.1.5(並且沒有其他內容)。在客戶端,如果客戶端使用相同版本的時間軸服務,則應該成功。如果客戶選擇使用較小的版本,那么根據版本之間兼容性故事的穩健程度,結果可能會有所不同。 | 1.0f | 1.5 |
yarn.timeline-service.enabled | 在服務器端,它指示是否啟用時間線服務。在客戶端,用戶可以啟用它來指示客戶是否想要使用時間線服務。如果在客戶端啟用了安全性,則yarn客戶端會嘗試獲取時間線服務器的委托令牌。 | FALSE | true |
yarn.timeline-service.hostname | 時間軸服務Web應用程序的主機名。 | 0.0.0.0 | |
yarn.timeline-service.address | 這是啟動RPC服務器的時間軸服務器的默認地址。 | ${yarn.timeline-service.hostname}:10200 | bj-rack001-hadoop003:10200 |
yarn.timeline-service.webapp.address | 時間軸服務Web應用程序的http地址。 | ${yarn.timeline-service.hostname}:8188 | bj-rack001-hadoop003:8188 |
yarn.timeline-service.webapp.https.address | 時間線服務Web應用程序的https地址。 | ${yarn.timeline-service.hostname}:8190 | bj-rack001-hadoop003:8190 |
yarn.timeline-service.bind-host | 服務器將綁定到的實際地址。如果設置了此可選地址,RPC和webapp服務器將分別綁定到此地址和yarn.timeline-service.address和yarn.timeline-service.webapp.address中指定的端口。這對於通過設置為0.0.0.0使服務偵聽所有接口非常有用。 | 0.0.0.0 | |
yarn.timeline-service.generic-application-history.max-applications | 定義可以使用REST API或應用程序歷史協議獲取的最大應用程序數,並顯示在時間軸服務器web ui中。 | 10000 | |
yarn.timeline-service.store-class | 存儲時間軸商店的類名。 | org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore | org.apache.hadoop.yarn.server.timeline.EntityGroupFSTimelineStore |
yarn.timeline-service.ttl-enable | 啟用時間軸存儲數據的年齡。 | TRUE | |
yarn.timeline-service.ttl-ms | 生存時間線的時間以毫秒為單位存儲數據。 | 604800000 | 2678400000 |
yarn.timeline-service.leveldb-timeline-store.path | 存儲leveldb時間線存儲的文件名。 | ${hadoop.tmp.dir}/yarn/timeline | /hadoop/yarn/timeline |
yarn.timeline-service.leveldb-timeline-store.ttl-interval-ms | leveldb時間軸存儲的刪除周期之間等待的時間長度,以毫秒為單位。 | 300000 | |
yarn.timeline-service.leveldb-timeline-store.read-cache-size | leveldb時間軸存儲的未壓縮塊的讀緩存大小(以字節為單位)。 | 104857600 | 104857600 |
yarn.timeline-service.leveldb-timeline-store.start-time-read-cache-size | 最近讀取的實體開始時間的高速緩存大小,用於leveldb時間線存儲在實體數量中。 | 10000 | |
yarn.timeline-service.leveldb-timeline-store.start-time-write-cache-size | 最近編寫的leveldb時間軸實體開始時間的緩存大小以實體數量存儲。 | 10000 | |
yarn.timeline-service.handler-thread-count | 處理程序線程計數為客戶端RPC請求提供服務。 | 10 | |
yarn.timeline-service.http-authentication.type | 定義用於時間線服務器HTTP端點的身份驗證。支持的值是:simple | kerberos | #AUTHENTICATION_HANDLER_CLASSNAME# | simple | |
yarn.timeline-service.http-authentication.simple.anonymous.allowed | 指示使用“簡單”身份驗證時,時間線服務器是否允許匿名請求。 | TRUE | |
yarn.timeline-service.principal | 時間線服務器的Kerberos主體。 | ||
yarn.timeline-service.keytab | 時間線服務器的Kerberos密鑰表。 | /etc/krb5.keytab | |
yarn.timeline-service.ui-names | 以逗號分隔的將要托管的UI列表 | ||
yarn.timeline-service.client.max-retries | 時間軸服務客戶端的默認最大重試次數和值-1表示沒有限制。 | 30 | |
yarn.timeline-service.client.best-effort | 客戶關於時間線操作是否非致命的政策。如果獲取委托令牌的失敗被認為是應用程序失敗(option = false),或者客戶端是否應該嘗試在沒有它的情況下繼續發布信息(option = true) | FALSE | |
yarn.timeline-service.client.retry-interval-ms | 時間線服務客戶端的默認重試時間間隔。 | 1000 | |
yarn.timeline-service.client.drain-entities.timeout.ms | 時間線v2客戶端在停止后等待耗盡剩余實體的時間段。 | 2000 | |
yarn.timeline-service.recovery.enabled | 啟動后啟用時間軸服務器恢復狀態。如果為true,則必須指定yarn.timeline-service.state-store-class。 | FALSE | true |
yarn.timeline-service.state-store-class | 存儲時間線狀態存儲的類名。 | org.apache.hadoop.yarn.server.timeline.recovery.LeveldbTimelineStateStore | org.apache.hadoop.yarn.server.timeline.recovery.LeveldbTimelineStateStore |
yarn.timeline-service.leveldb-state-store.path | 存儲leveldb狀態存儲的文件名。 | ${hadoop.tmp.dir}/yarn/timeline | /hadoop/yarn/timeline |
yarn.timeline-service.entity-group-fs-store.cache-store-class | 緩存存儲時間線服務器v1.5正在使用。 | org.apache.hadoop.yarn.server.timeline.MemoryTimelineStore | |
yarn.timeline-service.entity-group-fs-store.active-dir | 用於存儲活動應用程序的時間軸數據的HDFS路徑 | /tmp/entity-file-history/active | /ats/active/ |
yarn.timeline-service.entity-group-fs-store.done-dir | 用於存儲完成的應用程序的時間線數據的HDFS路徑 | /tmp/entity-file-history/done/ | /ats/done/ |
yarn.timeline-service.entity-group-fs-store.group-id-plugin-classes | 可以將時間軸實體讀取請求轉換為時間軸實體組ID列表的插件,以逗號分隔。 | org.apache.tez.dag.history.logging.ats.TimelineCachePluginImpl | |
yarn.timeline-service.entity-group-fs-store.group-id-plugin-classpath | yarn.timeline-service.entity-group-fs-store.group-id-plugin-classes中定義的所有插件的類路徑。 | <property> <name>yarn.timeline-service.entity-group-fs-store.group-id-plugin-classpath</name> <value></value> </property> |
|
yarn.timeline-service.entity-group-fs-store.summary-store | ATS v1.5的摘要存儲 | org.apache.hadoop.yarn.server.timeline.LeveldbTimelineStore | org.apache.hadoop.yarn.server.timeline.RollingLevelDBTimelineStore |
yarn.timeline-service.entity-group-fs-store.scan-interval-seconds | ATS v1.5實體組文件系統存儲讀取器的掃描間隔。此值控制讀取器掃描HDFS活動目錄以查找應用程序狀態的頻率。 | 60 | 15 |
yarn.timeline-service.entity-group-fs-store.cleaner-interval-seconds | ATS v1.5實體組文件系統存儲清理器的掃描間隔。此值控制讀取器掃描HDFS完成目錄以查找過時應用程序數據的頻率。 | 3600 | |
yarn.timeline-service.entity-group-fs-store.retain-seconds | ATS v1.5實體組文件系統存儲將把應用程序的數據保存在done目錄中多長時間。 | 604800 | |
yarn.timeline-service.entity-group-fs-store.leveldb-cache-read-cache-size | 讀取ATS v1.5插件存儲中leveldb緩存存儲的緩存大小。 | 10485760 | |
yarn.timeline-service.entity-group-fs-store.app-cache-size | ATS v1.5閱讀器的閱讀器緩存大小。此值控制ATS v1.5服務器應緩存的實體組數。如果活動讀取實體組的數量大於高速緩存項目的數量,則某些讀取可能返回空數據。該值必須大於0。 | 10 | |
yarn.timeline-service.client.fd-flush-interval-secs | ATS v1.5編寫器的刷新間隔。此值控制編寫器為實體/域刷新HDFS FSStream的頻率。 | 10 | 5 |
yarn.timeline-service.client.fd-clean-interval-secs | ATS v1.5編寫器的掃描間隔。此值控制編寫器掃描實體/域的HDFS FSStream的頻率。如果FSStream長時間過時,則此FSStream將關閉。 | 60 | |
yarn.timeline-service.client.fd-retain-secs | ATS v1.5編寫器將保持FSStream打開多長時間。如果此fsstream在此配置時間內沒有寫入任何內容,則它將關閉。 | 300 | |
yarn.timeline-service.writer.class | 存儲實現ATS v2將用於TimelineWriter服務。 | org.apache.hadoop.yarn.server.timelineservice.storage.HBaseTimelineWriterImpl | |
yarn.timeline-service.reader.class | 存儲實現ATS v2將用於TimelineReader服務。 | org.apache.hadoop.yarn.server.timelineservice.storage.HBaseTimelineReaderImpl | |
yarn.timeline-service.client.internal-timers-ttl-secs | 內部計時器任務在編寫器中可以存活多長時間。如果此配置時間沒有寫入操作,則內部計時器任務將關閉。 | 420 | |
yarn.timeline-service.writer.flush-interval-seconds | 控制時間軸收集器刷新時間軸編寫器的頻率的設置。 | 60 | |
yarn.timeline-service.app-collector.linger-period.ms | 在應用程序主容器完成之后,應用程序收集器將在NM中處於活動狀態的時間段。 | 1000 | |
yarn.timeline-service.timeline-client.number-of-async-entities-to-merge | 時間線V2客戶端嘗試合並這些大量的異步實體(如果可用),然后調用REST ATS V2 API進行提交。 | 10 | |
yarn.timeline-service.hbase.coprocessor.app-final-value-retention-milliseconds | 在合並到流量總和之前,控制已完成應用程序的度量標准的最終值保留多長時間的設置。在應用程序完成后的這段時間內,無法以增加的存儲成本識別和丟棄到達的無序值。 | 259200000 | |
yarn.timeline-service.hbase.coprocessor.jar.hdfs.location | flowrun協處理器jar的默認hdfs位置。 | /hbase/coprocessor/hadoop-yarn-server-timelineservice.jar | |
yarn.timeline-service.hbase-schema.prefix | 此參數的值為hbase存儲架構中作為時間軸服務一部分的所有表設置前綴。它可以設置為“dev。” 或“分期”。如果它用於開發或暫存實例。這樣,生產表中的數據保留在一組以“prod。”為前綴的單獨表中。 | prod. | |
yarn.timeline-service.hbase.configuration.file | 用於連接到時間軸服務hbase集群的hbase-site.xml配置文件的可選URL。如果為空或未指定,則將從類路徑加載HBase配置。指定時,指定配置文件中的值將覆蓋類路徑中存在的值。 | ||
yarn.sharedcache.enabled | 是否啟用了共享緩存 | FALSE | |
yarn.sharedcache.root-dir | 共享緩存的根目錄 | /sharedcache | |
yarn.sharedcache.nested-level | 獲取校驗和目錄之前嵌套目錄的級別。它必須是非負面的。 | 3 | |
yarn.sharedcache.store.class | 用於SCM存儲的實現 | org.apache.hadoop.yarn.server.sharedcachemanager.store.InMemorySCMStore | |
yarn.sharedcache.app-checker.class | 用於SCM app-checker的實現 | org.apache.hadoop.yarn.server.sharedcachemanager.RemoteAppChecker | |
yarn.sharedcache.store.in-memory.staleness-period-mins | 如果自上次引用以來的時間超過過期時間,則內存存儲中的資源被視為過時。該值以分鍾為單位指定。 | 10080 | |
yarn.sharedcache.store.in-memory.initial-delay-mins | 內存存儲器運行第一次檢查以刪除死的初始應用程序之前的初始延遲。以分鍾為單位指定。 | 10 | |
yarn.sharedcache.store.in-memory.check-period-mins | 內存存儲檢查以刪除死初始應用程序的頻率。以分鍾為單位指定。 | 720 | |
yarn.sharedcache.admin.address | SCM(共享緩存管理器)中管理界面的地址 | 0.0.0.0:8047 | |
yarn.sharedcache.admin.thread-count | 用於處理SCM管理界面的線程數(默認為1) | 1 | |
yarn.sharedcache.webapp.address | SCM中的Web應用程序的地址(共享緩存管理器) | 0.0.0.0:8788 | |
yarn.sharedcache.cleaner.period-mins | 清潔任務運行的頻率。以分鍾為單位指定。 | 1440 | |
yarn.sharedcache.cleaner.initial-delay-mins | 計划第一個清潔任務之前的初始延遲。以分鍾為單位指定。 | 10 | |
yarn.sharedcache.cleaner.resource-sleep-ms | 處理每個共享緩存資源之間的休眠時間。以毫秒為單位指定。 | 0 | |
yarn.sharedcache.uploader.server.address | SCM中的節點管理器接口的地址(共享緩存管理器) | 0.0.0.0:8046 | |
yarn.sharedcache.uploader.server.thread-count | 用於處理來自節點管理器的共享緩存管理器請求的線程數(默認情況下為50) | 50 | |
yarn.sharedcache.client-server.address | SCM中的客戶端接口的地址(共享緩存管理器) | 0.0.0.0:8045 | |
yarn.sharedcache.client-server.thread-count | 用於處理來自客戶端的共享緩存管理器請求的線程數(默認情況下為50) | 50 | |
yarn.sharedcache.checksum.algo.impl | 用於計算文件校驗和的算法(默認情況下為SHA-256) | org.apache.hadoop.yarn.sharedcache.ChecksumSHA256Impl | |
yarn.sharedcache.nm.uploader.replication.factor | 共享高速緩存的節點管理器上載器的復制因子(默認為10) | 10 | |
yarn.sharedcache.nm.uploader.thread-count | 用於從節點管理器實例上載文件的線程數(默認為20) | 20 | |
security.applicationhistory.protocol.acl | 用於時間軸服務器的ACL協議。 | ||
yarn.is.minicluster | 對於MiniYARNCluster單元測試,設置為true | FALSE | |
yarn.minicluster.control-resource-monitoring | 設置MiniYARNCluster單元測試以控制資源監視 | FALSE | |
yarn.minicluster.fixed.ports | 設置為false以允許MiniYARNCluster在沒有端口沖突的情況下運行測試。 | FALSE | |
yarn.minicluster.use-rpc | 設置為false以允許MiniYARNCluster中的NodeManager使用RPC與RM通信。 | FALSE | |
yarn.minicluster.yarn.nodemanager.resource.memory-mb | 作為yarn.nodemanager.resource.memory-mb屬性,但是對於MiniYARNCluster中的NodeManager。 | 4096 | |
yarn.node-labels.enabled | 啟用節點標簽功能 | FALSE | |
yarn.node-labels.fs-store.retry-policy-spec | 用於FileSystem節點標簽存儲的重試策略。策略由N對休眠時間(以毫秒為單位)和重試次數“s1,n1,s2,n2,...”指定。 | 2000, 500 | |
yarn.node-labels.fs-store.root-dir | NodeLabelManager的URI。默認值為本地文件系統中的/ tmp / hadoop-yarn - $ {user} / node-labels /。 | /system/yarn/node-labels | |
yarn.node-labels.configuration-type | 設置節點標簽的配置類型。管理員可以指定“集中式”,“委托集中式”或“分布式”。 | centralized | |
yarn.nodemanager.node-labels.provider | 當“yarn.node-labels.configuration-type”在RM中配置為“distributed”時,管理員可以通過配置此參數在NM中為節點標簽配置提供程序。管理員可以配置“config”,“script”或提供程序的類名。配置的類需要擴展org.apache.hadoop.yarn.server.nodemanager.nodelabels.NodeLabelsProvider。如果配置了“config”,則配置“ConfigurationNodeLabelsProvider”並且如果配置了“script”,則將使用“ScriptNodeLabelsProvider”。 | ||
yarn.nodemanager.node-labels.provider.fetch-interval-ms | 當“yarn.nodemanager.node-labels.provider”配置為“config”,“Script”或配置的類擴展AbstractNodeLabelsProvider時,將定期從節點標簽提供程序檢索節點標簽。此配置用於定義間隔時段。如果配置為-1,則僅在初始化期間從提供程序檢索節點標簽。默認為10分鍾。 | 600000 | |
yarn.nodemanager.node-labels.resync-interval-ms | NM將其節點標簽與RM同步的時間間隔。NM將每隔x個間隔發送其加載的標簽,並將心跳發送到RM。 | 120000 | |
yarn.nodemanager.node-labels.provider.configured-node-partition | 當“yarn.nodemanager.node-labels.provider”配置為“config”時,ConfigurationNodeLabelsProvider將從此參數中獲取分區標簽。 | ||
yarn.nodemanager.node-labels.provider.fetch-timeout-ms | 當“yarn.nodemanager.node-labels.provider”配置為“Script”時,此配置提供超時時間,之后它將中斷查詢Node標簽的腳本。默認為20分鍾。 | 1200000 | |
yarn.resourcemanager.node-labels.provider | 當節點標簽“yarn.node-labels.configuration-type”的類型為“委托集中”時,管理員應配置用於通過ResourceManager獲取節點標簽的類。配置的類需要擴展org.apache.hadoop.yarn.server.resourcemanager.nodelabels。RMNodeLabelsMappingProvider。 | ||
yarn.resourcemanager.node-labels.provider.fetch-interval-ms | 當“yarn.node-labels.configuration-type”配置為“委托集中”時,則從節點標簽提供程序中定期檢索節點標簽。此配置用於定義間隔。如果配置為-1,則在注冊后,每個節點僅從提供程序檢索一次節點標簽。默認為30分鍾。 | 1800000 | |
yarn.resourcemanager.nodemanager-graceful-decommission-timeout-secs | YARN節點正常退役的超時(以秒為單位)。這是在將DECOMMISSIONING節點轉換為DECOMMISSIONED之前等待運行容器和應用程序的最長時間。 | 3600 | |
yarn.resourcemanager.decommissioning-nodes-watcher.poll-interval-secs | DecommissioningNodesWatcher內部輪詢的超時秒數。 | 20 | |
yarn.nodemanager.node-labels.provider.script.path | 要運行的節點標簽腳本。腳本輸出以“NODE_PARTITION:”開頭的行將被視為節點標簽分區。如果多行具有此模式,則將考慮最后一行 | ||
yarn.nodemanager.node-labels.provider.script.opts | 傳遞給Node標簽腳本的參數。 | ||
yarn.federation.enabled | 標記以指示RM是否參與聯邦。 | FALSE | |
yarn.federation.machine-list | 要由FederationSubCluster解析程序加載的計算機列表文件 | ||
yarn.federation.subcluster-resolver.class | SubClusterResolver的類名 | org.apache.hadoop.yarn.server.federation.resolver.DefaultSubClusterResolverImpl | |
yarn.federation.state-store.class | 存儲聯合狀態存儲的類名 | org.apache.hadoop.yarn.server.federation.store.impl.MemoryFederationStateStore | |
yarn.federation.cache-ttl.secs | 以秒為單位的時間,此時聯合狀態存儲本地緩存將定期刷新 | 300 | |
yarn.federation.registry.base-dir | 聯合的注冊表基目錄。 | yarnfederation/ | |
yarn.registry.class | 要使用的注冊表實現。 | org.apache.hadoop.registry.client.impl.FSRegistryOperationsService | |
yarn.client.application-client-protocol.poll-interval-ms | yarn客戶端庫用於輪詢應用程序客戶端協議的異步API的完成狀態的時間間隔。 | 200 | |
yarn.client.application-client-protocol.poll-timeout-ms | YARN客戶端等待預期狀態更改發生的持續時間(以毫秒為單位)。-1表示無限制的等待時間。 | -1 | |
yarn.nodemanager.container-monitor.procfs-tree.smaps-based-rss.enabled | 通過/ proc / pid / stat計算的進程的RSS使用不是很准確,因為它包括進程的共享頁面。/ proc / pid / smaps提供了有用的信息,如Private_Dirty,Private_Clean,Shared_Dirty,Shared_Clean,可用於計算更准確的RSS。啟用此標志后,RSS將計算為Min(Shared_Dirty,Pss)+ Private_Clean + Private_Dirty。它排除了RSS計算中的只讀共享映射。 | FALSE | |
yarn.log.server.url | 日志聚合服務器的URL | http://bj-rack001-hadoop003:19888/jobhistory/logs | |
yarn.log.server.web-service.url | 日志聚合服務器Web服務的URL | http://bj-rack001-hadoop003:8188/ws/v1/applicationhistory | |
yarn.tracking.url.generator | RM應用程序跟蹤URL | ||
yarn.authorization-provider | 用於YarnAuthorizationProvider的類 | ||
yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds | 定義NM喚醒上載日志文件的頻率。默認值為-1。默認情況下,應用程序完成后將上載日志。通過設置此配置,可以在應用程序運行時定期上載日志。可設置的最小滾動間隔秒數為3600。 | -1 | 3600 |
yarn.intermediate-data-encryption.enable | 在YARN級別啟用/禁用中間數據加密。目前,只有FileSystemRMStateStore才能使用它來設置正確的文件系統安全屬性。 | FALSE | |
yarn.nodemanager.webapp.cross-origin.enabled | 標記以在NM中啟用跨源(CORS)支持。此標志需要將CORS過濾器初始化程序添加到core-site.xml中的過濾器初始化程序列表中。 | FALSE | |
yarn.cluster.max-application-priority | 定義群集中的最大應用程序優先級。如果提交的應用程序的優先級高於此值,則會將其重置為此最大值。 | 0 | |
yarn.nodemanager.log-aggregation.policy.class | 默認日志聚合策略類。應用程序可以通過LogAggregationContext覆蓋它。此配置可以提供某些群集端默認行為,以便在應用程序未通過LogAggregationContext指定任何策略時,群集管理員可以全局調整策略。 | org.apache.hadoop.yarn.server.nodemanager.containermanager.logaggregation.AllContainerLogAggregationPolicy | |
yarn.nodemanager.log-aggregation.policy.parameters | 日志聚合策略的缺省參數。應用程序可以通過LogAggregationContext覆蓋它。此配置可以提供某些群集端默認行為,以便在應用程序未通過LogAggregationContext指定任何策略時,群集管理員可以全局調整策略。 | ||
yarn.nodemanager.amrmproxy.enabled | 在節點管理器中啟用/禁用AMRMProxyService。此服務用於攔截從應用程序主服務器到資源管理器的調用。 | FALSE | |
yarn.nodemanager.amrmproxy.address | AMRMProxyService偵聽器的地址。 | 0.0.0.0:8049 | |
yarn.nodemanager.amrmproxy.client.thread-count | 用於處理AMRMProxyService請求的線程數。 | 25 | |
yarn.nodemanager.amrmproxy.interceptor-class.pipeline | 以逗號分隔的實現RequestInterceptor接口的類名列表。AMRMProxyService使用它來為應用程序創建請求處理管道。 | org.apache.hadoop.yarn.server.nodemanager.amrmproxy.DefaultRequestInterceptor | |
yarn.nodemanager.amrmproxy.ha.enable | 是否啟用了AMRMProxy HA。 | FALSE | |
yarn.nodemanager.distributed-scheduling.enabled | 設置控制是否啟用分布式調度。 | FALSE | |
yarn.resourcemanager.opportunistic-container-allocation.enabled | 設置控制是否啟用機會性容器分配。 | FALSE | |
yarn.resourcemanager.opportunistic-container-allocation.nodes-used | 在為容器分配期間調度容器時,Opportunistic Container Allocator要使用的節點數。 | 10 | |
yarn.resourcemanager.nm-container-queuing.sorting-nodes-interval-ms | 計算負載最小的NM的頻率。 | 1000 | |
yarn.resourcemanager.nm-container-queuing.load-comparator | 用於確定分布式調度的節點負載的比較器。 | QUEUE_LENGTH | |
yarn.resourcemanager.nm-container-queuing.queue-limit-stdev | 用於計算隊列限制閾值的標准偏差值。 | 1.0f | |
yarn.resourcemanager.nm-container-queuing.min-queue-length | NodeManager中容器隊列的最小長度。 | 5 | |
yarn.resourcemanager.nm-container-queuing.max-queue-length | NodeManager上容器隊列的最大長度。 | 15 | |
yarn.resourcemanager.nm-container-queuing.min-queue-wait-time-ms | NodeManager上容器的最小隊列等待時間。 | 10 | |
yarn.resourcemanager.nm-container-queuing.max-queue-wait-time-ms | NodeManager上容器隊列的最大隊列等待時間。 | 100 | |
yarn.nodemanager.opportunistic-containers-use-pause-for-preemption | 在NodeManager的容器隊列中使用容器暫停作為搶占的搶占策略。 | FALSE | |
yarn.nodemanager.container.stderr.pattern | 錯誤文件名模式,用於標識容器的Log目錄中包含容器錯誤日志的文件。由於錯誤文件重定向由客戶端/ AM完成,因此yarn不會知道錯誤文件名。當容器執行返回非零值時,YARN使用此模式標識錯誤文件並將錯誤日志作為診斷結尾。文件名模式區分大小寫,應與FileSystem.globStatus(Path)api的規范相匹配。如果多個文件名與模式匹配,則將選擇與模式匹配的第一個文件。 | {*stderr*,*STDERR*} | |
yarn.nodemanager.container.stderr.tail.bytes | 需要加尾的容器錯誤文件的大小,以字節為單位。 | 4096 | |
yarn.node-labels.fs-store.impl.class | 選擇節點標簽存儲的不同實現 | org.apache.hadoop.yarn.nodelabels.FileSystemNodeLabelsStore | |
yarn.resourcemanager.webapp.rest-csrf.enabled | 為RM Web應用程序啟用CSRF篩選器 | FALSE | |
yarn.resourcemanager.webapp.rest-csrf.custom-header | 可選參數,指示用於CSRF保護的自定義標頭名稱。 | X-XSRF-Header | |
yarn.resourcemanager.webapp.rest-csrf.methods-to-ignore | 可選參數,指示不需要CSRF保護的HTTP方法列表 | GET,OPTIONS,HEAD | |
yarn.nodemanager.webapp.rest-csrf.enabled | 為NM Web應用程序啟用CSRF篩選器 | FALSE | |
yarn.nodemanager.webapp.rest-csrf.custom-header | 可選參數,指示用於CSRF保護的自定義標頭名稱。 | X-XSRF-Header | |
yarn.nodemanager.webapp.rest-csrf.methods-to-ignore | 可選參數,指示不需要CSRF保護的HTTP方法列表 | GET,OPTIONS,HEAD | |
yarn.nodemanager.disk-validator | 磁盤驗證程序的名稱。 | basic | |
yarn.timeline-service.webapp.rest-csrf.enabled | 為時間軸服務Web應用程序啟用CSRF篩選器 | FALSE | |
yarn.timeline-service.webapp.rest-csrf.custom-header | 可選參數,指示用於CSRF保護的自定義標頭名稱。 | X-XSRF-Header | |
yarn.timeline-service.webapp.rest-csrf.methods-to-ignore | 可選參數,指示不需要CSRF保護的HTTP方法列表 | GET,OPTIONS,HEAD | |
yarn.webapp.xfs-filter.enabled | 為YARN啟用XFS篩選器 | TRUE | |
yarn.resourcemanager.webapp.xfs-filter.xframe-options | 指定xframe選項值的屬性。 | SAMEORIGIN | |
yarn.nodemanager.webapp.xfs-filter.xframe-options | 指定xframe選項值的屬性。 | SAMEORIGIN | |
yarn.timeline-service.webapp.xfs-filter.xframe-options | 指定xframe選項值的屬性。 | SAMEORIGIN | |
yarn.resourcemanager.node-removal-untracked.timeout-ms | 在聲明未跟蹤之后,最少的時間(毫秒),非活動(退役或關閉)節點可以保留在資源管理器的節點列表中。當且僅當RM上的包含和排除nodemanager列表不存在時,節點才會被標記為未跟蹤。每個超時間隔或每10分鍾檢查所有非活動節點兩次,以較小者為准,並進行適當標記。調用refreshNodes命令(正常或其他)時也會這樣做。 | 60000 | |
yarn.resourcemanager.application-timeouts.monitor.interval-ms | RMAppLifetimeMonitor服務使用此值作為監視間隔 | 3000 | |
yarn.app.attempt.diagnostics.limit.kc | 定義應用程序嘗試的診斷消息的限制,以千字符為單位(字符數* 1024)。使用ZooKeeper存儲應用程序狀態行為時,限制診斷消息的大小以防止YARN壓倒ZooKeeper非常重要。如果將yarn.resourcemanager.state-store.max-completed-applications設置為較大的數字,則可能需要減小此屬性的值以限制存儲的總數據。 | 64 | |
yarn.timeline-service.http-cross-origin.enabled | 用於在時間軸服務v2中為時間軸服務v1.x或時間線讀取器啟用跨源(CORS)支持的標志。對於時間軸服務v2,還要將org.apache.hadoop.security.HttpCrossOriginFilterInitializer添加到core-site.xml中的配置hadoop.http.filter.initializers。 | FALSE | |
yarn.scheduler.queue-placement-rules | 以逗號分隔的PlacementRules列表,用於確定某些用戶提交的應用程序如何映射到某些隊列。默認為user-group,對應於UserGroupMappingPlacementRule。 | user-group | |
yarn.timeline-service.entity-group-fs-store.with-user-dir | TimelineClient 1.5配置是否在用戶目錄中存儲活動應用程序的時間軸數據,即$ {yarn.timeline-service.entity-group-fs-store.active-dir} / $ {user.name} | FALSE | |
yarn.router.clientrm.interceptor-class.pipeline | 以逗號分隔的實現RequestInterceptor接口的類名列表。這由RouterClientRMService用於為用戶創建請求處理管道。 | org.apache.hadoop.yarn.server.router.clientrm.DefaultClientRequestInterceptor | |
yarn.router.pipeline.cache-max-size | Router ClientRM服務和RMAdmin服務的LRU緩存大小。 | 25 | |
yarn.router.rmadmin.interceptor-class.pipeline | 以逗號分隔的實現RequestInterceptor接口的類名列表。這由RouterRMAdminService用於為用戶創建請求處理管道。 | org.apache.hadoop.yarn.server.router.rmadmin.DefaultRMAdminRequestInterceptor | |
yarn.router.bind-host | 服務器將綁定到的實際地址。如果設置了此可選地址,RPC和webapp服務器將分別綁定到此地址和yarn.router.address和yarn.router.webapp.address中指定的端口。這對於使路由器通過設置為0.0.0.0來監聽所有接口非常有用。 | ||
yarn.router.webapp.interceptor-class.pipeline | 以逗號分隔的實現RequestInterceptor接口的類名列表。這由RouterWebServices用於為用戶創建請求處理管道。 | org.apache.hadoop.yarn.server.router.webapp.DefaultRequestInterceptorREST | |
yarn.router.webapp.address | Router Web應用程序的http地址。如果僅提供主機作為值,則webapp將在隨機端口上提供。 | 0.0.0.0:8089 | |
yarn.router.webapp.https.address | Router Web應用程序的https地址。如果僅提供主機作為值,則webapp將在隨機端口上提供。 | 0.0.0.0:8091 | |
yarn.resourcemanager.display.per-user-apps | 標記以允許將每個用戶的應用程序顯示為管理員配置。 | FALSE | |
yarn.scheduler.configuration.store.class | 用於調度程序配置的配置存儲的類型。默認為“file”,它使用基於文件的capacity-scheduler.xml來檢索和更改調度程序配置。要啟用基於API的調度程序配置,請使用“內存”(在內存中,在重新啟動時不存在持久性),“leveldb”(基於leveldb的存儲)或“zk”(基於zookeeper的存儲)。基於API的配置僅在使用支持可變配置的調度程序時才有用。目前只有容量調度程序支持此功能。 | file | |
yarn.scheduler.configuration.mutation.acl-policy.class | 如果使用可變配置提供程序,則用於配置變異ACL策略的類。控制是否允許變異請求。DefaultConfigurationMutationACLPolicy檢查請求者是否為YARN管理員。 | org.apache.hadoop.yarn.server.resourcemanager.scheduler.DefaultConfigurationMutationACLPolicy | |
yarn.scheduler.configuration.leveldb-store.path | 當yarn.scheduler.configuration.store.class配置為“leveldb”時,配置存儲的LevelDB實現的存儲路徑。 | ${hadoop.tmp.dir}/yarn/system/confstore | |
yarn.scheduler.configuration.leveldb-store.compaction-interval-secs | 當yarn.scheduler.configuration.store.class配置為“leveldb”時,LevelDB配置的壓縮間隔以秒為單位。默認是一天。 | 86400 | |
yarn.scheduler.configuration.store.max-logs | 當yarn.scheduler.configuration.store.class配置為“leveldb”或“zk”時,配置存儲中保留的配置更改日志條目的最大數量。兩者的默認值均為1000。 | 1000 | |
yarn.scheduler.configuration.zk-store.parent-path | 使用基於zookeeper的配置存儲時,配置存儲的ZK根節點路徑。 | /confstore |