導讀
：關於hadoop的配置文件，目前其它網站資料中都是只寫了幾個常用的屬性配置，但平時可能也會用到其它屬性，這里就一起寫出來，供大家參考。本篇先從core-site.xml開始，后續將繼續進行其它配置文件的梳理。
|
屬性名稱
|
屬性值
|
描述
|
| hadoop.common.configuration.version | 0.23.0 | 配置文件的版本。 |
| hadoop.tmp.dir | /tmp/hadoop-${user.name} | 其它臨時目錄的父目錄，會被其它臨時目錄用到。 |
| io.native.lib.available | TRUE | 是否使用本地庫進行bz2和zlib的文件壓縮及編解碼。 |
| hadoop.http.filter.initializers | org.apache.hadoop.http.lib.StaticUserWebFilter | 一個逗號分隔的類名列表，他們必須繼承於org.apache.hadoop.http.FilterInitializer，相應的過濾器被初始化后，將應用於所有的JSP和Servlet網頁。列表的排序即為過濾器的排序。 |
| hadoop.security.authorization | FALSE | 是否啟用service級別的授權。 |
| hadoop.security.instrumentation.requires.admin | FALSE | 訪問servlets (JMX, METRICS, CONF, STACKS)是否需要管理員ACL(訪問控制列表)的授權。 |
| hadoop.security.authentication | simple | 有兩個選項，simple和kerberos，兩個的詳細區別就自己百度吧。 |
| hadoop.security.group.mapping | org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback | 用於ACL用戶組映射的類，默認的實現類是 org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback，定義了JNI是否可用，如果可用，將使用hadoop中的API來實現訪問用戶組解析，如果不可用，將使用ShellBasedUnixGroupsMapping來實現。 |
| hadoop.security.dns.interface | 用於確定Kerberos登錄主機的網絡接口的名稱。 | |
| hadoop.security.dns.nameserver | 用於確定Kerberos登錄主機的地址。 | |
| hadoop.security.dns.log-slow-lookups.enabled | FALSE | 當查詢名稱時間超過閾值時是否進行記錄。 |
| hadoop.security.dns.log-slow-lookups.threshold.ms | 1000 | 接上一個屬性，這個屬性就是設置閾值的。 |
| hadoop.security.groups.cache.secs | 300 | 配置用戶組映射緩存時間的，當過期時重新獲取並緩存。 |
| hadoop.security.groups.negative-cache.secs | 30 | 當無效用戶頻繁訪問，用於設置緩存鎖定時間。建議設置為較小的值，也可以通過設置為0或負數來禁用此屬性。 |
| hadoop.security.groups.cache.warn.after.ms | 5000 | 當查詢用戶組時間超過設置的這個閾值時，則作為警告信息進行記錄。 |
| hadoop.security.groups.cache.background.reload | FALSE | 是否使用后台線程池重新加載過期的用戶組映射。 |
| hadoop.security.groups.cache.background.reload.threads | 3 | 接上一個屬性，當上個屬性為true時，通過此屬性控制后台線程的數量。 |
| hadoop.security.groups.shell.command.timeout | 0s | 設置shell等待命令執行時間，如果超時，則命令中止，如果設置為0，表示無限等待。 |
| hadoop.security.group.mapping.ldap.connection.timeout.ms | 60000 | 設置LDAP的連接超時時間，如果為0或負數，表示無限等待。 |
| hadoop.security.group.mapping.ldap.read.timeout.ms | 60000 | 設置LDAP的讀取超時時間，如果為0或負數，表示無限等待。 |
| hadoop.security.group.mapping.ldap.url | LDAP服務器的地址。 | |
| hadoop.security.group.mapping.ldap.ssl | FALSE | 是否使用SSL連接LDAP服務器。 |
| hadoop.security.group.mapping.ldap.ssl.keystore | 包含SSL證書的SSL密鑰文件的存儲路徑。 | |
| hadoop.security.group.mapping.ldap.ssl.keystore.password.file | 包括SSL密鑰文件訪問密碼的文件路徑，如果此屬性沒有設置，並且hadoop.security.group.mapping.ldap.ssl.keystore.password屬性也沒有設置，則直接從LDAP指定文件讀取密碼（注意：此文件只能由運行守護進程的unix用戶讀取，並且應該是本地文件）。 | |
| hadoop.security.group.mapping.ldap.ssl.keystore.password | 保存SSL密鑰文件訪問密碼的別名，如果此屬性為空，並且hadoop.security.credential.clear-text-fallback屬性為true時，則通過后者獲取密碼。 | |
| hadoop.security.credential.clear-text-fallback | TRUE | 是否將密碼保存為明文。 |
| hadoop.security.credential.provider.path | 包含證書類型和位置的文件地址列表。 | |
| hadoop.security.credstore.java-keystore-provider.password-file | 包含用戶自定義密碼的文件路徑。 | |
| hadoop.security.group.mapping.ldap.bind.user | 連接到LDAP服務器時的用戶別名，如果LDAP服務器支持匿名綁定，則此屬性可以為空值。 | |
| hadoop.security.group.mapping.ldap.bind.password.file | 包含綁定用戶密碼的文件的路徑。如果在證書提供程序中沒有配置密碼，並且屬性hadoop.security.group.mapping.ldap.bind.password沒有設置，則從文件讀取密碼。注意：此文件只能由運行守護進程的UNIX用戶讀取，並且應該是本地文件。 | |
| hadoop.security.group.mapping.ldap.bind.password | 綁定用戶的密碼。此屬性名用作從憑據提供程序獲取密碼的別名。如果無法找到密碼，hadoop.security.credential.clear-text-fallback是真的，則使用此屬性的值作為密碼。 | |
| hadoop.security.group.mapping.ldap.base | LDAP連接時搜索的根目錄。 | |
| hadoop.security.group.mapping.ldap.userbase | 指定用戶LDAP連接時搜索的根目錄。如果不設置此屬性，則使用hadoop.security.group.mapping.ldap.base屬性的值。 | |
| hadoop.security.group.mapping.ldap.groupbase | 指定用戶組LDAP連接時搜索的根目錄。如果不設置此屬性，則使用hadoop.security.group.mapping.ldap.base屬性的值。 | |
| hadoop.security.group.mapping.ldap.search.filter.user | (&(objectClass=user)(sAMAccountName={0})) | 搜索LDAP用戶時提供的額外的篩選器。 |
| hadoop.security.group.mapping.ldap.search.filter.group | (objectClass=group) | 搜索LDAP用戶組時提供的額外的篩選器。 |
| hadoop.security.group.mapping.ldap.search.attr.memberof | 用戶對象的屬性，用於標識其組對象。 | |
| hadoop.security.group.mapping.ldap.search.attr.member | member | 用戶組對象的屬性，用於標識其有哪些組成員。 |
| hadoop.security.group.mapping.ldap.search.attr.group.name | cn | 用戶組對象的屬性，用於標識用戶組的名稱。 |
| hadoop.security.group.mapping.ldap.search.group.hierarchy.levels | 0 | 當要確定用戶所屬的用戶組時，此屬性用於指定向上查找的層級數目。如果為0，則表示只查詢當前用戶所屬的直接用戶組，不再向上查找。 |
| hadoop.security.group.mapping.ldap.posix.attr.uid.name | uidNumber | posixAccount的屬性，用於成員分組 |
| hadoop.security.group.mapping.ldap.posix.attr.gid.name | gidNumber | posixAccount的屬性，用戶標識組ID。 |
| hadoop.security.group.mapping.ldap.directory.search.timeout | 10000 | LDAP SearchControl的屬性，用於在搜索和等待結果時設置最大時間限制。如果需要無限等待時間，設置為0。默認值為10秒。單位為毫秒。 |
| hadoop.security.group.mapping.providers | 逗號分隔的提供商名稱，用於用戶組映射。 | |
| hadoop.security.group.mapping.providers.combined | TRUE | 標識提供商提供的級是否可以被組合。 |
| hadoop.security.service.user.name.key | 此屬性用於指定RPC調用的服務主名稱，適用於相同的RPC協議由多個服務器實現的情況。 | |
| fs.azure.user.agent.prefix | unknown | WASB提供給Azure的前綴，默認包括WASB版本、JAVA運行時版本、此屬性的值等。 |
| hadoop.security.uid.cache.secs | 14400 | 控制緩存的過期時間。 |
| hadoop.rpc.protection | authentication | 一個逗號分隔的安全SASL連接的保護值列表。 |
| hadoop.security.saslproperties.resolver.class | 用於連接時解決QOP的SaslPropertiesResolver。 | |
| hadoop.security.sensitive-config-keys | secret$ password$ ssl.keystore.pass$ fs.s3.*[Ss]ecret.?[Kk]ey fs.s3a.*.server-side-encryption.key fs.azure.account.key.* credential$ oauth.*token$ hadoop.security.sensitive-config-keys | 一個逗號分隔的或多行的正則表達式列表。 |
| hadoop.workaround.non.threadsafe.getpwuid | TRUE | 一些系統已知在調用getpwuid_r和getpwgid_r有問題，這些調用是非線程安全的。這個問題的主要表現特征是JVM崩潰。如果你的系統有這些問題，開啟這個選項。默認是關閉的。 |
| hadoop.kerberos.kinit.command | kinit | 用於Kerberos證書的定時更新。 |
| hadoop.kerberos.min.seconds.before.relogin | 60 | 重新嘗試登錄Kerberos的最小時間間隔，單位為秒。 |
| hadoop.security.auth_to_local | 將Kerberos主體映射到本地用戶名。 | |
| hadoop.token.files | 具有Hadoop服務授權令牌的令牌緩存文件列表。 | |
| io.file.buffer.size | 4096 | 在序列文件中使用的緩沖區大小。這個緩沖區的大小應該是頁大小（英特爾x86上為4096）的倍數，它決定讀寫操作中緩沖了多少數據。 |
| io.bytes.per.checksum | 512 | 每個檢驗和的字節數，不能大於 io.file.buffer.size屬性的值。 |
| io.skip.checksum.errors | FALSE | 如果為true，當讀取序列文件時遇到校驗和錯誤，則跳過條目，而不是拋出異常。 |
| io.compression.codecs | 一組可用於壓縮/解壓縮的表列表，使用逗號進行分隔。 | |
| io.compression.codec.bzip2.library | system-native | 用於bzip2編解碼的本地代碼庫，可以通過名稱或全路徑來指定該庫。 |
| io.serializations | org.apache.hadoop.io.serializer.WritableSerialization, org.apache.hadoop.io.serializer.avro.AvroSpecificSerialization, org.apache.hadoop.io.serializer.avro.AvroReflectSerialization | 可用於獲取序列化和反序列化的序列化類的列表。 |
| io.seqfile.local.dir | ${hadoop.tmp.dir}/io/local | 存儲中間數據文件的本地目錄。 |
| io.map.index.skip | 0 | 跳過索引的數量。 |
| io.map.index.interval | 128 | MapFile由兩部分組成：數據文件和索引文件。在每個設置的時間間隔后，會根據寫入的數據文件內容，創建索引對應的索引文件內容。 |
| fs.defaultFS | file:/// | 默認文件系統的名稱。通常指定namenode的URI地址，包括主機和端口。 |
| fs.default.name | file:/// | 不建議使用此屬性，建議用fs.defaultFS屬性代替。 |
| fs.trash.interval | 0 | 檢查點被刪除的時間間隔，單位為分鍾。此屬性可以在服務器和客戶端上配置。如果服務器上被禁用，則檢查客戶端配置，如果服務器上被啟用，則忽略客戶端配置。 |
| fs.trash.checkpoint.interval | 0 | 檢查點之間的時間間隔，此屬性的值應該小於fs.trash.interval屬性的值。每次檢查指針運行時，它都會創建一個新的檢查點，並移除在幾分鍾前創建的檢查點。 |
| fs.protected.directories | 一個逗號分隔的目錄列表，即使是空的，也不能被超級用戶刪除。此設置可用於防止重要系統目錄因管理員錯誤而意外刪除。 | |
| fs.AbstractFileSystem.file.impl | org.apache.hadoop.fs.local.LocalFs | file的抽象文件類。 |
| fs.AbstractFileSystem.har.impl | org.apache.hadoop.fs.HarFs | har的抽象文件類。 |
| fs.AbstractFileSystem.hdfs.impl | org.apache.hadoop.fs.Hdfs | hdfs的抽象文件類。 |
| fs.AbstractFileSystem.viewfs.impl | org.apache.hadoop.fs.viewfs.ViewFs | viewfs的抽象文件類。 |
| fs.viewfs.rename.strategy | SAME_MOUNTPOINT | 允許在多個掛載點間重命名。 |
| fs.AbstractFileSystem.ftp.impl | org.apache.hadoop.fs.ftp.FtpFs | ftp的抽象文件類。 |
| fs.AbstractFileSystem.webhdfs.impl | org.apache.hadoop.fs.WebHdfs | webhdfs的抽象文件類。 |
| fs.AbstractFileSystem.swebhdfs.impl | org.apache.hadoop.fs.SWebHdfs | swebhdfs的抽象文件類。 |
| fs.ftp.host | 0.0.0.0 | ftp的連接服務器。 |
| fs.ftp.host.port | 21 | ftp的連接服務器端口。 |
| fs.ftp.data.connection.mode | ACTIVE_LOCAL_DATA_CONNECTION_MODE | ftp客戶端的數據連接模式，有如下選項ACTIVE_LOCAL_DATA_CONNECTION_MODE，PASSIVE_LOCAL_DATA_CONNECTION_MODE 和PASSIVE_REMOTE_DATA_CONNECTION_MODE。 |
| fs.ftp.transfer.mode | BLOCK_TRANSFER_MODE | ftp的數據傳輸模式，有如下選項 STREAM_TRANSFER_MODE，BLOCK_TRANSFER_MODE 和COMPRESSED_TRANSFER_MODE。 |
| fs.df.interval | 60000 | 磁盤使用統計情況的刷新時間間隔。 |
| fs.du.interval | 600000 | 文件空間使用統計情況的刷新時間間隔。 |
| fs.s3.awsAccessKeyId | S3使用的AWS訪問密鑰ID。 | |
| fs.s3.awsSecretAccessKey | S3使用的AWS密鑰. | |
| fs.s3.block.size | 67108864 | S3使用的塊大小。 |
| fs.s3.buffer.dir | ${hadoop.tmp.dir}/s3 | 該目錄用於發送S3前的臨時本地目錄。 |
| fs.s3.maxRetries | 4 | 在向應用程序發出故障之前，讀取或寫入文件到S3的最大重試次數。 |
| fs.s3.sleepTimeSeconds | 10 | 在每次S3重試之間的睡眠時間間隔。 |
| fs.swift.impl | org.apache.hadoop.fs.swift.snative.SwiftNativeFileSystem | OpenStack Swift Filesystem的實現類。 |
| fs.automatic.close | TRUE | 當為true時，FileSystem的實例會在程序退出時關閉，為false時，不自動退出。 |
| fs.s3n.awsAccessKeyId | S3本地文件系統使用的AWS訪問密鑰ID。 | |
| fs.s3n.awsSecretAccessKey | S3本地文件系統使用的AWS密鑰. | |
| fs.s3n.block.size | 67108864 | S3本地文件系統使用的塊大小。 |
| fs.s3n.multipart.uploads.enabled | FALSE | 為true時，允許多個上傳到本地S3。當上傳一個的大小超過fs.s3n.multipart.uploads.block.size屬性的大小，則將其分割成塊。 |
| fs.s3n.multipart.uploads.block.size | 67108864 | 多上傳到本地S3時的塊大小，默認大小為64MB。 |
| fs.s3n.multipart.copy.block.size | 5368709120 | 多拷貝時的塊大小，默認大小為5GB。 |
| fs.s3n.server-side-encryption-algorithm | 為S3指定服務器端加密算法。默認情況下未設置，而當前唯一允許的值是AES256。 | |
| fs.s3a.access.key | S3A文件系統使用的AWS訪問密鑰ID。 | |
| fs.s3a.secret.key | S3A文件系統使用的AWS密鑰。 | |
| fs.s3a.aws.credentials.provider | 一組com.amazonaws.auth.AWSCredentialsProvider的實現類，按照順序加載和查詢。 | |
| fs.s3a.session.token | 當使用org.apache.hadoop.fs.s3a.TemporaryAWSCredentialsProvider時的會話令牌。 | |
| fs.s3a.security.credential.provider.path | hadoop.security.credential.provider.path屬性的一個子集 | |
| fs.s3a.connection.maximum | 15 | S3A的最大連接數。 |
| fs.s3a.connection.ssl.enabled | TRUE | 是否啟用SSL連接到S3A。 |
| fs.s3a.endpoint | AWS S3 連接終端。 | |
| fs.s3a.path.style.access | FALSE | 啟用S3A path style訪問，即禁用默認虛擬的互聯網行為。 |
| fs.s3a.proxy.host | S3A連接代理的主機名。 | |
| fs.s3a.proxy.port | S3A連接代理的端口，如果未設置，默認為80或443。 | |
| fs.s3a.proxy.username | S3A連接代理的用戶名。 | |
| fs.s3a.proxy.password | S3A連接代理的密碼。 | |
| fs.s3a.proxy.domain | S3A連接代理的域。 | |
| fs.s3a.proxy.workstation | S3A連接代理的工作站。 | |
| fs.s3a.attempts.maximum | 20 | 當出現錯誤時的最大重試次數。 |
| fs.s3a.connection.establish.timeout | 5000 | Socket連接建立超時時間，單位為毫秒。 |
| fs.s3a.connection.timeout | 200000 | Socket連接保持時間，單位為毫秒。 |
| fs.s3a.socket.send.buffer | 8192 | Socket 發送緩沖大小，單位為字節。 |
| fs.s3a.socket.recv.buffer | 8192 | Socket 接收緩沖大小，單位為字節。 |
| fs.s3a.paging.maximum | 5000 | 在讀取目錄列表時，從S3A同時請求的密鑰最大數量。 |
| fs.s3a.threads.max | 10 | 文件請求的最大並發線程數。 |
| fs.s3a.threads.keepalivetime | 60 | 線程空間多長時間后，即終止。單位為秒。 |
| fs.s3a.max.total.tasks | 5 | 可以並發執行的操作數。 |
| fs.s3a.multipart.size | 100M | upload或copy操作，當文件超過多大時，即拆分。單位可以為K/M/G/T/P。 |
| fs.s3a.multipart.threshold | 2147483647 | upload或copy或rename操作，當文件超過多大時，即拆分。單位可以為K/M/G/T/P，不寫表示字節。 |
| fs.s3a.multiobjectdelete.enable | TRUE | 當啟用時，多個單對象的刪除，被單個多對象的刪除替代，以減少請求數。 |
| fs.s3a.acl.default | 選項有Private、PublicRead,、PublicReadWrite、 AuthenticatedRead、LogDeliveryWrite、 BucketOwnerRead、 or BucketOwnerFullControl。 | |
| fs.s3a.multipart.purge | FALSE | 當為true時，清除多文件上傳失敗時的文件。 |
| fs.s3a.multipart.purge.age | 86400 | 清理多文件上傳的最小秒數。 |
| fs.s3a.server-side-encryption-algorithm | 為S3A指定服務器端加密算法，可以為 'AES256' (for SSE-S3)、 'SSE-KMS' 或 'SSE-C'. | |
| fs.s3a.server-side-encryption.key | 如果 fs.s3a.server-side-encryption-algorithm屬性值為'SSE-KMS' or 'SSE-C'，則使用特定的加密密鑰。在SSE-C的情況下，這個屬性的值應該是Base64編碼的密鑰，在SSE-KMS的情況下，如果該屬性為空，則使用默認的S3KMS密鑰，否則應將該屬性設置為特定的KMS密鑰ID。 | |
| fs.s3a.signing-algorithm | 重寫默認簽名算法。 | |
| fs.s3a.block.size | 32M | S3A的塊大小。 |
| fs.s3a.buffer.dir | ${hadoop.tmp.dir}/s3a | 用於緩沖上傳文件的目錄。 |
| fs.s3a.fast.upload | FALSE | 是否啟用基於增量塊的快速上傳機制。 |
| fs.s3a.fast.upload.buffer | disk | 選項可以為disk/array/bytebuffer。 |
| fs.s3a.fast.upload.active.blocks | 4 | 單個輸出流可以激活的最大塊數。 |
| fs.s3a.readahead.range | 64K | 在關閉和重新打開S3 HTTP連接之前在seek()提前讀取的字節。 |
| fs.s3a.user.agent.prefix | 設置一個自定義值，作為發送到S3的HTTP請求的頭部。 | |
| fs.s3a.metadatastore.authoritative | FALSE | 當為true時，允許元數據作為真實的數據源。 |
| fs.s3a.metadatastore.impl | org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore | 實現S3A的元數據存儲類的完全限定名。 |
| fs.s3a.s3guard.cli.prune.age | 86400000 | 刪除命令執行后，元數據在設定時間后被刪除，單位為毫秒。 |
| fs.s3a.impl | org.apache.hadoop.fs.s3a.S3AFileSystem | S3A文件系統的實現類 。 |
| fs.s3a.s3guard.ddb.region | AWS DynamoDB連接域。 | |
| fs.s3a.s3guard.ddb.table | DynamoDB操作表名，如果此屬性沒有被設置，則使用S3的桶名。 | |
| fs.s3a.s3guard.ddb.table.create | FALSE | 當為true時，S3A客戶端將允許創建不存在的表。 |
| fs.s3a.s3guard.ddb.table.capacity.read | 500 | 讀操作的吞吐量設置。 |
| fs.s3a.s3guard.ddb.table.capacity.write | 100 | 寫操作的吞吐量設置。 |
| fs.s3a.s3guard.ddb.max.retries | 9 | 批量DynamoDB操作報錯或取消前的最大重試次數。 |
| fs.s3a.s3guard.ddb.background.sleep | 25 | 批量刪除時，每個刪除間的時間間隔，單位為毫秒。 |
| fs.AbstractFileSystem.s3a.impl | org.apache.hadoop.fs.s3a.S3A | S3A抽象文件系統的實現類。 |
| fs.wasb.impl | org.apache.hadoop.fs.azure.NativeAzureFileSystem | 原生Azure文件系統的實現類。 |
| fs.wasbs.impl | org.apache.hadoop.fs.azure.NativeAzureFileSystem$Secure | 安全原生Azure文件系統的實現類。 |
| fs.azure.secure.mode | FALSE | 當為true時，允許 fs.azure.NativeAzureFileSystem使用SAS密鑰與Azure存儲進行通信。 |
| fs.azure.local.sas.key.mode | FALSE | 當為true時，fs.azure.NativeAzureFileSystem使用本地SAS密鑰生成，當為false，此屬性無意義。 |
| fs.azure.sas.expiry.period | 90d | 生成的SAS密鑰過期時間，單位可以是ms(millis)， s(sec)， m(min)， h(hour)， d(day) 。 |
| fs.azure.authorization | FALSE | 當為true時，啟用WASB的授權支持。 |
| fs.azure.authorization.caching.enable | TRUE | 當為true時，開戶授權結果的緩存。 |
| fs.azure.saskey.usecontainersaskeyforallaccess | TRUE | 當為true時，使用容器內的SAS密鑰訪問blob，專用密鑰無效。 |
| fs.adl.impl | org.apache.hadoop.fs.adl.AdlFileSystem | |
| fs.AbstractFileSystem.adl.impl | org.apache.hadoop.fs.adl.Adl | |
| io.seqfile.compress.blocksize | 1000000 | 塊壓縮序列文件中壓縮的最小塊大小。 |
| io.mapfile.bloom.size | 1048576 | BloomMapFile中的bloom過濾器大小。 |
| io.mapfile.bloom.error.rate | 0.005 | BloomMapFile中的bloom過濾器的假負率，默認是0.5%。 |
| hadoop.util.hash.type | murmur | Hash的默認實現，有兩個選項murmur和jenkins。 |
| ipc.client.idlethreshold | 4000 | 定義連接的閾值數量，之后將檢查連接是否空閑。 |
| ipc.client.kill.max | 10 | 定義一次斷開的客戶端的最大數量。 |
| ipc.client.connection.maxidletime | 10000 | 空間連接斷開時間，單位為毫秒。 |
| ipc.client.connect.max.retries | 10 | 客戶端重新建立服務器連接的重試次數。 |
| ipc.client.connect.retry.interval | 1000 | 兩次重新建立連接之間的時間間隔，單位為毫秒。 |
| ipc.client.connect.timeout | 20000 | 客戶端通過socket連接到服務器的超時時間。 |
| ipc.client.connect.max.retries.on.timeouts | 45 | 客戶端通過socket重新連接到服務器的重試次數。 |
| ipc.client.tcpnodelay | TRUE | 當為true時，使用TCP_NODELAY標志繞過Nagle的算法傳輸延遲。 |
| ipc.client.low-latency | FALSE | 當為true時，使用低延遲在QoS標記。 |
| ipc.client.ping | TRUE | 當為true時，如果讀取響應超時，則向服務器發送ping命令。 |
| ipc.ping.interval | 60000 | 等待服務器響應的超時時間，單位為毫秒。當ipc.client.ping屬性為true時，客戶端將在不接收字節的情況下發送Ping命令。 |
| ipc.client.rpc-timeout.ms | 0 | 等待服務器響應的超時時間，單位為毫秒。當ipc.client.ping屬性為true，並且這個屬性的時間比 ipc.ping.interval屬性的值大時，這個屬性的時間將被修改為 ipc.ping.interval的最大倍數。 |
| ipc.server.listen.queue.size | 128 | 接受客戶端連接的服務器的偵聽隊列的長度。 |
| ipc.server.log.slow.rpc | FALSE | 此設置有助於排除各種服務的性能問題。如果這個值設置為true，將被記錄請求。 |
| ipc.maximum.data.length | 67108864 | 服務器可以接受的最大IPC消息長度（字節）。 |
| ipc.maximum.response.length | 134217728 | 服務器可以接受的最大IPC消息長度（字節）。設置為0禁用。 |
| hadoop.security.impersonation.provider.class | ImpersonationProvider接口的實現類，用於授權一個用戶是否可以模擬特定用戶。如果未指定，則使用DefaultImpersonationProvider實現。 | |
| hadoop.rpc.socket.factory.class.default | org.apache.hadoop.net.StandardSocketFactory | 默認使用SocketFactory，參數格式為package.FactoryClassName。 |
| hadoop.rpc.socket.factory.class.ClientProtocol | 連接到DFS的SocketFactory，如果為空，則使用 hadoop.rpc.socket.class.default屬性的值。 | |
| hadoop.socks.server | SocksSocketFactory使用的SOCKS服務器的地址（主機：端口）。 | |
| net.topology.node.switch.mapping.impl | org.apache.hadoop.net.ScriptBasedMapping | DNSToSwitchMapping的默認實現，其調用net.topology.script.file.name屬性的值來解析節點名稱。 |
| net.topology.impl | org.apache.hadoop.net.NetworkTopology | NetworkTopology的默認實現，它是典型的三層拓撲結構。 |
| net.topology.script.file.name | 該腳本被用於解析DNS的名稱，例如，腳本將接收host.foo.bar，然后返回 /rack1。 | |
| net.topology.script.number.args | 100 | net.topology.script.file.name屬性中參數的最大數量。 |
| net.topology.table.file.name | 當net.topology.node.switch.mapping.impl屬性的值為 org.apache.hadoop.net.TableMapping時適用，表示一個拓撲文件。該文件格式是兩列文本，列由空白分隔。第一列是DNS或IP地址，第二列指定地址映射的機架。如果沒有找到對應於集群中的主機的條目，則假設默認機架。 | |
| file.stream-buffer-size | 4096 | 流文件的緩沖區大小，這個大小應該是頁大小的位數（X86為4096）。 |
| file.bytes-per-checksum | 512 | 每個校驗和的字節數。 |
| file.client-write-packet-size | 65536 | 客戶機寫入的數據包大小。 |
| file.blocksize | 67108864 | 塊大小。 |
| file.replication | 1 | 復制因子。 |
| s3.stream-buffer-size | 4096 | 流文件的緩沖區大小，這個大小應該是頁大小的位數（X86為4096）。 |
| s3.bytes-per-checksum | 512 | 每個校驗和的字節數，該數值不能大於 s3.stream-buffer-size屬性的值。 |
| s3.client-write-packet-size | 65536 | 客戶機寫入的數據包大小。 |
| s3.blocksize | 67108864 | 塊大小。 |
| s3.replication | 3 | 復制因子。 |
| s3native.stream-buffer-size | 4096 | 流文件的緩沖區大小，這個大小應該是頁大小的位數（X86為4096）。 |
| s3native.bytes-per-checksum | 512 | 每個校驗和的字節數，該數值不能大於 s3native.stream-buffer-size屬性的值。 |
| s3native.client-write-packet-size | 65536 | 客戶機寫入的數據包大小。 |
| s3native.blocksize | 67108864 | 塊大小。 |
| s3native.replication | 3 | 復制因子。 |
| ftp.stream-buffer-size | 4096 | 流文件的緩沖區大小，這個大小應該是頁大小的位數（X86為4096）。 |
| ftp.bytes-per-checksum | 512 | 每個校驗和的字節數，該數值不能大於ftp.stream-buffer-size屬性的值。 |
| ftp.client-write-packet-size | 65536 | 客戶機寫入的數據包大小。 |
| ftp.blocksize | 67108864 | 塊大小。 |
| ftp.replication | 3 | 復制因子。 |
| tfile.io.chunk.size | 1048576 | chunk大小，單位為字節，默認為1MB。 |
| tfile.fs.output.buffer.size | 262144 | FSDataOutputStream中使用的緩沖區大小。 |
| tfile.fs.input.buffer.size | 262144 | FSDataInputStream使用的緩沖區大小。 |
| hadoop.http.authentication.type | simple | 定義了Oozie HTTP終端的認證方式，支持simple和kerberos。 |
| hadoop.http.authentication.token.validity | 36000 | 驗證令牌的有效時長，單位為秒。 |
| hadoop.http.authentication.signature.secret.file | ${user.home}/hadoop-http-auth-signature-secret | 簽署認證令牌的簽名秘密。同樣的秘密應該用於JT/NN/DN/TT配置。 |
| hadoop.http.authentication.cookie.domain | 用於存儲身份驗證令牌的HTTP Cookie域。為了授權在所有Hadoop節點Web控制台上正確工作，必須正確設置域。重要事項：當使用IP地址時，瀏覽器忽略具有域設置的Cookie。為了使該設置正常工作，集群中的所有節點必須配置為具有主機名的URL。 | |
| hadoop.http.authentication.simple.anonymous.allowed | TRUE | 當使用'simple'認證時，是否允許匿名請求。 |
| hadoop.http.authentication.kerberos.principal | HTTP/_HOST@LOCALHOST | HTTP終端中使用的Kerberos principal，該principal必須以 'HTTP/'開頭。 |
| hadoop.http.authentication.kerberos.keytab | ${user.home}/hadoop.keytab | keytab文件的位置。 |
| hadoop.http.cross-origin.enabled | FALSE | 是否啟用cross-origin (CORS)過濾器。 |
| hadoop.http.cross-origin.allowed-origins | * | 需要cross-origin (CORS)支持的web服務的來源列表，用逗號分隔。 |
| hadoop.http.cross-origin.allowed-methods | GET,POST,HEAD | 需要cross-origin (CORS)支持的方法列表，用逗號分隔。 |
| hadoop.http.cross-origin.allowed-headers | X-Requested-With,Content-Type,Accept,Origin | 需要cross-origin (CORS)支持的web服務的的頭部，用逗號分隔。 |
| hadoop.http.cross-origin.max-age | 1800 | 需要cross-origin (CORS)支持的web服務緩存支持秒數。 |
| dfs.ha.fencing.methods | fencing方法列表。 | |
| dfs.ha.fencing.ssh.connect-timeout | 30000 | SSH連接超時時長，單位為毫秒。 |
| dfs.ha.fencing.ssh.private-key-files | SSH私鑰文件。 | |
| hadoop.http.staticuser.user | dr.who | 呈現內容時在靜態Web篩選器上進行過濾的用戶名，比如在HDFS web UI中的過濾。 |
| ha.zookeeper.quorum | ZooKeeper服務器地址列表，用逗號分隔，可以被ZKFailoverController用於自動故障轉移。 | |
| ha.zookeeper.session-timeout.ms | 5000 | ZKFC連接到ZooKeeper的超時時長，將該值設置為較低的值意味着服務器崩潰將被更快地檢測到，但在瞬態錯誤或網絡錯誤的情況下，就會使故障轉移過於激進。 |
| ha.zookeeper.parent-znode | /hadoop-ha | ZKFC下的存儲信息的znode。 |
| ha.zookeeper.acl | world:anyone:rwcda | znode使用的ZooKeeper ACL列表，用逗號分隔。格式同ZooKeeper CLI。如果ACL本身包含秘密，那么您可以指定一個文件的路徑，用“@”符號前綴，並且該配置的值將從內部加載。 |
| ha.zookeeper.auth | 連接到ZooKeeper時，將該列表加入到認證列表，此列表用逗號分隔。 | |
| hadoop.ssl.keystores.factory.class | org.apache.hadoop.security.ssl.FileBasedKeyStoresFactory | 用於檢索證書的密鑰存儲工廠。 |
| hadoop.ssl.require.client.cert | FALSE | 是否需要客戶端證書。 |
| hadoop.ssl.hostname.verifier | DEFAULT | 提供HttpsURL連接主機名驗證器。有以下選項：DEFAULT， STRICT， STRICT_IE6， DEFAULT_AND_LOCALHOST 和 ALLOW_ALL。 |
| hadoop.ssl.server.conf | ssl-server.xml | 提取SSL服務器密鑰存儲信息的資源文件，這個文件通過在classpath中查詢。默認為hadoop下的conf/ 目錄。 |
| hadoop.ssl.client.conf | ssl-client.xml | 提取SSL客戶端密鑰存儲信息的資源文件，這個文件通過在classpath中查詢。默認為hadoop下的conf/ 目錄。 |
| hadoop.ssl.enabled | FALSE | 不建議使用，建議用dfs.http.policy and yarn.http.policy代替。 |
| hadoop.ssl.enabled.protocols | TLSv1,SSLv2Hello,TLSv1.1,TLSv1.2 | 支持的SSL協議列表。The supported SSL protocols. |
| hadoop.jetty.logs.serve.aliases | TRUE | 對於jetty的服務是否啟用別名。 |
| fs.permissions.umask-mode | 22 | 創建文件或目錄時的umask。例如"022" (符號表示就是 u=rwx,g=r-x,o=r-x )，或者 "u=rwx,g=rwx,o=" (用八進制表示就是007)。 |
| ha.health-monitor.connect-retry-interval.ms | 1000 | 重試連接到服務的頻率。 |
| ha.health-monitor.check-interval.ms | 1000 | 多久檢查一次服務 |
| ha.health-monitor.sleep-after-disconnect.ms | 1000 | 在異常RPC錯誤之后，休眠多長時間。 |
| ha.health-monitor.rpc-timeout.ms | 45000 | 實際 monitorHealth() 調用超時時間。 |
| ha.failover-controller.new-active.rpc-timeout.ms | 60000 | FC等待新任務的超時時間，在設置時間內有新任務，即重新進入激活狀態。 |
| ha.failover-controller.graceful-fence.rpc-timeout.ms | 5000 | FC等待舊任務的超時時間，然后進入待機。 |
| ha.failover-controller.graceful-fence.connection.retries | 1 | graceful fencing中FC連接的重試次數。 |
| ha.failover-controller.cli-check.rpc-timeout.ms | 20000 | CLI (manual) FC等待monitorHealth, getServiceState的超時時間。 |
| ipc.client.fallback-to-simple-auth-allowed | FALSE | 當客戶端被配置為嘗試安全連接，但嘗試連接到不安全的服務器時，該服務器可以指示客戶端切換到SASL SIMPLE（非安全）認證。此設置控制客戶端是否將接受來自服務器的此指令。當FALSE（默認）時，客戶端將不允許退回到簡單的身份驗證，並將中止連接。 |
| fs.client.resolve.remote.symlinks | TRUE | 在訪問遠程Hadoop文件系統時，是否解析符號連接。當為false時，如果遇到符號連接，則觸發異常。此設置對於本地文件系統不適用，對於本地文件系統，會自動解析符號連接。 |
| nfs.exports.allowed.hosts | * rw | 默認情況下，所有客戶端都可以導出。該屬性的值包含機構號和訪問權限，由空格分隔。機器名稱的格式可以是一個單一的主機，一個java正則表達式，或一個IPv4地址。訪問特權使用RW或RO來指定機器的讀/寫權限。如果未提供訪問特權，則默認為只讀。條目由“；”分隔。例如：“192.1680.0/22RW；主機。*.Stase\.com；Hoo1.Test.Org Ro；”。只有更新了NFS網關之后，才能重新啟動該屬性。 |
| hadoop.user.group.static.mapping.overrides | dr.who=; | 用戶到組的靜態映射。如果指定的用戶在系統中可用，則這將覆蓋組。換句話說，這些用戶不會出現組查找，而是使用在這個配置中映射的組。映射應采用這種格式。USER1＝GROMP1，GROP2；USER2=；USER3= GROP2；默認“DR.WH=”將考慮“D.WHO”作為沒有組的用戶。 |
| rpc.metrics.quantile.enable | FALSE | 當為true，並且rpc.metrics.percentiles.intervals屬性為一組逗號分隔的度量時，將在百分位50/75/90/95/99時，加入rpc metrics。 |
| rpc.metrics.percentiles.intervals | 接上一屬性，和rpc.metrics.quantile.enable配合使用。 | |
| hadoop.security.crypto.codec.classes.EXAMPLECIPHERSUITE | 對於給定的加密編解碼器的前綴，包含一個逗號分隔的給定密碼編解碼器（例如EXAMPLECIPHERSUITE）的實現類。如果可用的話，第一個實現將被使用，其他的則是回退。 | |
| hadoop.security.crypto.codec.classes.aes.ctr.nopadding | org.apache.hadoop.crypto.OpensslAesCtrCryptoCodec, org.apache.hadoop.crypto.JceAesCtrCryptoCodec | AES/CTR/NopAudio的加密編解碼器實現類，用逗號分隔。如果可用的話，第一個實現將被使用，其他的則是回退。 |
| hadoop.security.crypto.cipher.suite | AES/CTR/NoPadding | 用於加密編解碼器的密碼套件。 |
| hadoop.security.crypto.jce.provider | CryptoCodec中使用的JCE提供程序名稱。 | |
| hadoop.security.crypto.buffer.size | 8192 | CryptoInputStream和CryptoOutputStream使用的緩沖區大小。 |
| hadoop.security.java.secure.random.algorithm | SHA1PRNG | java安全隨機算法。 |
| hadoop.security.secure.random.impl | 安全隨機的實現。 | |
| hadoop.security.random.device.file.path | /dev/urandom | OS安全隨機設備文件路徑。 |
| hadoop.security.key.provider.path | 在管理區域密鑰時使用的密鑰提供程序。對於HDFS客戶端，提供程序路徑將與NAMENODE的提供程序路徑相同。 | |
| fs.har.impl.disable.cache | TRUE | 當為true時，不緩存“HAR”文件系統實例。 |
| hadoop.security.kms.client.authentication.retry-count | 1 | 在認證失敗時重試連接到KMS的次數。 |
| hadoop.security.kms.client.encrypted.key.cache.size | 500 | EncryptedKeyVersion緩存隊列的大小。 |
| hadoop.security.kms.client.encrypted.key.cache.low-watermark | 0.3f | 如果EncryptedKeyVersion緩存隊列大小低於watermark，隊列將被重新調度填充。 |
| hadoop.security.kms.client.encrypted.key.cache.num.refill.threads | 2 | 重新填充EncryptedKeyVersion緩存隊列的線程數。 |
| hadoop.security.kms.client.encrypted.key.cache.expiry | 43200000 | 密鑰過期時間，默認為12小時。 |
| hadoop.security.kms.client.timeout | 60 | KMS連接超時時間。 |
| hadoop.security.kms.client.failover.sleep.base.millis | 100 | 在故障轉移嘗試之間以指數形式增加時長，這是迄今為止嘗試的數目的函數，具有+/- 50%的隨機因子。此選項指定在故障轉移計算中使用的基值。第一次故障轉移將立即重試。第二次故障轉移嘗試將延遲至少hadoop.security.client.failover.sleep.base.millis屬性的值之后……單位為毫秒 |
| hadoop.security.kms.client.failover.sleep.max.millis | 2000 | 在故障轉移嘗試之間以指數形式增加時長，這是迄今為止嘗試的數目的函數，具有+/- 50%的隨機因子。此選項指定在故障轉移之間等待的最大值。具體來說，兩個故障轉移嘗試之間的時間將不超過 hadoop.security.client.failover.sleep.max.millis屬性的值，單位為毫秒。 |
| ipc.server.max.connections | 0 | 服務器接受的最大並發連接數。 |
| hadoop.registry.rm.enabled | FALSE | 是否在YARN Resource Manager中啟用注冊表。 |
| hadoop.registry.zk.root | /registry | 注冊表的根zookeeper節點。 |
| hadoop.registry.zk.session.timeout.ms | 60000 | Zookeeper會話超時時間，單位為毫秒。 |
| hadoop.registry.zk.connection.timeout.ms | 15000 | Zookeeper連接超時時間，單位為毫秒。 |
| hadoop.registry.zk.retry.times | 5 | Zookeeper連接重試最大次數。 |
| hadoop.registry.zk.retry.interval.ms | 1000 | Zookeeper連接重試間隔。 |
| hadoop.registry.zk.retry.ceiling.ms | 60000 | Zookeeper重試的時長限制，單位為毫秒。 |
| hadoop.registry.zk.quorum | localhost:2181 | 綁定注冊表的zookeeper的主機名列表。 |
| hadoop.registry.secure | FALSE | 注冊表是否是安全的。 |
| hadoop.registry.system.acls | sasl:yarn@, sasl:mapred@, sasl:hdfs@ | 可以安全訪問注冊表的 zookeeper ACL列表。 |
| hadoop.registry.kerberos.realm | Kerberos域。 | |
| hadoop.registry.jaas.context | Client | 定義 JAAS上下文的密鑰，用於安全模式中。 |
| hadoop.shell.missing.defaultFs.warning | FALSE | 如果fs.defaultFS屬性未設置，則在hdfs中啟用shell命令打印警告信息。 |
| hadoop.shell.safely.delete.limit.num.files | 100 | 使用hadoop fs -rm的-safe選項，以避免意外刪除大目錄。 當啟用時，如果要刪除的文件數量大於該限制，則-RM命令需要確認。默認的限制是100個文件。如果限制為0或在-RM命令中未指定安全性，則禁用警告。 |
| fs.client.htrace.sampler.classes | hadoop文件系統客戶端使用的HTrace Samplers類名。 | |
| hadoop.htrace.span.receiver.classes | hadoop中使用的Span Receivers類名。 | |
| hadoop.http.logs.enabled | TRUE | 當為true時，啟用hadoop守護進程上的/logs終端。 |
| fs.client.resolve.topology.enabled | FALSE | 是否使用net.topology.node.switch.mapping.impl屬性的值來計算客戶端到遠程機器之間的網絡距離。 |
| fs.adl.impl | org.apache.hadoop.fs.adl.AdlFileSystem | |
| fs.AbstractFileSystem.adl.impl | org.apache.hadoop.fs.adl.Adl | |
| adl.feature.ownerandgroup.enableupn | FALSE | 為了獲得最佳性能，建議使用FALSE。 |
| fs.adl.oauth2.access.token.provider.type | ClientCredential | 定義了Azure Active Directory OAuth2訪問令牌提供程序類型。 |
| fs.adl.oauth2.client.id | OAuth2客戶端ID。 | |
| fs.adl.oauth2.credential | OAuth2訪問密鑰。 | |
| fs.adl.oauth2.refresh.url | OAuth2令牌終端。 | |
| fs.adl.oauth2.refresh.token | OAuth2刷新令牌。 | |
| fs.adl.oauth2.access.token.provider | OAuth2訪問令牌提供程序的類名。 | |
| fs.adl.oauth2.msi.port | MSI令牌服務的本地端口，端口是在創建Azure VM時被指定的。如果未被指定，則用默認的50342。 | |
| fs.adl.oauth2.devicecode.clientapp.id | ADD本地app的ID。 | |
| hadoop.caller.context.enabled | FALSE | 當為true時，附加的內容會被寫入到namenode的log。 |
| hadoop.caller.context.max.size | 128 | 調用內容的最大字節數。 |
| hadoop.caller.context.signature.max.size | 40 | 服務器中允許簽名的最大字節。 |
| seq.io.sort.mb | 100 | 當使用SequenceFile.Sorter時，可以用於排序的緩沖區總大小。單位為兆字節。默認情況下，每個合並流為1MB。 |
| seq.io.sort.factor | 100 | 當使用SequenceFile.Sorter時，允許同時合並的流數量。 |
| hadoop.zk.address | ZooKeeper服務器地址。 | |
| hadoop.zk.num-retries | 1000 | 嘗試連接到ZooKeeper的數量。 |
| hadoop.zk.retry-interval-ms | 1000 | 連接到ZooKeeper的重試時間間隔，單位為毫秒。 |
| hadoop.zk.timeout-ms | 10000 | ZooKeeper會話超時時間，單位為毫秒。 |
| hadoop.zk.acl | world:anyone:rwcda | 用於ZooKeeper znode的ACL。 |
| hadoop.zk.auth | 為hadoop.zk.acl屬性中的ACL指定認證方式。 |