配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件，默認下來，這些配置文件都是空的，所以很難知道這些配置文件有哪些配置可以生效，上網找的配置可能因為各個hadoop版本不同，導致無法生效。瀏覽更多的配置，有兩個方法:
/usr/local/hadoop2.6/hadoop-2.6.0-cdh5.9.0/etc/hadoop # 配置文件路徑
1.選擇相應版本的hadoop,下載解壓后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是默認配置,可以參考這些配置的說明和key，配置hadoop集群。
2.瀏覽apache官網,三個配置文件鏈接如下:
core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。
2 常用的端口配置2.1 HDFS端口
|
參數
|
描述
|
默認
|
配置文件
|
例子值
|
|
fs.default.name namenode
|
namenode RPC交互端口
|
8020
|
core-site.xml
|
hdfs://master:8020/
|
|
dfs.http.address
|
NameNode web管理端口
|
50070
|
hdfs- site.xml
|
0.0.0.0:50070
|
|
dfs.datanode.address
|
datanode 控制端口
|
50010
|
hdfs -site.xml
|
0.0.0.0:50010
|
|
dfs.datanode.ipc.address
|
datanode的RPC服務器地址和端口
|
50020
|
hdfs-site.xml
|
0.0.0.0:50020
|
|
dfs.datanode.http.address
|
datanode的HTTP服務器和端口
|
50075
|
hdfs-site.xml
|
0.0.0.0:50075
|
2.2 MR端口
|
參數
|
描述
|
默認
|
配置文件
|
例子值
|
|
mapred.job.tracker
|
job-tracker交互端口
|
8021
|
mapred-site.xml
|
hdfs://master:8021/
|
|
job
|
tracker的web管理端口
|
50030
|
mapred-site.xml
|
0.0.0.0:50030
|
|
mapred.task.tracker.http.address
|
task-tracker的HTTP端口
|
50060
|
mapred-site.xml
|
0.0.0.0:50060
|
2.3 其它端口
|
參數
|
描述
|
默認
|
配置文件
|
例子值
|
|
dfs.secondary.http.address
|
secondary NameNode web管理端口
|
50090
|
hdfs-site.xml
|
0.0.0.0:50090
|
3 三個缺省配置參考文件說明3.1
core-default.xml
|
序號
|
參數名
|
參數值
|
參數說明
|
|
1
|
hadoop.tmp.dir
|
/tmp/hadoop-${user.name}
|
臨時目錄設定
|
|
2
|
hadoop.native.lib
|
true
|
使用本地hadoop庫標識。
|
|
3
|
hadoop.http.filter.initializers
|
http服務器過濾鏈設置
|
|
|
4
|
hadoop.security.group.mapping
|
org.apache.hadoop.security.ShellBasedUnixGroupsMapping
|
組內用戶的列表的類設定
|
|
5
|
hadoop.security.authorization
|
false
|
服務端認證開啟
|
|
6
|
hadoop.security.authentication
|
simple
|
無認證或認證設置
|
|
7
|
hadoop.security.token.service.use_ip
|
true
|
是否開啟使用IP地址作為連接的開關
|
|
8
|
hadoop.logfile.size
|
10000000
|
日志文件最大為10M
|
|
9
|
hadoop.logfile.count
|
10
|
日志文件數量為10個
|
|
10
|
io.file.buffer.size
|
4096
|
流文件的緩沖區為4K
|
|
11
|
io.bytes.per.checksum
|
512
|
校驗位數為512字節
|
|
12
|
io.skip.checksum.errors
|
false
|
校驗出錯后是拋出異常還是略過標識。True則略過。
|
|
13
|
io.compression.codecs
|
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
|
壓縮和解壓的方式設置
|
|
14
|
io.serializations
|
org.apache.hadoop.io.serializer.WritableSerialization
|
序例化和反序列化的類設定
|
|
15
|
fs.default.name
|
file:///
|
缺省的文件URI標識設定。
|
|
16
|
fs.trash.interval
|
0
|
文件廢棄標識設定，0為禁止此功能
|
|
17
|
fs.file.impl
|
org.apache.hadoop.fs.LocalFileSystem
|
本地文件操作類設置
|
|
18
|
fs.hdfs.impl
|
org.apache.hadoop.hdfs.DistributedFileSystem
|
HDFS文件操作類設置
|
|
19
|
fs.s3.impl
|
org.apache.hadoop.fs.s3.S3FileSystem
|
S3文件操作類設置
|
|
20
|
fs.s3n.impl
|
org.apache.hadoop.fs.s3native.NativeS3FileSystem
|
S3文件本地操作類設置
|
|
21
|
fs.kfs.impl
|
org.apache.hadoop.fs.kfs.KosmosFileSystem
|
KFS文件操作類設置.
|
|
22
|
fs.hftp.impl
|
org.apache.hadoop.hdfs.HftpFileSystem
|
HTTP方式操作文件設置
|
|
23
|
fs.hsftp.impl
|
org.apache.hadoop.hdfs.HsftpFileSystem
|
HTTPS方式操作文件設置
|
|
24
|
fs.webhdfs.impl
|
org.apache.hadoop.hdfs.web.WebHdfsFileSystem
|
WEB方式操作文件類設置
|
|
25
|
fs.ftp.impl
|
org.apache.hadoop.fs.ftp.FTPFileSystem
|
FTP文件操作類設置
|
|
26
|
fs.ramfs.impl
|
org.apache.hadoop.fs.InMemoryFileSystem
|
內存文件操作類設置
|
|
27
|
fs.har.impl
|
org.apache.hadoop.fs.HarFileSystem
|
壓縮文件操作類設置.
|
|
28
|
fs.har.impl.disable.cache
|
true
|
是否緩存har文件的標識設定
|
|
29
|
fs.checkpoint.dir
|
${hadoop.tmp.dir}/dfs/namesecondary
|
備份名稱節點的存放目前錄設置
|
|
30
|
fs.checkpoint.edits.dir
|
${fs.checkpoint.dir}
|
備份名稱節點日志文件的存放目前錄設置
|
|
31
|
fs.checkpoint.period
|
3600
|
動態檢查的間隔時間設置
|
|
32
|
fs.checkpoint.size
|
67108864
|
日志文件大小為64M
|
|
33
|
fs.s3.block.size
|
67108864
|
寫S3文件系統的塊的大小為64M
|
|
34
|
fs.s3.buffer.dir
|
${hadoop.tmp.dir}/s3
|
S3文件數據的本地存放目錄
|
|
35
|
fs.s3.maxRetries
|
4
|
S3文件數據的償試讀寫次數
|
|
36
|
fs.s3.sleepTimeSeconds
|
10
|
S3文件償試的間隔
|
|
37
|
local.cache.size
|
10737418240
|
緩存大小設置為10GB
|
|
38
|
io.seqfile.compress.blocksize
|
1000000
|
壓縮流式文件中的最小塊數為100萬
|
|
39
|
io.seqfile.lazydecompress
|
true
|
塊是否需要壓縮標識設定
|
|
40
|
io.seqfile.sorter.recordlimit
|
1000000
|
內存中排序記錄塊類最小為100萬
|
|
41
|
io.mapfile.bloom.size
|
1048576
|
BloomMapFiler過濾量為1M
|
|
42
|
io.mapfile.bloom.error.rate
|
0.005
|
|
|
43
|
hadoop.util.hash.type
|
murmur
|
缺少hash方法為murmur
|
|
44
|
ipc.client.idlethreshold
|
4000
|
連接數據最小閥值為4000
|
|
45
|
ipc.client.kill.max
|
10
|
一個客戶端連接數最大值為10
|
|
46
|
ipc.client.connection.maxidletime
|
10000
|
斷開與服務器連接的時間最大為10秒
|
|
47
|
ipc.client.connect.max.retries
|
10
|
建立與服務器連接的重試次數為10次
|
|
48
|
ipc.server.listen.queue.size
|
128
|
接收客戶連接的監聽隊例的長度為128
|
|
49
|
ipc.server.tcpnodelay
|
false
|
開啟或關閉服務器端TCP連接算法
|
|
50
|
ipc.client.tcpnodelay
|
false
|
開啟或關閉客戶端TCP連接算法
|
|
51
|
webinterface.private.actions
|
false
|
Web交互的行為設定
|
|
52
|
hadoop.rpc.socket.factory.class.default
|
org.apache.hadoop.net.StandardSocketFactory
|
缺省的socket工廠類設置
|
|
53
|
hadoop.rpc.socket.factory.class.ClientProtocol
|
與dfs連接時的缺省socket工廠類
|
|
|
54
|
hadoop.socks.server
|
服務端的工廠類缺省設置為SocksSocketFactory.
|
|
|
55
|
topology.node.switch.mapping.impl
|
org.apache.hadoop.net.ScriptBasedMapping
|
|
|
56
|
topology.script.file.name
|
||
|
57
|
topology.script.number.args
|
100
|
參數數量最多為100
|
|
58
|
hadoop.security.uid.cache.secs
|
14400
|
3.2 hdfs-default.xml
|
序號
|
參數名
|
參數值
|
參數說明
|
|
1
|
dfs.namenode.logging.level
|
info
|
輸出日志類型
|
|
2
|
dfs.secondary.http.address
|
0.0.0.0:50090
|
備份名稱節點的http協議訪問地址與端口
|
|
3
|
dfs.datanode.address
|
0.0.0.0:50010
|
數據節點的TCP管理服務地址和端口
|
|
4
|
dfs.datanode.http.address
|
0.0.0.0:50075
|
數據節點的HTTP協議訪問地址和端口
|
|
5
|
dfs.datanode.ipc.address
|
0.0.0.0:50020
|
數據節點的IPC服務訪問地址和端口
|
|
6
|
dfs.datanode.handler.count
|
3
|
數據節點的服務連接處理線程數
|
|
7
|
dfs.http.address
|
0.0.0.0:50070
|
名稱節點的http協議訪問地址與端口
|
|
8
|
dfs.https.enable
|
false
|
支持https訪問方式標識
|
|
9
|
dfs.https.need.client.auth
|
false
|
客戶端指定https訪問標識
|
|
10
|
dfs.https.server.keystore.resource
|
ssl-server.xml
|
Ssl密鑰服務端的配置文件
|
|
11
|
dfs.https.client.keystore.resource
|
ssl-client.xml
|
Ssl密鑰客戶端的配置文件
|
|
12
|
dfs.datanode.https.address
|
0.0.0.0:50475
|
數據節點的HTTPS協議訪問地址和端口
|
|
13
|
dfs.https.address
|
0.0.0.0:50470
|
名稱節點的HTTPS協議訪問地址和端口
|
|
14
|
dfs.datanode.dns.interface
|
default
|
數據節點采用IP地址標識
|
|
15
|
dfs.datanode.dns.nameserver
|
default
|
指定DNS的IP地址
|
|
16
|
dfs.replication.considerLoad
|
true
|
加載目標或不加載的標識
|
|
17
|
dfs.default.chunk.view.size
|
32768
|
瀏覽時的文件塊大小設置為32K
|
|
18
|
dfs.datanode.du.reserved
|
0
|
每個卷預留的空閑空間數量
|
|
19
|
dfs.name.dir
|
${hadoop.tmp.dir}/dfs/name
|
存貯在本地的名字節點數據鏡象的目錄,作為名字節點的冗余備份
|
|
20
|
dfs.name.edits.dir
|
${dfs.name.dir}
|
存貯文件操作過程信息的存貯目錄
|
|
21
|
dfs.web.ugi
|
webuser,webgroup
|
Web接口訪問的用戶名和組的帳戶設定
|
|
22
|
dfs.permissions
|
true
|
文件操作時的權限檢查標識。
|
|
23
|
dfs.permissions.supergroup
|
supergroup
|
超級用戶的組名定義
|
|
24
|
dfs.block.access.token.enable
|
false
|
數據節點訪問令牌標識
|
|
25
|
dfs.block.access.key.update.interval
|
600
|
升級訪問鑰時的間隔時間
|
|
26
|
dfs.block.access.token.lifetime
|
600
|
訪問令牌的有效時間
|
|
27
|
dfs.data.dir
|
${hadoop.tmp.dir}/dfs/data
|
數據節點的塊本地存放目錄
|
|
28
|
dfs.datanode.data.dir.perm
|
755
|
數據節點的存貯塊的目錄訪問權限設置
|
|
29
|
dfs.replication
|
3
|
缺省的塊復制數量
|
|
30
|
dfs.replication.max
|
512
|
塊復制的最大數量
|
|
31
|
dfs.replication.min
|
1
|
塊復制的最小數量
|
|
32
|
dfs.block.size
|
67108864
|
缺省的文件塊大小為64M
|
|
33
|
dfs.df.interval
|
60000
|
磁盤空間統計間隔為6秒
|
|
34
|
dfs.client.block.write.retries
|
3
|
塊寫入出錯時的重試次數
|
|
35
|
dfs.blockreport.intervalMsec
|
3600000
|
塊的報告間隔時為1小時
|
|
36
|
dfs.blockreport.initialDelay
|
0
|
塊順序報告的間隔時間
|
|
37
|
dfs.heartbeat.interval
|
3
|
數據節點的心跳檢測間隔時間
|
|
38
|
dfs.namenode.handler.count
|
10
|
名稱節點的連接處理的線程數量
|
|
39
|
dfs.safemode.threshold.pct
|
0.999f
|
啟動安全模式的閥值設定
|
|
40
|
dfs.safemode.extension
|
30000
|
當閥值達到量值后擴展的時限
|
|
41
|
dfs.balance.bandwidthPerSec
|
1048576
|
啟動負載均衡的數據節點可利用帶寬最大值為1M
|
|
42
|
dfs.hosts
|
可與名稱節點連接的主機地址文件指定。
|
|
|
43
|
dfs.hosts.exclude
|
不充計與名稱節點連接的主機地址文件設定
|
|
|
44
|
dfs.max.objects
|
0
|
文件數、目錄數、塊數的最大數量
|
|
45
|
dfs.namenode.decommission.interval
|
30
|
名稱節點解除命令執行時的監測時間周期
|
|
46
|
dfs.namenode.decommission.nodes.per.interval
|
5
|
名稱節點解除命令執行是否完檢測次數
|
|
47
|
dfs.replication.interval
|
3
|
名稱節點計算數據節點的復制工作的周期數.
|
|
48
|
dfs.access.time.precision
|
3600000
|
充許訪問文件的時間精確到1小時
|
|
49
|
dfs.support.append
|
false
|
是否充許鏈接文件指定
|
|
50
|
dfs.namenode.delegation.key.update-interval
|
86400000
|
名稱節點上的代理令牌的主key的更新間隔時間為24小時
|
|
51
|
dfs.namenode.delegation.token.max-lifetime
|
604800000
|
代理令牌的有效時間最大值為7天
|
|
52
|
dfs.namenode.delegation.token.renew-interval
|
86400000
|
代理令牌的更新時間為24小時
|
|
53
|
dfs.datanode.failed.volumes.tolerated
|
0
|
決定停止數據節點提供服務充許卷的出錯次數。0次則任何卷出錯都要停止數據節點
|
3.3 mapred-default.xml
|
序號
|
參數名
|
參數值
|
參數說明
|
|
1
|
hadoop.job.history.location
|
作業跟蹤管理器的靜態歷史文件的存放目錄。
|
|
|
2
|
hadoop.job.history.user.location
|
可以指定具體某個作業的跟蹤管理器的歷史文件存放目錄
|
|
|
3
|
mapred.job.tracker.history.completed.location
|
已完成作業的歷史文件的存放目錄
|
|
|
4
|
io.sort.factor
|
10
|
排完序的文件的合並時的打開文件句柄數
|
|
5
|
io.sort.mb
|
100
|
排序文件的內存緩存大小為100M
|
|
6
|
io.sort.record.percent
|
0.05
|
排序線程阻塞的內存緩存剩余比率
|
|
7
|
io.sort.spill.percent
|
0.80
|
當緩沖占用量為該值時，線程需要將內容先備份到磁盤中。
|
|
8
|
io.map.index.skip
|
0
|
索引條目的間隔設定
|
|
9
|
mapred.job.tracker
|
local
|
作業跟蹤管理器是否和MR任務在一個進程中
|
|
10
|
mapred.job.tracker.http.address
|
0.0.0.0:50030
|
作業跟蹤管理器的HTTP服務器訪問端口和地址
|
|
11
|
mapred.job.tracker.handler.count
|
10
|
作業跟蹤管理器的管理線程數,線程數比例是任務管理跟蹤器數量的0.04
|
|
12
|
mapred.task.tracker.report.address
|
127.0.0.1:0
|
任務管理跟蹤器的主機地址和端口地址
|
|
13
|
mapred.local.dir
|
${hadoop.tmp.dir}/mapred/local
|
MR的中介數據文件存放目錄
|
|
14
|
mapred.system.dir
|
${hadoop.tmp.dir}/mapred/system
|
MR的控制文件存放目錄
|
|
15
|
mapreduce.jobtracker.staging.root.dir
|
${hadoop.tmp.dir}/mapred/staging
|
每個正在運行作業文件的存放區
|
|
16
|
mapred.temp.dir
|
${hadoop.tmp.dir}/mapred/temp
|
MR臨時共享文件存放區
|
|
17
|
mapred.local.dir.minspacestart
|
0
|
MR本地中介文件刪除時，不充許有任務執行的數量值。
|
|
18
|
mapred.local.dir.minspacekill
|
0
|
MR本地中介文件刪除時，除非所有任務都已完成的數量值。
|
|
19
|
mapred.tasktracker.expiry.interval
|
600000
|
任務管理跟蹤器不發送心跳的累計時間間隔超過600秒，則任務管理跟蹤器失效
|
|
20
|
mapred.tasktracker.resourcecalculatorplugin
|
指定的一個用戶訪問資源信息的類實例
|
|
|
21
|
mapred.tasktracker.taskmemorymanager.monitoring-interval
|
5000
|
監控任務管理跟蹤器任務內存使用率的時間間隔
|
|
22
|
mapred.tasktracker.tasks.sleeptime-before-sigkill
|
5000
|
發出進程終止后，間隔5秒后發出進程消亡信號
|
|
23
|
mapred.map.tasks
|
2
|
每個作業缺省的map任務數為2
|
|
24
|
mapred.reduce.tasks
|
1
|
每個作業缺省的reduce任務數為1
|
|
25
|
mapreduce.tasktracker.outofband.heartbeat
|
false
|
讓在任務結束后發出一個額外的心跳信號
|
|
26
|
mapreduce.tasktracker.outofband.heartbeat.damper
|
1000000
|
當額外心跳信號發出量太多時，則適當阻止
|
|
27
|
mapred.jobtracker.restart.recover
|
false
|
充許任務管理器恢復時采用的方式
|
|
28
|
mapred.jobtracker.job.history.block.size
|
3145728
|
作業歷史文件塊的大小為3M
|
|
29
|
mapreduce.job.split.metainfo.maxsize
|
10000000
|
分隔元信息文件的最大值是10M以下
|
|
30
|
mapred.jobtracker.taskScheduler
|
org.apache.hadoop.mapred.JobQueueTaskScheduler
|
設定任務的執行計划實現類
|
|
31
|
mapred.jobtracker.taskScheduler.maxRunningTasksPerJob
|
作業同時運行的任務數的最大值
|
|
|
32
|
mapred.map.max.attempts
|
4
|
Map任務的重試次數
|
|
33
|
mapred.reduce.max.attempts
|
4
|
Reduce任務的重試次數
|
|
34
|
mapred.reduce.parallel.copies
|
5
|
在復制階段時reduce並行傳送的值。
|
|
35
|
mapreduce.reduce.shuffle.maxfetchfailures
|
10
|
取map輸出的最大重試次數
|
|
36
|
mapreduce.reduce.shuffle.connect.timeout
|
180000
|
REDUCE任務連接任務管理器獲得map輸出時的總耗時是3分鍾
|
|
37
|
mapreduce.reduce.shuffle.read.timeout
|
180000
|
REDUCE任務等待map輸出數據的總耗時是3分鍾
|
|
38
|
mapred.task.timeout
|
600000
|
如果任務無讀無寫時的時間耗時為10分鍾，將被終止
|
|
39
|
mapred.tasktracker.map.tasks.maximum
|
2
|
任管管理器可同時運行map任務數為2
|
|
40
|
mapred.tasktracker.reduce.tasks.maximum
|
2
|
任管管理器可同時運行reduce任務數為2
|
|
41
|
mapred.jobtracker.completeuserjobs.maximum
|
100
|
當用戶的完成作業數達100個后，將其放入作業歷史文件中
|
|
42
|
mapreduce.reduce.input.limit
|
-1
|
Reduce輸入量的限制。
|
|
43
|
mapred.job.tracker.retiredjobs.cache.size
|
1000
|
作業狀態為已不在執行的保留在內存中的量為1000
|
|
44
|
mapred.job.tracker.jobhistory.lru.cache.size
|
5
|
作業歷史文件裝載到內存的數量
|
|
45
|
mapred.child.java.opts
|
-Xmx200m
|
啟動task管理的子進程時的內存設置
|
|
46
|
mapred.child.env
|
子進程的參數設置
|
|
|
47
|
mapred.child.ulimit
|
虛擬機所需內存的設定。
|
|
|
48
|
mapred.cluster.map.memory.mb
|
-1
|
|
|
49
|
mapred.cluster.reduce.memory.mb
|
-1
|
|
|
50
|
mapred.cluster.max.map.memory.mb
|
-1
|
|
|
51
|
mapred.cluster.max.reduce.memory.mb
|
-1
|
|
|
52
|
mapred.job.map.memory.mb
|
-1
|
|
|
53
|
mapred.job.reduce.memory.mb
|
-1
|
|
|
54
|
mapred.child.tmp
|
/tmp
|
Mr任務信息的存放目錄
|
|
55
|
mapred.inmem.merge.threshold
|
1000
|
內存中的合並文件數設置
|
|
56
|
mapred.job.shuffle.merge.percent
|
0.66
|
|
|
57
|
mapred.job.shuffle.input.buffer.percent
|
0.70
|
|
|
58
|
mapred.job.reduce.input.buffer.percent
|
0.0
|
|
|
59
|
mapred.map.tasks.speculative.execution
|
true
|
Map任務的多實例並行運行標識
|
|
60
|
mapred.reduce.tasks.speculative.execution
|
true
|
Reduce任務的多實例並行運行標識
|
|
61
|
mapred.job.reuse.jvm.num.tasks
|
1
|
每虛擬機運行的任務數
|
|
62
|
mapred.min.split.size
|
0
|
Map的輸入數據被分解的塊數設置
|
|
63
|
mapred.jobtracker.maxtasks.per.job
|
-1
|
一個單獨作業的任務數設置
|
|
64
|
mapred.submit.replication
|
10
|
提交作業文件的復制級別
|
|
65
|
mapred.tasktracker.dns.interface
|
default
|
任務管理跟蹤器是否報告IP地址名的開關
|
|
66
|
mapred.tasktracker.dns.nameserver
|
default
|
作業和任務管理跟蹤器之間通訊方式采用的DNS服務的主機名或IP地址
|
|
67
|
tasktracker.http.threads
|
40
|
http服務器的工作線程數量
|
|
68
|
mapred.task.tracker.http.address
|
0.0.0.0:50060
|
任務管理跟蹤器的http服務器的地址和端口
|
|
69
|
keep.failed.task.files
|
false
|
失敗任務是否保存到文件中
|
|
70
|
mapred.output.compress
|
false
|
作業的輸出是否壓縮
|
|
71
|
mapred.output.compression.type
|
RECORD
|
作業輸出采用NONE, RECORD or BLOCK三種方式中一種壓縮的寫入到流式文件
|
|
72
|
mapred.output.compression.codec
|
org.apache.hadoop.io.compress.DefaultCodec
|
壓縮類的設置
|
|
73
|
mapred.compress.map.output
|
false
|
Map的輸出是否壓縮
|
|
74
|
mapred.map.output.compression.codec
|
org.apache.hadoop.io.compress.DefaultCodec
|
Map的輸出壓縮的實現類指定
|
|
75
|
map.sort.class
|
org.apache.hadoop.util.QuickSort
|
排序鍵的排序類指定
|
|
76
|
mapred.userlog.limit.kb
|
0
|
每個任務的用戶日志文件大小
|
|
77
|
mapred.userlog.retain.hours
|
24
|
作業完成后的用戶日志留存時間為24小時
|
|
78
|
mapred.user.jobconf.limit
|
5242880
|
Jobconf的大小為5M
|
|
79
|
mapred.hosts
|
可與作業管理跟蹤器連接的主機名
|
|
|
80
|
mapred.hosts.exclude
|
不可與作業管理跟蹤器連接的主機名
|
|
|
81
|
mapred.heartbeats.in.second
|
100
|
作業管理跟蹤器的每秒中到達的心跳數量為100
|
|
82
|
mapred.max.tracker.blacklists
|
4
|
任務管理跟蹤器的黑名單列表的數量
|
|
83
|
mapred.jobtracker.blacklist.fault-timeout-window
|
180
|
任務管理跟蹤器超時180分鍾則訪任務將被重啟
|
|
84
|
mapred.jobtracker.blacklist.fault-bucket-width
|
15
|
|
|
85
|
mapred.max.tracker.failures
|
4
|
任務管理跟蹤器的失敗任務數設定
|
|
86
|
jobclient.output.filter
|
FAILED
|
控制任務的用戶日志輸出到作業端時的過濾方式
|
|
87
|
mapred.job.tracker.persist.jobstatus.active
|
false
|
是否持久化作業管理跟蹤器的信息
|
|
88
|
mapred.job.tracker.persist.jobstatus.hours
|
0
|
持久化作業管理跟蹤器的信息的保存時間
|
|
89
|
mapred.job.tracker.persist.jobstatus.dir
|
/jobtracker/jobsInfo
|
作業管理跟蹤器的信息存放目錄
|
|
90
|
mapreduce.job.complete.cancel.delegation.tokens
|
true
|
恢復時是否變更領牌
|
|
91
|
mapred.task.profile
|
false
|
任務分析信息是否建設標志
|
|
92
|
mapred.task.profile.maps
|
0-2
|
設置map任務的分析范圍
|
|
93
|
mapred.task.profile.reduces
|
0-2
|
設置reduce任務的分析范圍
|
|
94
|
mapred.line.input.format.linespermap
|
1
|
每次切分的行數設置
|
|
95
|
mapred.skip.attempts.to.start.skipping
|
2
|
在跳轉模式未被設定的情況下任務的重試次數
|
|
96
|
mapred.skip.map.auto.incr.proc.count
|
true
|
MapRunner在調用map功能后的增量處理方式設置
|
|
97
|
mapred.skip.reduce.auto.incr.proc.count
|
true
|
在調用reduce功能后的增量處理方式設置
|
|
98
|
mapred.skip.out.dir
|
跳過記錄的輸出目錄
|
|
|
99
|
mapred.skip.map.max.skip.records
|
0
|
|
|
100
|
mapred.skip.reduce.max.skip.groups
|
0
|
|
|
101
|
job.end.retry.attempts
|
0
|
Hadoop償試連接通知器的次數
|
|
102
|
job.end.retry.interval
|
30000
|
通知償試回應的間隔操作為30秒
|
|
103
|
hadoop.rpc.socket.factory.class.JobSubmissionProtocol
|
指定與作業跟蹤管理器的通訊方式，缺省是采用rpc方式
|
|
|
104
|
mapred.task.cache.levels
|
2
|
任務緩存級別設置
|
|
105
|
mapred.queue.names
|
default
|
分隔作業隊例的分隔符設定
|
|
106
|
mapred.acls.enabled
|
false
|
指定ACL訪問控制列表
|
|
107
|
mapred.queue.default.state
|
RUNNING
|
定義隊列的狀態
|
|
108
|
mapred.job.queue.name
|
default
|
已提交作業的隊列設定
|
|
109
|
mapreduce.job.acl-modify-job
|
指定可修改作業的ACL列表
|
|
|
110
|
mapreduce.job.acl-view-job
|
指定可瀏臨作業的ACL列表
|
|
|
111
|
mapred.tasktracker.indexcache.mb
|
10
|
任務管理跟蹤器的索引內存的最大容器
|
|
112
|
mapred.combine.recordsBeforeProgress
|
10000
|
在聚合處理時的記錄塊數
|
|
113
|
mapred.merge.recordsBeforeProgress
|
10000
|
在匯總處理時的記錄塊數
|
|
114
|
mapred.reduce.slowstart.completed.maps
|
0.05
|
|
|
115
|
mapred.task.tracker.task-controller
|
org.apache.hadoop.mapred.DefaultTaskController
|
任務管理器的設定
|
|
116
|
mapreduce.tasktracker.group
|
任務管理器的組成員設定
|
|
|
117
|
mapred.healthChecker.script.path
|
腳本的絕對路徑指定，這些腳本是心跳服務的
|
|
|
118
|
mapred.healthChecker.interval
|
60000
|
節點心跳信息的間隔
|
|
119
|
mapred.healthChecker.script.timeout
|
600000
|
|
|
120
|
mapred.healthChecker.script.args
|
參數列表
|
|
|
121
|
mapreduce.job.counters.limit
|
120
|
作業計數器的最小值
|