《hadoop學習》關於hdfs中的core-site.xml,hdfs-site.xml,mapred-site.xml文件配置詳解

 

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件，默認下來，這些配置文件都是空的，所以很難知道這些配置文件有哪些配置可以生效，上網找的配置可能因為各個hadoop版本不同，導致無法生效。瀏覽更多的配置，有兩個方法:

1.選擇相應版本的hadoop,下載解壓后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是默認配置,可以參考這些配置的說明和key，配置hadoop集群。

2.瀏覽apache官網,三個配置文件鏈接如下:

    http://hadoop.apache.org/common/docs/current/core-default.html

    http://hadoop.apache.org/common/docs/current/hdfs-default.html

    http://hadoop.apache.org/common/docs/current/mapred-default.html

   這里是瀏覽hadoop當前版本號的默認配置文件，其他版本號，要另外去官網找。其中第一個方法找到默認的配置是最好的，因為每個屬性都有說明，可以直接使用。另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。

 

 

2       常用的端口配置2.1  HDFS端口

參數	描述	默認	配置文件	例子值
fs.default.name namenode	namenode RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs- site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制端口	50010	hdfs -site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服務器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服務器和端口	50075	hdfs-site.xml	0.0.0.0:50075

2.2  MR端口

參數	描述	默認	配置文件	例子值
mapred.job.tracker	job-tracker交互端口	8021	mapred-site.xml	hdfs://master:8021/
job	tracker的web管理端口	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task-tracker的HTTP端口	50060	mapred-site.xml	0.0.0.0:50060

2.3  其它端口

參數	描述	默認	配置文件	例子值
dfs.secondary.http.address	secondary NameNode web管理端口	50090	hdfs-site.xml	0.0.0.0:50090

3       三個缺省配置參考文件說明3.1  core-default.html

序號	參數名	參數值	參數說明
1	hadoop.tmp.dir	/tmp/hadoop-${user.name}	臨時目錄設定
2	hadoop.native.lib	true	使用本地hadoop庫標識。
3	hadoop.http.filter.initializers		http服務器過濾鏈設置
4	hadoop.security.group.mapping	org.apache.hadoop.security.ShellBasedUnixGroupsMapping	組內用戶的列表的類設定
5	hadoop.security.authorization	false	服務端認證開啟
6	hadoop.security.authentication	simple	無認證或認證設置
7	hadoop.security.token.service.use_ip	true	是否開啟使用IP地址作為連接的開關
8	hadoop.logfile.size	10000000	日志文件最大為10M
9	hadoop.logfile.count	10	日志文件數量為10個
10	io.file.buffer.size	4096	流文件的緩沖區為4K
11	io.bytes.per.checksum	512	校驗位數為512字節
12	io.skip.checksum.errors	false	校驗出錯后是拋出異常還是略過標識。True則略過。
13	io.compression.codecs	org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec, org.apache.hadoop.io.compress.SnappyCodec	壓縮和解壓的方式設置
14	io.serializations	org.apache.hadoop.io.serializer.WritableSerialization	序例化和反序列化的類設定
15	fs.default.name	file:///	缺省的文件URI標識設定。
16	fs.trash.interval	0	文件廢棄標識設定，0為禁止此功能
17	fs.file.impl	org.apache.hadoop.fs.LocalFileSystem	本地文件操作類設置
18	fs.hdfs.impl	org.apache.hadoop.hdfs.DistributedFileSystem	HDFS文件操作類設置
19	fs.s3.impl	org.apache.hadoop.fs.s3.S3FileSystem	S3文件操作類設置
20	fs.s3n.impl	org.apache.hadoop.fs.s3native.NativeS3FileSystem	S3文件本地操作類設置
21	fs.kfs.impl	org.apache.hadoop.fs.kfs.KosmosFileSystem	KFS文件操作類設置.
22	fs.hftp.impl	org.apache.hadoop.hdfs.HftpFileSystem	HTTP方式操作文件設置
23	fs.hsftp.impl	org.apache.hadoop.hdfs.HsftpFileSystem	HTTPS方式操作文件設置
24	fs.webhdfs.impl	org.apache.hadoop.hdfs.web.WebHdfsFileSystem	WEB方式操作文件類設置
25	fs.ftp.impl	org.apache.hadoop.fs.ftp.FTPFileSystem	FTP文件操作類設置
26	fs.ramfs.impl	org.apache.hadoop.fs.InMemoryFileSystem	內存文件操作類設置
27	fs.har.impl	org.apache.hadoop.fs.HarFileSystem	壓縮文件操作類設置.
28	fs.har.impl.disable.cache	true	是否緩存har文件的標識設定
29	fs.checkpoint.dir	${hadoop.tmp.dir}/dfs/namesecondary	備份名稱節點的存放目前錄設置
30	fs.checkpoint.edits.dir	${fs.checkpoint.dir}	備份名稱節點日志文件的存放目前錄設置
31	fs.checkpoint.period	3600	動態檢查的間隔時間設置
32	fs.checkpoint.size	67108864	日志文件大小為64M
33	fs.s3.block.size	67108864	寫S3文件系統的塊的大小為64M
34	fs.s3.buffer.dir	${hadoop.tmp.dir}/s3	S3文件數據的本地存放目錄
35	fs.s3.maxRetries	4	S3文件數據的償試讀寫次數
36	fs.s3.sleepTimeSeconds	10	S3文件償試的間隔
37	local.cache.size	10737418240	緩存大小設置為10GB
38	io.seqfile.compress.blocksize	1000000	壓縮流式文件中的最小塊數為100萬
39	io.seqfile.lazydecompress	true	塊是否需要壓縮標識設定
40	io.seqfile.sorter.recordlimit	1000000	內存中排序記錄塊類最小為100萬
41	io.mapfile.bloom.size	1048576	BloomMapFiler過濾量為1M
42	io.mapfile.bloom.error.rate	0.005
43	hadoop.util.hash.type	murmur	缺少hash方法為murmur
44	ipc.client.idlethreshold	4000	連接數據最小閥值為4000
45	ipc.client.kill.max	10	一個客戶端連接數最大值為10
46	ipc.client.connection.maxidletime	10000	斷開與服務器連接的時間最大為10秒
47	ipc.client.connect.max.retries	10	建立與服務器連接的重試次數為10次
48	ipc.server.listen.queue.size	128	接收客戶連接的監聽隊例的長度為128
49	ipc.server.tcpnodelay	false	開啟或關閉服務器端TCP連接算法
50	ipc.client.tcpnodelay	false	開啟或關閉客戶端TCP連接算法
51	webinterface.private.actions	false	Web交互的行為設定
52	hadoop.rpc.socket.factory.class.default	org.apache.hadoop.net.StandardSocketFactory	缺省的socket工廠類設置
53	hadoop.rpc.socket.factory.class.ClientProtocol		與dfs連接時的缺省socket工廠類
54	hadoop.socks.server		服務端的工廠類缺省設置為SocksSocketFactory.
55	topology.node.switch.mapping.impl	org.apache.hadoop.net.ScriptBasedMapping
56	topology.script.file.name
57	topology.script.number.args	100	參數數量最多為100
58	hadoop.security.uid.cache.secs	14400

3.2  hdfs-default.html

序號	參數名	參數值	參數說明
1	dfs.namenode.logging.level	info	輸出日志類型
2	dfs.secondary.http.address	0.0.0.0:50090	備份名稱節點的http協議訪問地址與端口
3	dfs.datanode.address	0.0.0.0:50010	數據節點的TCP管理服務地址和端口
4	dfs.datanode.http.address	0.0.0.0:50075	數據節點的HTTP協議訪問地址和端口
5	dfs.datanode.ipc.address	0.0.0.0:50020	數據節點的IPC服務訪問地址和端口
6	dfs.datanode.handler.count	3	數據節點的服務連接處理線程數
7	dfs.http.address	0.0.0.0:50070	名稱節點的http協議訪問地址與端口
8	dfs.https.enable	false	支持https訪問方式標識
9	dfs.https.need.client.auth	false	客戶端指定https訪問標識
10	dfs.https.server.keystore.resource	ssl-server.xml	Ssl密鑰服務端的配置文件
11	dfs.https.client.keystore.resource	ssl-client.xml	Ssl密鑰客戶端的配置文件
12	dfs.datanode.https.address	0.0.0.0:50475	數據節點的HTTPS協議訪問地址和端口
13	dfs.https.address	0.0.0.0:50470	名稱節點的HTTPS協議訪問地址和端口
14	dfs.datanode.dns.interface	default	數據節點采用IP地址標識
15	dfs.datanode.dns.nameserver	default	指定DNS的IP地址
16	dfs.replication.considerLoad	true	加載目標或不加載的標識
17	dfs.default.chunk.view.size	32768	瀏覽時的文件塊大小設置為32K
18	dfs.datanode.du.reserved	0	每個卷預留的空閑空間數量
19	dfs.name.dir	${hadoop.tmp.dir}/dfs/name	存貯在本地的名字節點數據鏡象的目錄,作為名字節點的冗余備份
20	dfs.name.edits.dir	${dfs.name.dir}	存貯文件操作過程信息的存貯目錄
21	dfs.web.ugi	webuser,webgroup	Web接口訪問的用戶名和組的帳戶設定
22	dfs.permissions	true	文件操作時的權限檢查標識。
23	dfs.permissions.supergroup	supergroup	超級用戶的組名定義
24	dfs.block.access.token.enable	false	數據節點訪問令牌標識
25	dfs.block.access.key.update.interval	600	升級訪問鑰時的間隔時間
26	dfs.block.access.token.lifetime	600	訪問令牌的有效時間
27	dfs.data.dir	${hadoop.tmp.dir}/dfs/data	數據節點的塊本地存放目錄
28	dfs.datanode.data.dir.perm	755	數據節點的存貯塊的目錄訪問權限設置
29	dfs.replication	3	缺省的塊復制數量
30	dfs.replication.max	512	塊復制的最大數量
31	dfs.replication.min	1	塊復制的最小數量
32	dfs.block.size	67108864	缺省的文件塊大小為64M
33	dfs.df.interval	60000	磁盤空間統計間隔為6秒
34	dfs.client.block.write.retries	3	塊寫入出錯時的重試次數
35	dfs.blockreport.intervalMsec	3600000	塊的報告間隔時為1小時
36	dfs.blockreport.initialDelay	0	塊順序報告的間隔時間
37	dfs.heartbeat.interval	3	數據節點的心跳檢測間隔時間
38	dfs.namenode.handler.count	10	名稱節點的連接處理的線程數量
39	dfs.safemode.threshold.pct	0.999f	啟動安全模式的閥值設定
40	dfs.safemode.extension	30000	當閥值達到量值后擴展的時限
41	dfs.balance.bandwidthPerSec	1048576	啟動負載均衡的數據節點可利用帶寬最大值為1M
42	dfs.hosts		可與名稱節點連接的主機地址文件指定。
43	dfs.hosts.exclude		不充計與名稱節點連接的主機地址文件設定
44	dfs.max.objects	0	文件數、目錄數、塊數的最大數量
45	dfs.namenode.decommission.interval	30	名稱節點解除命令執行時的監測時間周期
46	dfs.namenode.decommission.nodes.per.interval	5	名稱節點解除命令執行是否完檢測次數
47	dfs.replication.interval	3	名稱節點計算數據節點的復制工作的周期數.
48	dfs.access.time.precision	3600000	充許訪問文件的時間精確到1小時
49	dfs.support.append	false	是否充許鏈接文件指定
50	dfs.namenode.delegation.key.update-interval	86400000	名稱節點上的代理令牌的主key的更新間隔時間為24小時
51	dfs.namenode.delegation.token.max-lifetime	604800000	代理令牌的有效時間最大值為7天
52	dfs.namenode.delegation.token.renew-interval	86400000	代理令牌的更新時間為24小時
53	dfs.datanode.failed.volumes.tolerated	0	決定停止數據節點提供服務充許卷的出錯次數。0次則任何卷出錯都要停止數據節點

3.3  mapred-default.html

序號	參數名	參數值	參數說明
1	hadoop.job.history.location		作業跟蹤管理器的靜態歷史文件的存放目錄。
2	hadoop.job.history.user.location		可以指定具體某個作業的跟蹤管理器的歷史文件存放目錄
3	mapred.job.tracker.history.completed.location		已完成作業的歷史文件的存放目錄
4	io.sort.factor	10	排完序的文件的合並時的打開文件句柄數
5	io.sort.mb	100	排序文件的內存緩存大小為100M
6	io.sort.record.percent	0.05	排序線程阻塞的內存緩存剩余比率
7	io.sort.spill.percent	0.80	當緩沖占用量為該值時，線程需要將內容先備份到磁盤中。
8	io.map.index.skip	0	索引條目的間隔設定
9	mapred.job.tracker	local	作業跟蹤管理器是否和MR任務在一個進程中
10	mapred.job.tracker.http.address	0.0.0.0:50030	作業跟蹤管理器的HTTP服務器訪問端口和地址
11	mapred.job.tracker.handler.count	10	作業跟蹤管理器的管理線程數,線程數比例是任務管理跟蹤器數量的0.04
12	mapred.task.tracker.report.address	127.0.0.1:0	任務管理跟蹤器的主機地址和端口地址
13	mapred.local.dir	${hadoop.tmp.dir}/mapred/local	MR的中介數據文件存放目錄
14	mapred.system.dir	${hadoop.tmp.dir}/mapred/system	MR的控制文件存放目錄
15	mapreduce.jobtracker.staging.root.dir	${hadoop.tmp.dir}/mapred/staging	每個正在運行作業文件的存放區
16	mapred.temp.dir	${hadoop.tmp.dir}/mapred/temp	MR臨時共享文件存放區
17	mapred.local.dir.minspacestart	0	MR本地中介文件刪除時，不充許有任務執行的數量值。
18	mapred.local.dir.minspacekill	0	MR本地中介文件刪除時，除非所有任務都已完成的數量值。
19	mapred.tasktracker.expiry.interval	600000	任務管理跟蹤器不發送心跳的累計時間間隔超過600秒，則任務管理跟蹤器失效
20	mapred.tasktracker.resourcecalculatorplugin		指定的一個用戶訪問資源信息的類實例
21	mapred.tasktracker.taskmemorymanager.monitoring-interval	5000	監控任務管理跟蹤器任務內存使用率的時間間隔
22	mapred.tasktracker.tasks.sleeptime-before-sigkill	5000	發出進程終止后，間隔5秒后發出進程消亡信號
23	mapred.map.tasks	2	每個作業缺省的map任務數為2
24	mapred.reduce.tasks	1	每個作業缺省的reduce任務數為1
25	mapreduce.tasktracker.outofband.heartbeat	false	讓在任務結束后發出一個額外的心跳信號
26	mapreduce.tasktracker.outofband.heartbeat.damper	1000000	當額外心跳信號發出量太多時，則適當阻止
27	mapred.jobtracker.restart.recover	false	充許任務管理器恢復時采用的方式
28	mapred.jobtracker.job.history.block.size	3145728	作業歷史文件塊的大小為3M
29	mapreduce.job.split.metainfo.maxsize	10000000	分隔元信息文件的最大值是10M以下
30	mapred.jobtracker.taskScheduler	org.apache.hadoop.mapred.JobQueueTaskScheduler	設定任務的執行計划實現類
31	mapred.jobtracker.taskScheduler.maxRunningTasksPerJob		作業同時運行的任務數的最大值
32	mapred.map.max.attempts	4	Map任務的重試次數
33	mapred.reduce.max.attempts	4	Reduce任務的重試次數
34	mapred.reduce.parallel.copies	5	在復制階段時reduce並行傳送的值。
35	mapreduce.reduce.shuffle.maxfetchfailures	10	取map輸出的最大重試次數
36	mapreduce.reduce.shuffle.connect.timeout	180000	REDUCE任務連接任務管理器獲得map輸出時的總耗時是3分鍾
37	mapreduce.reduce.shuffle.read.timeout	180000	REDUCE任務等待map輸出數據的總耗時是3分鍾
38	mapred.task.timeout	600000	如果任務無讀無寫時的時間耗時為10分鍾，將被終止
39	mapred.tasktracker.map.tasks.maximum	2	任管管理器可同時運行map任務數為2
40	mapred.tasktracker.reduce.tasks.maximum	2	任管管理器可同時運行reduce任務數為2
41	mapred.jobtracker.completeuserjobs.maximum	100	當用戶的完成作業數達100個后，將其放入作業歷史文件中
42	mapreduce.reduce.input.limit	-1	Reduce輸入量的限制。
43	mapred.job.tracker.retiredjobs.cache.size	1000	作業狀態為已不在執行的保留在內存中的量為1000
44	mapred.job.tracker.jobhistory.lru.cache.size	5	作業歷史文件裝載到內存的數量
45	mapred.child.java.opts	-Xmx200m	啟動task管理的子進程時的內存設置
46	mapred.child.env		子進程的參數設置
47	mapred.child.ulimit		虛擬機所需內存的設定。
48	mapred.cluster.map.memory.mb	-1
49	mapred.cluster.reduce.memory.mb	-1
50	mapred.cluster.max.map.memory.mb	-1
51	mapred.cluster.max.reduce.memory.mb	-1
52	mapred.job.map.memory.mb	-1
53	mapred.job.reduce.memory.mb	-1
54	mapred.child.tmp	/tmp	Mr任務信息的存放目錄
55	mapred.inmem.merge.threshold	1000	內存中的合並文件數設置
56	mapred.job.shuffle.merge.percent	0.66
57	mapred.job.shuffle.input.buffer.percent	0.70
58	mapred.job.reduce.input.buffer.percent	0.0
59	mapred.map.tasks.speculative.execution	true	Map任務的多實例並行運行標識
60	mapred.reduce.tasks.speculative.execution	true	Reduce任務的多實例並行運行標識
61	mapred.job.reuse.jvm.num.tasks	1	每虛擬機運行的任務數
62	mapred.min.split.size	0	Map的輸入數據被分解的塊數設置
63	mapred.jobtracker.maxtasks.per.job	-1	一個單獨作業的任務數設置
64	mapred.submit.replication	10	提交作業文件的復制級別
65	mapred.tasktracker.dns.interface	default	任務管理跟蹤器是否報告IP地址名的開關
66	mapred.tasktracker.dns.nameserver	default	作業和任務管理跟蹤器之間通訊方式采用的DNS服務的主機名或IP地址
67	tasktracker.http.threads	40	http服務器的工作線程數量
68	mapred.task.tracker.http.address	0.0.0.0:50060	任務管理跟蹤器的http服務器的地址和端口
69	keep.failed.task.files	false	失敗任務是否保存到文件中
70	mapred.output.compress	false	作業的輸出是否壓縮
71	mapred.output.compression.type	RECORD	作業輸出采用NONE, RECORD or BLOCK三種方式中一種壓縮的寫入到流式文件
72	mapred.output.compression.codec	org.apache.hadoop.io.compress.DefaultCodec	壓縮類的設置
73	mapred.compress.map.output	false	Map的輸出是否壓縮
74	mapred.map.output.compression.codec	org.apache.hadoop.io.compress.DefaultCodec	Map的輸出壓縮的實現類指定
75	map.sort.class	org.apache.hadoop.util.QuickSort	排序鍵的排序類指定
76	mapred.userlog.limit.kb	0	每個任務的用戶日志文件大小
77	mapred.userlog.retain.hours	24	作業完成后的用戶日志留存時間為24小時
78	mapred.user.jobconf.limit	5242880	Jobconf的大小為5M
79	mapred.hosts		可與作業管理跟蹤器連接的主機名
80	mapred.hosts.exclude		不可與作業管理跟蹤器連接的主機名
81	mapred.heartbeats.in.second	100	作業管理跟蹤器的每秒中到達的心跳數量為100
82	mapred.max.tracker.blacklists	4	任務管理跟蹤器的黑名單列表的數量
83	mapred.jobtracker.blacklist.fault-timeout-window	180	任務管理跟蹤器超時180分鍾則訪任務將被重啟
84	mapred.jobtracker.blacklist.fault-bucket-width	15
85	mapred.max.tracker.failures	4	任務管理跟蹤器的失敗任務數設定
86	jobclient.output.filter	FAILED	控制任務的用戶日志輸出到作業端時的過濾方式
87	mapred.job.tracker.persist.jobstatus.active	false	是否持久化作業管理跟蹤器的信息
88	mapred.job.tracker.persist.jobstatus.hours	0	持久化作業管理跟蹤器的信息的保存時間
89	mapred.job.tracker.persist.jobstatus.dir	/jobtracker/jobsInfo	作業管理跟蹤器的信息存放目錄
90	mapreduce.job.complete.cancel.delegation.tokens	true	恢復時是否變更領牌
91	mapred.task.profile	false	任務分析信息是否建設標志
92	mapred.task.profile.maps	0-2	設置map任務的分析范圍
93	mapred.task.profile.reduces	0-2	設置reduce任務的分析范圍
94	mapred.line.input.format.linespermap	1	每次切分的行數設置
95	mapred.skip.attempts.to.start.skipping	2	在跳轉模式未被設定的情況下任務的重試次數
96	mapred.skip.map.auto.incr.proc.count	true	MapRunner在調用map功能后的增量處理方式設置
97	mapred.skip.reduce.auto.incr.proc.count	true	在調用reduce功能后的增量處理方式設置
98	mapred.skip.out.dir		跳過記錄的輸出目錄
99	mapred.skip.map.max.skip.records	0
100	mapred.skip.reduce.max.skip.groups	0
101	job.end.retry.attempts	0	Hadoop償試連接通知器的次數
102	job.end.retry.interval	30000	通知償試回應的間隔操作為30秒
103	hadoop.rpc.socket.factory.class.JobSubmissionProtocol		指定與作業跟蹤管理器的通訊方式，缺省是采用rpc方式
104	mapred.task.cache.levels	2	任務緩存級別設置
105	mapred.queue.names	default	分隔作業隊例的分隔符設定
106	mapred.acls.enabled	false	指定ACL訪問控制列表
107	mapred.queue.default.state	RUNNING	定義隊列的狀態
108	mapred.job.queue.name	default	已提交作業的隊列設定
109	mapreduce.job.acl-modify-job		指定可修改作業的ACL列表
110	mapreduce.job.acl-view-job		指定可瀏臨作業的ACL列表
111	mapred.tasktracker.indexcache.mb	10	任務管理跟蹤器的索引內存的最大容器
112	mapred.combine.recordsBeforeProgress	10000	在聚合處理時的記錄塊數
113	mapred.merge.recordsBeforeProgress	10000	在匯總處理時的記錄塊數
114	mapred.reduce.slowstart.completed.maps	0.05
115	mapred.task.tracker.task-controller	org.apache.hadoop.mapred.DefaultTaskController	任務管理器的設定
116	mapreduce.tasktracker.group		任務管理器的組成員設定
117	mapred.healthChecker.script.path		腳本的絕對路徑指定，這些腳本是心跳服務的
118	mapred.healthChecker.interval	60000	節點心跳信息的間隔
119	mapred.healthChecker.script.timeout	600000
120	mapred.healthChecker.script.args		參數列表
121	mapreduce.job.counters.limit	120	作業計數器的最小值