hadoop端口配置指南

獲取默認配置

配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個配置文件，默認下來，這些配置文件都是空的，所以很難知道這些配置文件有哪些配置可以生效，上網找的配置可能因為各個hadoop版本不同，導致無法生效。瀏覽更多的配置，有兩個方法:
1.選擇相應版本的hadoop,下載解壓后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是默認配置,可以參考這些配置的說明和key，配置hadoop集群。
2.瀏覽apache官網,三個配置文件鏈接如下:
   http://hadoop.apache.org/common/docs/r0.20.2/core-default.html
   http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html
   http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html
   這里是瀏覽hadoop當前版本號的默認配置文件，其他版本號，要另外去官網找。
其中第一個方法找到默認的配置是最好的，因為每個屬性都有說明，可以直接使用。

另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。

 

常用的端口配置

 

HDFS端口

參數	描述	默認	配置文件	例子值
fs.default.name	namenode RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs-site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制端口	50010	hdfs-site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服務器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服務器和端口	50075	hdfs-site.xml	0.0.0.0:50075

   
 
  
   
       

 

 

 

MR端口

參數	描述	默認	配置文件	例子值
mapred.job.tracker	job tracker交互端口	8021	mapred-site.xml	hdfs://master:8021/
mapred.job.tracker.http.address	job tracker的web管理端口	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task tracker的HTTP端口	50060	mapred-site.xml	0.0.0.0:50060

           
     
   

 

 

 

其他端口

參數	描述	默認	配置文件	例子值
dfs.secondary.http.address	secondary NameNode web管理端口	50090	hdfs-site.xml	0.0.0.0:28680

 

 

 

集群目錄配置

參數	描述	默認	配置文件	例子值
dfs.name.dir	name node的元數據,以,號隔開,hdfs會把元數據冗余復制到這些目錄，一般這些目錄是不同的塊設備，不存在的目錄會被忽略掉	{hadoop.tmp.dir}/dfs/name	hdfs-site.xm	/hadoop/hdfs/name
dfs.name.edits.dir	node node的事務文件存儲的目錄,以,號隔開,hdfs會把事務文件冗余復制到這些目錄，一般這些目錄是不同的塊設備，不存在的目錄會被忽略掉	${dfs.name.dir}	hdfs-site.xm	${dfs.name.dir}
fs.checkpoint.dir	secondary NameNode的元數據以,號隔開,hdfs會把元數據冗余復制到這些目錄，一般這些目錄是不同的塊設備，不存在的目錄會被忽略掉	${hadoop.tmp.dir}/dfs/namesecondary	core-site.xml	/hadoop/hdfs/namesecondary
fs.checkpoint.edits.dir	secondary NameNode的事務文件存儲的目錄,以,號隔開,hdfs會把事務文件冗余復制到這些目錄	${fs.checkpoint.dir}	core-site.xml	${fs.checkpoint.dir}
hadoop.tmp.dir	臨時目錄,其他臨時目錄的父目錄	/tmp/hadoop-${user.name}	core-site.xml	/hadoop/tmp/hadoop-${user.name}
dfs.data.dir	data node的數據目錄,以,號隔開,hdfs會把數據存在這些目錄下，一般這些目錄是不同的塊設備，不存在的目錄會被忽略掉	${hadoop.tmp.dir}/dfs/data	hdfs-site.xm	/hadoop/hdfs/data1/data, /hadoop/hdfs/data2/data
mapred.local.dir	MapReduce產生的中間數據存放目錄,以,號隔開,hdfs會把數據存在這些目錄下，一般這些目錄是不同的塊設備，不存在的目錄會被忽略掉	${hadoop.tmp.dir}/mapred/local	mapred-site.xml	/hadoop/hdfs/data1/mapred/local, /hadoop/hdfs/data2/mapred/local
mapred.system.dir	MapReduce的控制文件	${hadoop.tmp.dir}/mapred/system	mapred-site.xml	/hadoop/hdfs/data1/system

 

 

 

 

 

 

 

 

 

 

其他配置

參數	描述	默認	配置文件	例子值
dfs.support.append	支持文件append，主要是支持hbase	false	hdfs-site.xml	true
dfs.replication	文件復制的副本數，如果創建時不指定這個參數，就使用這個默認值作為復制的副本數	3	hdfs-site.xml	2