配置文件與功能對應:
修改core-site.xml文件
<property>
<name>fs.defaultFS</name>
<!--配置hdfs系統的地址-->
<value>hdfs://hadoop01:8020</value>(在哪一台配,namenode就在哪一台啟動)
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.6.0/hadoopdata/tmp</value>
</property>
修改hdfs-site.xml文件
<property>
<!--副本數3-->
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<!--hadoop2.x默認數據塊大小是128M-->
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<!--NameNode節點存儲元數據的位置-->
<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/name</value>
</property>
<property>
<!--DataNode節點存儲數據塊的位置-->
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/data</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
<!--hdfs系統的web地址-->(主機2為主機1做輔助作用)
<name>dfs.http.address</name>
<value>hadoop01:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>hadoop02:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
修改mapred-site.xml文件
命令如下:
# mv mapred-site.xml.template mapred-site.xml
#vi mapred-site.xml
<property>
<!--配置執行計算模型時使用yarn資源調度器-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<!--配置MapReduce框架的歷史服務的地址-->內部端口
<name>mapreduce.jobhistory.address</name>
<value>hdp-qm-01:10020</value>
</property>
<property>
<!--配置MapReduce框架的歷史服務的地址-->外部web端口
<name>mapreduce.jobhistory.webapp.address</name>
<value>hdp-qm-01:19888</value>19888是mapreduce的歷史端口
</property>
修改yarn-site.xml,配置yarn的集群。。50070是hdfs的web端口
<property>
<!--配置resourcemanager服務的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hdp-qm-01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<!--配置mapreduce的shuffle服務的地址-->
<value>mapreduce_shuffle</value>注:mapreduce處理開始,到聚合之前,為shuffle過程。
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hdp-qm-01:8032</value>內部通信端口與nodemanager通信的端口
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>請求某一台機器,調度資源時需要的端口,
<value>hdp-qm-01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hdp-qm-01:8031</value>(tracker跟蹤,nodemanager跟蹤資源時需要的端口)
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hdp-qm-01:8033</value>任務管理需要的端口
</property>
<property>
<!--配置resourcemanager的web訪問地址-->
<name>yarn.resourcemanager.webapp.address</name>
<value>hdp-qm-01:8088</value>8088是yarn的web端口
</property>