hadoop集群配置文件


配置文件與功能對應:

修改core-site.xml文件

<property>

<name>fs.defaultFS</name>

<!--配置hdfs系統的地址-->

<value>hdfs://hadoop01:8020</value>(在哪一台配,namenode就在哪一台啟動

</property>

<property>

<name>io.file.buffer.size</name>

<value>4096</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop-2.6.0/hadoopdata/tmp</value>

</property>

 

修改hdfs-site.xml文件

<property>

<!--副本數3-->

<name>dfs.replication</name>

<value>3</value>

</property>

<property>

<!--hadoop2.x默認數據塊大小是128M-->

<name>dfs.blocksize</name>

<value>134217728</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<!--NameNode節點存儲元數據的位置-->

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/name</value>

</property>

<property>

<!--DataNode節點存儲數據塊的位置-->

<name>dfs.datanode.data.dir</name>

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/dfs/data</value>

</property>

<property>

<name>fs.checkpoint.dir</name>

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>

</property>

<property>

<name>fs.checkpoint.edits.dir</name>

<value>file:///home/hadoop/hadoop-2.6.0/hadoopdata/checkpoint/dfs/cname</value>

</property>

<property>

<!--hdfs系統的web地址-->主機2為主機1做輔助作用

   <name>dfs.http.address</name>

   <value>hadoop01:50070</value>

</property>

<property>

   <name>dfs.secondary.http.address</name>

   <value>hadoop02:50090</value>

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

 

修改mapred-site.xml文件

命令如下:

# mv mapred-site.xml.template  mapred-site.xml

#vi mapred-site.xml

<property>

<!--配置執行計算模型時使用yarn資源調度器-->

<name>mapreduce.framework.name</name>

<value>yarn</value>

<final>true</final>

</property>

<property>

<!--配置MapReduce框架的歷史服務的地址-->內部端口

<name>mapreduce.jobhistory.address</name>

<value>hdp-qm-01:10020</value>

</property>

<property>

<!--配置MapReduce框架的歷史服務的地址-->外部web端口

<name>mapreduce.jobhistory.webapp.address</name>

<value>hdp-qm-01:19888</value>19888mapreduce的歷史端口

</property>

 

修改yarn-site.xml,配置yarn的集群。。50070hdfsweb端口

<property>

<!--配置resourcemanager服務的地址-->

<name>yarn.resourcemanager.hostname</name>

<value>hdp-qm-01</value>

</property>

<property>

 

<name>yarn.nodemanager.aux-services</name>

<!--配置mapreduceshuffle服務的地址-->

<value>mapreduce_shuffle</value>注:mapreduce處理開始,到聚合之前,為shuffle過程。

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>hdp-qm-01:8032</value>內部通信端口與nodemanager通信的端口

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>請求某一台機器,調度資源時需要的端口,

<value>hdp-qm-01:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hdp-qm-01:8031</value>tracker跟蹤,nodemanager跟蹤資源時需要的端口

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>hdp-qm-01:8033</value>任務管理需要的端口

</property>

<property>

<!--配置resourcemanagerweb訪問地址-->

<name>yarn.resourcemanager.webapp.address</name>

<value>hdp-qm-01:8088</value>8088yarnweb端口

</property>


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM