hadoop配置文件的作用


  

core-site.xml
  <property> //指定hdfs的主端口 namenode要放在哪台機器上
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop001:9000</value> //主機名+端口號
  </property>
  <property> //臨時變量目錄 data name secondary 如果指定了namenode datanode 可以不配
    <name>hadoop.tmp.dir</name>
    <value>usr/soft/tmp/
  </value>
  </property>
  <property> //流緩沖區大小 128MB
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>

hdfs-site.xml
  <property> //副本數
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property> //secondary
    <name>dfs.secondary.http.address</name>
    <value>hadoop001:50090</value>
  </property>

yarn-site.xml
  <property> //mapreduce中的shuffle過程
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop001</value>
  </property>
  <property> //resourcemanager 在哪台主機上
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

mapred-site.xml
  <property> //mapreduce 依賴的框架
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property> //歷史服務器監控端口
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop001:10020</value>
  </property>
  <property> //歷史服務器的web監控地址
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop001:19888</value>
  </property>
  <property> //歷史服務器的記錄的最大容納數
    <name>mapreduce.jobhistory.joblist.cache.size</name>
    <value>20000</value>
  </property>

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM