Hadoop配置文件參數詳解

core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/data/hadoop/tmp</value>
        <!-- 其他臨時目錄的父目錄 -->
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-alone:9000</value>
        <!--
            hdfs://host:port/
            默認的文件系統的名稱。通常指定namenode的URI地址，包括主機和端口
        -->
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
        <!--
            在序列文件中使用的緩沖區大小，這個緩沖區的大小應該是頁大小（英特爾x86上為4096）的倍數
            他決定讀寫操作中緩沖了多少數據（單位kb）
        -->
    </property>
    <!--ZooKeeper集群的地址和端口。注意，數量一定是奇數，且不少於三個節點-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
    </property>
</configuration>

 

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
        <!--指定dataNode存儲block的副本數量，默認值是3個，該值應該不大於4-->
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
        <!--大型的文件系統HDFS塊大小為256MB，先默認是128MB-->
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file://${hadoop.tmp.dir}/dfs/name</value>
        <!--
            存放namenode的名稱表（fsimage）的目錄，如果這是一個逗號分隔的目錄列表，
            那么在所有目錄中復制名稱表，用於冗余。
         -->
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file://${hadoop.tmp.dir}/dfs/data</value>
        <!--
            存放datanode塊的目錄。如果這是一個逗號分隔的目錄列表，
            那么數據將存儲在所有命名的目錄中，通常存儲在不同的設備上。
        -->
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:50070</value>
        <!---->
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>0.0.0.0:50090</value>
        <!--secondary namenode HTTP服務器地址和端口。-->
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
        <!-- 當為true時，則允許HDFS的檢測，當為false時，則關閉HDFS的檢測，但不影響其它HDFS的其它功能。-->
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>hadoop-cluster1</value>
        <!--給hdfs集群起名字 -->
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
        <!-- RPC服務器的監聽client線程數，如果dfs.namenode.servicerpc-address屬性沒有配置，則線程會監聽所有節點的請求。-->
    </property>
</configuration>

 

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoop-alone:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hadoop-alone:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop-alone:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop-alone:8050</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop-alone:8030</value>
    </property>
</configuration>

 

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <!--執行框架設置為 Hadoop YARN.-->
    </property>
</configuration>