偽分布式安裝core-site.xml和hdfs-site.xml配置文件


hadoop的偽分布式安裝流程如下所示:

其中core-site.xml和hdfs-site.xml是兩個很重要的配置文件。

 

core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name> 
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hadoop.tmp.dir用來存放hadoop運行過程中臨時文件的目錄,目錄指定為/usr/local/hadoop/tmp,如果不設置這個目錄,那么當hadoop關閉后某些系統臨時目錄會被清空,當下一次需要啟動hadoop時需要重新進行初始化。所以這里人工指定目錄可以避免被清空。

df.defaultFS設置好邏輯名稱,當我們下次需要訪問分布式文件系統的時候,用localhost:9000就可以訪問了。

 

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

dfs.replication表示副本的數量,偽分布式要設置為1。

dfs.namenode.name.dir表示本地磁盤目錄,是存儲fsimage文件的地方。

dfs.datanode.data.dir表示本地磁盤目錄,HDFS數據存放block的地方。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM