hadoop的偽分布式安裝流程如下所示:
其中core-site.xml和hdfs-site.xml是兩個很重要的配置文件。
core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>
hadoop.tmp.dir用來存放hadoop運行過程中臨時文件的目錄,目錄指定為/usr/local/hadoop/tmp,如果不設置這個目錄,那么當hadoop關閉后某些系統臨時目錄會被清空,當下一次需要啟動hadoop時需要重新進行初始化。所以這里人工指定目錄可以避免被清空。
df.defaultFS設置好邏輯名稱,當我們下次需要訪問分布式文件系統的時候,用localhost:9000就可以訪問了。
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration>
dfs.replication表示副本的數量,偽分布式要設置為1。
dfs.namenode.name.dir表示本地磁盤目錄,是存儲fsimage文件的地方。
dfs.datanode.data.dir表示本地磁盤目錄,HDFS數據存放block的地方。