Window 10 WSL 下hadoop 偽分布式安裝

Window 10 下的WSL子系統的安裝可以參考之前的文章：window10 WSL子系統上設置redis開發環境

有時候，為了在window系統上進行hadoop開發和測試，可以在WSL上安裝hadoop的偽分布式系統

因為子系統使用的是ubuntu 18.04，所以下面的安裝以此為參考

 

下面是具體的配置步驟：

1：JDK的安裝配置：這是必不可少的步驟

2：ssh的安裝配置：Ubuntu SSH安裝及配置免密碼登錄，安裝完后可以用 ssh localhost來驗證是否成功

3：hadoop偽分布式配置：下載hadoop並解壓，然后修改相應的配置文件如下

 

hadoop-env.sh

export JAVA_HOME=/home/xxx/java/jdk1.8.0_241

core-site.xml

<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
   </property>
   <property>
      <name>hadoop.tmp.dir</name>
      <value>/home/xxx/hadoop-2.7.4/tmp</value>
   </property>
</configuration>

 

hdfs-site.xml

<configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
    <property>
         <name>dfs.permissions</name>
         <value>false</value>
    </property>
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/home/xxx/hadoop-2.7.4/hdfs/name</value>
    </property>
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/home/xxx/hadoop-2.7.4/hdfs/data</value>
    </property>
</configuration>

 

上面是配置了HDFS，下面繼續配置YARN

maprep-site.xml

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

 

配置完后，就可以

1：格式化namenode：bin/hdfs namenode -format

2：啟動hdfs: sbin/start-dfs.sh

3：在瀏覽器里查看dfs：http://localhost:50070

4：啟動YARN：sbin/start-yarn.sh

5：在瀏覽器里查看YARN：http://localhost:8088