快速搞定Windows10環境下hadoop安裝和配置


一. Windows10環境下安裝 

    1.  下載安裝JDK1.8,並配置環境變量,注意:JAVA_HOME環境變量配置的路徑不要包含空格,C盤中的Program Files目錄名稱可用PROGRA~1代替即

    2.  下載Hadoop鏡像安裝文件,下載地址:鏡像文件

 
 

3.  解壓Hadoop鏡像文件到磁盤目錄下,注意:可以解壓在非C盤下,存儲目錄不要包含中文和空格

4.  配置HADOOP_HOME環境變量,並在系統環境變量Path中添加Hadoop環境變量

 
 
 
 

5. 打開cmd窗口,輸入hadoop version命令驗證

 
 

備注: 若出現 Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd的報錯,則是因為JAVA_HOME環境變量配置的路徑含有空格的原因,請參考步驟1

6.  Hadoop偽分布式部署配置

 a.  下載windows專用二進制文件和工具類依賴庫: hadoop在windows上運行需要winutils支持和hadoop.dll等文件

    https://github.com/steveloughran/winutils

     在github倉庫中找到對應版本的二進制庫hadoop.dll和winutils.exe文件,然后把文件拷貝到hadoop解壓的bin目錄中去

注意:  hadoop.dll等文件不要與hadoop沖突,若出現依賴性錯誤可以將hadoop.dll放到C:\Windows\System32下一份

   b.  修改etc目錄下的core-site.xml文件 

   <configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/E:/tools/hadoop-3.1.2/hadoop-3.1.2/data/dfs/namenode</value>

    </property>

    <property>

      <name>dfs.datanode.data.dir</name>

      <value>/E:/tools/hadoop-3.1.2/hadoop-3.1.2/data/dfs/datanode</value>

    </property>

  </configuration>

  注意:windows目錄路徑要改成使用正斜杠,且磁盤名稱最前面也需要一個正斜杠

   c.  修改hdfs-site.xml配置文件

     <configuration>

   <property>

    <name>hadoop.tmp.dir</name>

    <value>/E:/tools/hadoop-3.1.2/hadoop-3.1.2/data</value>

    <description>存放臨時數據的目錄,即包括NameNode的數據</description>

    </property>

   <property>

    <name>fs.defaultFS</name>

    <value>hdfs://localhost:9000</value>

   </property>

   </configuration>

    注意:windows目錄路徑要改成使用正斜杠,且磁盤名稱最前面也需要一個正斜杠

   d.   節點格式化

        在cmd窗口執行命令:hdfs namenode -format

       執行成功結果:

 
 
 
多出data文件夾

 7. 啟動&關閉Hadoop

     a.  進入Hadoop的sbin目錄下執行start-dfs.cmd啟動Hadoop     

     b.  Web界面查看HDFS信息,在瀏覽器輸入http://localhost:9870/,可訪問NameNode

        

 





免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM