Windows上安裝運行Hadoop


 0.自己編譯安裝步驟在這里,有英文版本鏈接:《英文傳送門》。

自己編譯嘗試后不成功,換為下面使用別人編譯好的版本的方法。參考博客:《初學hadoop,windows下安裝》 

 

1.下載JDK,並設置JAVA_HOME。(使用不帶空格的路徑,比如Program Files,將在后面的配置中報錯!)

假設JAVA_HOME路徑為C:\Java\jdk1.8.0_73

 

2.下載hadoop。下載地址:http://hadoop.apache.org/releases.html

如果在當前頁中沒找到2.8.3版本,可以到所有版本的下載列表中去找:https://archive.apache.org/dist/hadoop/common/

這里下載使用的是2.8.3的二進制版本文件,解壓到d:/hadoop-2.8.3

 

3.下載winutils。這個是別人編譯好的hadoop的windows版本二進制文件,不需要我們自己進行編譯。下載下來然后將hadoop-2.8.3進行!覆蓋!即可。

下載地址:https://github.com/steveloughran/winutils

 

4.在路徑D:\hadoop-2.8.3\etc\hadoop下修改文件

①core-site.xml(配置默認hdfs的訪問端口)

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>    
</configuration>

②hdfs-site.xml(設置復制數為1,即不進行復制。namenode文件路徑以及datanode數據路徑。)

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>file:/hadoop/data/dfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>file:/hadoop/data/dfs/datanode</value>  
    </property>
</configuration>

③將mapred-site.xml.template 名稱修改為 mapred-site.xml 后再修改內容(設置mr使用的框架,這里使用yarn)

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

④yarn-site.xml(這里yarn設置使用了mr混洗)

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

⑤hadoop-env.cmd

設置JAVA_HOME的值(如果這里使用了帶空格的Program Files路徑將會報錯!)

set JAVA_HOME=C:\Java\jdk1.8.0_73

 

5.進入D:\hadoop-2.8.3\bin目錄,格式化hdfs

在cmd中運行命令 hdfs namenode -format

 

6.進入D:\hadoop-2.8.3\sbin目錄

在cmd中運行命令start-all.cmd

出現找不到hadoop文件的錯誤時,可以在start-all.cmd文件上方加入hadoop文件所在位置目錄

cd D:\hadoop-2.8.3\bin

 

7.在瀏覽器地址欄中輸入:http://localhost:8088查看集群狀態。

8.在瀏覽器地址欄中輸入:http://localhost:50070查看Hadoop狀態。

 

 

 

9.執行stop-all.cmd關閉Hadoop。

 

以上。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM