初學hadoop,windows下安裝

先bb一下,woc開始使用Cygwin來模擬linux配置hadoop,然后各種錯誤,找着找着發現原來2.0+的hadoop可以直接在windows下配置.當時真是1w頭神獸飛過.

下載hadoop

• 下載地址 
  http://hadoop.apache.org

• 下載步驟 
  

  

  選擇清華開源鏡像站 
  

  選擇你喜歡的版本. stable是穩定版

  

• 解壓

  放在你喜歡的文件夾下

• 關於winutils的下載 
  還需要下載winutils.exe,需要對應的版本.地址https://github.com/steveloughran/winutils,下載之后直接解壓,將bin目錄里的內容直接覆蓋到hadoop的bin

配置hadoop

• 首先配置環境變量 
  這個不用多說,在path中添加路徑${hadoopHome}\bin,例如:”D:\hadoop\bin”,不要忘了加”;”與前面的隔開

• 配置hadoop文件 
  所有的配置文件都在D:\hadoop\etc\hadoop的目錄下,使用Notepad++/記事本/..打開.

  • 文件1:D:\hadoop\etc\hadoop\hadoop-env.cmd jdk路徑不要有空格

    set JAVA_HOME=D:\RequiredTools\Java\jdk8u45 

  • 文件2:D:\hadoop\etc\hadoop\core-site.xml

      <configuration> <property> 　　　　<name>fs.default.name</name> 　　　　<value>hdfs://localhost:9000</value> 　　 </property> </configuration>

  • 文件3:D:\hadoop\etc\hadoop\hdfs-site.xml

    <configuration> <property> 　　<name>dfs.replication</name> 　　<value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/hadoop/data/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/hadoop/data/dfs/datanode</value> </property> </configuration>

  • 文件4:D:\hadoop\etc\hadoop\mapred-site.xml mapred-site.xml是復制mapred-site.xml.template,去掉template

    <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

  • 文件5:D:\hadoop\etc\hadoop\yarn-site.xml 
    

    <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration>

---

啟動hadoop

進入到hadoop–>bin目錄下,shift+右鍵 打開命令行..win8的話建議使用管理員運行cmd

hadoop namenode -format //格式化hdfs cd xx/hadoop/sbin //進入到sbin目錄下 start-dfs.cmd //先啟動dfs start-yarn.cmd //再啟動yarn //或者 //start-all.cmd //相當於以上的兩條命令

啟動結果 
在地址欄輸入http://localhost:8088 

在地址欄輸入http://localhost:50070 

安裝完成 
關於一些配置說明我也不是很清楚,先配置上運行起來再去慢慢弄懂

配置說明:http://blog.csdn.net/xuechongyang/article/details/8691518

---

參考:http://blog.csdn.net/rav009/article/details/70214788

 

from https://blog.csdn.net/xrui_java7/article/details/70231221