Windows上搭建hadoop開發環境

前言

 

Windows下運行Hadoop，通常有兩種方式：一種是用VM方式安裝一個Linux操作系統，這樣基本可以實現全Linux環境的Hadoop運行；另一種是通過Cygwin模擬Linux環境。后者的好處是使用比較方便，安裝過程也簡單，本篇文章是介紹第二種方式Cygwin模擬Linux環境。

 

准備工作

（1）安裝JDK1.6或更高版本，安裝時注意，最好不要安裝到帶有空格的路徑名下，例如:Programe Files，否則在配置Hadoop的配置文件時會找不到JDK。

（2）hadoop官網下載hadoop http://hadoop.apache.org/releases.html 。

 

 

安裝Cygwin

 

Cygwin是Windows平台下模擬Unix環境的工具，需要在安裝Cygwin的基礎上安裝Hadoop，下載地址：http://www.cygwin.com/ 根據操作系統的需要下載32位或64的安裝文件。

 

 

一、雙擊下載好的安裝文件，點擊下一步進入程序引導安裝頁，這里有三個選項，選擇第一項網絡安裝：

• 網絡安裝：通過網絡下載並安裝軟件包
• 下載但不安裝：通過網絡下載軟件包
• 本地安裝：是用本地軟件包安裝

 

二、選擇install from internet

 

                                                

 

三、選擇安裝路徑
 
三、選擇local Package Directory
 
四、選擇您的Internet連接方式
 
五、選擇合適的安裝源，點擊下一步

 

 

                                              

 

六、這一步比較重要，以下軟件包要確保被安裝：

                                     

 

在Select Packages界面里，Category展開net，選擇如下openssh和openssl兩項

 

　　

 

如果要在Eclipe上編譯Hadoop，需要安裝Category為Base下的sed

 

　　

如果想在Cygwin上直接修改hadoop的配置文件，可以安裝Editors下的vim

   

 

　　

七、點擊“下一步”，等待安裝完成。

 

八、配置環境變量

 

在“我的電腦”上點擊右鍵，選擇菜單中的“屬性"，點擊屬性對話框上的高級頁簽，點擊”環境變量"按鈕，在系統變量列表里雙擊“Path”變量，在變量值后輸入安裝的Cygwin的bin目錄，例如：D:\cygwin64\bin

久、安裝sshd服務

 

雙擊桌面上的Cygwin圖標，啟動Cygwin，執行ssh-host-config -y命令，執行后，會提示輸入密碼。

 

 

                                        

 

 

此時輸入密碼和確認密碼，回車。最后出現Host configuration finished.Have fun!表示安裝成功。

 

                                           

 

輸入net start sshd，啟動服務。或者在系統的服務里找到並啟動Cygwin sshd服務。

安裝hadoop

前面部分在公司電腦操作，以下安裝操作在本機操作，過程不受影響。

   下載hadoop

hadoop官網下載地址： http://hadoop.apache.org/releases.html 。

把hadoop壓縮包解壓到/home/用戶名 目錄下，文件夾名稱更改為hadoop，可以不修改，但后邊在執行命令時稍顯麻煩。

 （1）單機模式配置方式

　　單機模式不需要配置，這種方式下，Hadoop被認為是一個單獨的Java進程，這種方式經常用來調試。

 （2）偽分布模式

　　可以把偽分布模式看作是只有一個節點的集群，在這個集群中，這個節點既是Master，也是Slave，既是NameNode，也是DataNode，既是JobTracker，也是TaskTracker。

     偽分布模式只需要修改幾個配置文件即可。

 配置hadoop-env.sh，記事本打開改文件，設置JAVA_HOME的值為你的JDK安裝路徑，例如：

JAVA_HOME="D:\javatools\jdk1.6.0"

配置core-site.xml

                                 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
　　　　<name>fs.default.name</name>
　　　　<value>hdfs://localhost:9000</value>
　　</property>
　　<property>
　　　　<name>mapred.child.tmp</name>
　　　　<value>/home/u/hadoop/tmp</value>
　　</property>

</configuration>

 

 配置hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
    　　<name>dfs.replication</name>
    　　<value>1</value>
    </property>
</configuration>

 

 配置mapred-site.xml

 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
　　　　   <name>mapred.job.tracker</name>
　　　　   <value>localhost:9001</value>
　　    </property>
　　    <property>
　　　　   <name>mapred.child.tmp</name>
　　　　   <value>/home/u/hadoop/tmp</value>
　　    </property>
</configuration>

 

    啟動hadoop

打開Cgywin窗口，執行cd ~/hadoop命令，進入hadoop文件夾，啟動Hadoop前，需要先格式化Hadoop的文件系統HDFS，執行命令：bin/hadoop namenode -format，（注意：namenode要小些，否則如果輸入NameNode，會提示錯誤，找不到或無法加載主類NameNode。）如下圖：

                                

輸入命令 bin/start-all.sh，啟動所有進程。

                                

   驗證是否成功安裝

打開瀏覽器，輸入網址：http://localhost:50030     然后回車，如果能訪問則安裝成功。訪問截圖如下：

  

參考文獻：《Hadoop實戰》