單機版搭建Hadoop環境圖文教程詳解


安裝過程: 

一、安裝Linux操作系統
二、在Ubuntu下創建hadoop用戶組和用戶
三、在Ubuntu下安裝JDK
四、修改機器名
五、安裝ssh服務
六、建立ssh無密碼登錄本機
七、安裝hadoop
八、在單機上運行hadoop

一、安裝Linux操作系統 

我們是在windows中安裝linux系統的,選擇的是ubuntu 11.10,介於有些朋友是第一次安裝雙系統,下面我就介紹一種簡單的安裝方法:

1、下載ubuntu-11.10-desktop-i386.iso鏡像文件,用虛擬光驅打開,執行里面的wubi.exe程序,如圖(1)

 

 

2、選擇在widows中安裝,如圖(2)

 

 

3、在彈出的窗口中設置一些具體的參數,自動跟新完成后需要重啟。重啟時,就會出現ubuntu系統的選擇了,系統一般默認開機啟動windows系統,所以這里要自己手動選擇哦~,進入ubuntu后,系統就自動下載,跟新、安裝了。

(注:安裝的過程中可能會卡在一個階段很長時間(我卡了半個小時),這時我選擇了強制關機,重啟時同樣選擇進入ubuntu。一般第二次就不會卡,具體原因我也不是很清楚,可能和wubi.exe程序有關吧。 在網上看到,有些人認為用wubi.exe安裝ubuntu不是很好,可能這就是它的不好之處吧。不過這是非常簡單的方法,所以我們還是選擇這種安裝方法吧。)


二、在Ubuntu下創建hadoop用戶組和用戶 

這里考慮的是以后涉及到hadoop應用時,專門用該用戶操作。用戶組名和用戶名都設為:hadoop。可以理解為該hadoop用戶是屬於一個名為hadoop的用戶組,這是linux操作系統的知識,如果不清楚可以查看linux相關的書籍。

1、創建hadoop用戶組,如圖(3)

 

 

2、創建hadoop用戶,如圖(4)

 

 

3、給hadoop用戶添加權限,打開/etc/sudoers文件,如圖(5)

 

 

按回車鍵后就會打開/etc/sudoers文件了,給hadoop用戶賦予root用戶同樣的權限。在root  ALL=(ALL:ALL)  ALL下添加hadoop  ALL=(ALL:ALL)  ALL,如圖(6)

 

 

三、在Ubuntu下安裝JDK( http://www.cnblogs.com/zyy258963/p/3522534.html )

 

四、修改機器名 

每當Ubuntu安裝成功時,我們的機器名都默認為:ubuntu ,但為了以后集群中能夠容易分辨各台服務器,需要給每台機器取個不同的名字。機器名由 /etc/hostname文件決定。

1、打開/etc/hostname文件,如圖(7)

 

 

 

 

 

2、回車后就打開/etc/hostname文件了,將/etc/hostname文件中的ubuntu改為你想取的機器名。這里我取“s15“。重啟系統后才會生效。

五、安裝ssh服務 

這里的ssh和三大框架:spring,struts,hibernate沒有什么關系,ssh可以實現遠程登錄和管理,具體可以參考其他相關資料。

1、安裝openssh-server,如圖(8)

 

 

 

 

 

 

(注:自動安裝openssh-server時,可能會進行不下去,可以先進行如下操作:)

 

 

 

 

 

 

2、更新的快慢取決於您的網速了,如果中途因為時間過長您中斷了更新(Ctrl+z),當您再次更新時,會更新不了,報錯為:“Ubuntu無法鎖定管理目錄(/var/lib/dpkg/),是否有其他進程占用它?“需要如下操作,如圖(10)

 

 

 

 

 

 

操作完成后繼續執行第1步。

這時假設您已經安裝好了ssh,您就可以進行第六步了哦~

六、 建立ssh無密碼登錄本機 

ssh生成密鑰有rsa和dsa兩種生成方式,默認情況下采用rsa方式。
1、創建ssh-key,,這里我們采用rsa方式,如圖(11)

 

 

 

 

 

(注:回車后會在~/.ssh/下生成兩個文件:id_rsa和id_rsa.pub這兩個文件是成對出現的)

2、進入~/.ssh/目錄下,將id_rsa.pub追加到authorized_keys授權文件中,開始是沒有authorized_keys文件的,如圖(12)

 

 

 

 

 

 

(完成后就可以無密碼登錄本機了。)

3、登錄localhost,如圖(13)

 

 

 

 

 

 

( 注:當ssh遠程登錄到其它機器后,現在你控制的是遠程的機器,需要執行退出命令才能重新控制本地主機。)

4、執行退出命令,如圖(14)

 

 

 

七、安裝Hadoop   (如果你使用的 也是 hadoop-0.20.203 版本,請按下面的方法進行配置,否則請尋找相應配置方法。

2.2 版本請參考  

http://www.vterm.cn/index.php/hadoop2-2-0-stable-version-of-the-users-manual-to-learn/ )

我們采用的hadoop版本是:hadoop-0.20.203(http://apache.etoak.com/hadoop/common/hadoop-0.20.203.0/),因為該版本比較穩定。

1、假設hadoop-0.20.203.tar.gz在桌面,將它復制到安裝目錄 /usr/local/下,如圖(15)

 

 

2、解壓hadoop-0.20.203.tar.gz,如圖(16)

 

 

3、將解壓出的文件夾改名為hadoop,如圖(17)

 

 

4、將該hadoop文件夾的屬主用戶設為hadoop,如圖(18)

 

 

5、打開hadoop/conf/hadoop-env.sh文件,如圖(19)

 

 

6、配置conf/hadoop-env.sh(找到#export JAVA_HOME=...,去掉#,然后加上本機jdk的路徑)

 

 

7、打開conf/core-site.xml文件,編輯如下:

    1. <?xml version="1.0"?>   
    2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   
    3.   
    4. <!-- Put site-specific property overrides in this file. -->   
    5.   
    6. <configuration>   
    7. <property>     
    8.   <name>fs.default.name</name>     
    9.   <value>hdfs://localhost:9000</value>      
    10.  </property>     
    11. </configuration>     

 

8、打開conf/mapred-site.xml文件,編輯如下:

  1. <?xml version="1.0"?>   
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   
  3.   
  4. <!-- Put site-specific property overrides in this file. -->   
  5.   
  6.     <configuration>     
  7.      <property>      
  8.       <name>mapred.job.tracker</name>     
  9.       <value>localhost:9001</value>      
  10.      </property>     
  11.     </configuration>    

9、打開conf/hdfs-site.xml文件,編輯如下:

  1. <configuration>   
  2. <property>   
  3. <name>dfs.name.dir</name>   
  4. <value>/usr/local/Hadoop/datalog1,/usr/local/hadoop/datalog2</value>   
  5. </property>   
  6. <property>   
  7. <name>dfs.data.dir</name>   
  8. <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value>   
  9. </property>   
  10. <property>   
  11. <name>dfs.replication</name>   
  12. <value>2</value>   
  13. </property>   
  14. </configuration>  

10、打開conf/masters文件,添加作為secondarynamenode的主機名,作為單機版環境,這里只需填寫localhost就Ok了。

11、打開conf/slaves文件,添加作為slave的主機名,一行一個。作為單機版,這里也只需填寫localhost就Ok了。

八、在單機上運行hadoop 

1、進入hadoop目錄下,格式化hdfs文件系統,初次運行hadoop時一定要有該操作,如圖(21)

 

 

當你看到下圖時,就說明你的hdfs文件系統格式化成功了。

 

 

3、啟動bin/start-all.sh,如圖(23)

 

 

4、檢測hadoop是否啟動成功,如圖(24)

 

 

如果有Namenode,SecondaryNameNode,TaskTracker,DataNode,JobTracker五個進程,就說明你的hadoop單機

版環境配置好了,呵呵,多么宏偉的工程呀!

九、 Linux下的快捷鍵: 
Ctrl+Alt+t:彈出終端
Ctrl+空格:中英文輸入法切換

十、Hadoop執行WordCount程序,見 http://www.linuxidc.com/Linux/2012-02/54529.htm

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM