Hadoop偽分布式安裝步驟(hadoop0.20.2版本)


最近在學習hadoop,自己下了個視頻教程,他的教學版本是hadoop0.20.2版本,現在的最新版本都到了3.0了,版本雖然有點老,但是還是學了一下,覺得有借鑒的價值。

不廢話了,開始介紹:

先說一下環境:ubuntu14.04,其中要裝上ssh open-server服務,裝上jdk環境。

偽分布式模式安裝和配置步驟如下圖:

詳細步驟

1 首先把文件導入linux系統(我用的ubuntu虛擬機,hadoop-0.20.2.tar.gz安裝包放在了桌桌面)。首先把這個安裝包放在/opt目錄下,並解壓:

2 配置相關文件

hadoop-env.sh文件配置(版本不同,文件位置可能不一樣,hadoop0.20.2/conf

core-site.xml (/conf)

修改hdfs-site.xml

 

hdfs-site.xml配置文件中還有其他一些配置,此次配置沒有用到,如下圖:

mapred-site.xml配置

 

下圖是mapred-site.xml其他一些配置,此次沒用到,列到這里:

 

 

注意:由於我布置的是偽分布式,只有一個節點(即本機),所以core-site.xml和mapred-site.xml兩個配置文件中的相關ip地址是localhost,如果完全分布式部署,是要寫相應的IP的。另外,90009001hadoop缺省端口,一般沒必要修改。

 

ssh設置

首先進入/root 

然后按照下圖輸入(讓每個節點之間互通免密碼)

 

 

這樣就大功告成啦!!!

 

完全分布式安裝大致步驟如下:

1  配置host文件

2  簡歷hadoop運行賬號

3  配置ssh免密碼連接

4  下載hadoop並解壓

5  配置namenode,修改site文件

6  配置hadoop-env.sh

7  配置masterslaves文件

8  向各節點復制hadoop

9  格式化namenode

10 啟動hadoop

11 jps檢查閣后台進程是否成功啟動

后續:以上都是基於hadoop0.20.2版本的,屬於比較過時的東西,推薦一個大神總結的hadoop2.6.0的安裝和配置,寫的很詳細,而且也是正確的。

地址鏈接:http://blog.csdn.net/LLy_Alex/article/details/50759669

hadoop2.6.0安裝完成后,會出現一系列問題,下面強烈推薦一個大神博主微博:http://blog.csdn.net/congcong68/article/details/42043093

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM