最近在學習hadoop,自己下了個視頻教程,他的教學版本是hadoop0.20.2版本,現在的最新版本都到了3.0了,版本雖然有點老,但是還是學了一下,覺得有借鑒的價值。
不廢話了,開始介紹:
先說一下環境:ubuntu14.04,其中要裝上ssh open-server服務,裝上jdk環境。
偽分布式模式安裝和配置步驟如下圖:
詳細步驟
1 首先把文件導入linux系統(我用的ubuntu虛擬機,hadoop-0.20.2.tar.gz安裝包放在了桌桌面)。首先把這個安裝包放在/opt目錄下,並解壓:
2 配置相關文件
hadoop-env.sh文件配置(版本不同,文件位置可能不一樣,hadoop0.20.2在/conf下)
core-site.xml (/conf下)
修改hdfs-site.xml
hdfs-site.xml配置文件中還有其他一些配置,此次配置沒有用到,如下圖:
mapred-site.xml配置
下圖是mapred-site.xml其他一些配置,此次沒用到,列到這里:
注意:由於我布置的是偽分布式,只有一個節點(即本機),所以core-site.xml和mapred-site.xml兩個配置文件中的相關ip地址是localhost,如果完全分布式部署,是要寫相應的IP的。另外,9000和9001是hadoop缺省端口,一般沒必要修改。
ssh設置
首先進入/root
然后按照下圖輸入(讓每個節點之間互通免密碼)
這樣就大功告成啦!!!
完全分布式安裝大致步驟如下:
1 配置host文件
2 簡歷hadoop運行賬號
3 配置ssh免密碼連接
4 下載hadoop並解壓
5 配置namenode,修改site文件
6 配置hadoop-env.sh
7 配置master和slaves文件
8 向各節點復制hadoop
9 格式化namenode
10 啟動hadoop
11 用jps檢查閣后台進程是否成功啟動
后續:以上都是基於hadoop0.20.2版本的,屬於比較過時的東西,推薦一個大神總結的hadoop2.6.0的安裝和配置,寫的很詳細,而且也是正確的。
地址鏈接:http://blog.csdn.net/LLy_Alex/article/details/50759669
hadoop2.6.0安裝完成后,會出現一系列問題,下面強烈推薦一個大神博主微博:http://blog.csdn.net/congcong68/article/details/42043093