Hadoop有三種分布模式:單機模式、偽分布、全分布模式,相比於其他兩種,偽分布是最適合初學者開發學習使用的,可以了解Hadoop的運行原理,是最好的選擇。接下來,就開始部署環境。
首先要安裝好Linux環境,可以是真機,也可以是虛擬機,我的環境是VMWare下安裝的CentOS 6.3的虛擬機,如果你還沒有安裝好Linux環境,可以參考我的另一篇文章: window7環境下VMWare自定義安裝Linux虛擬機完全教程,希望可以幫到你。
等你安裝好了Linux環境,我們就可以真正開始部署hadoop了。
需要准備好Linux版本的jdk和hadoop的壓縮包,可以分別去官網下載,我也提供我的資源給大家參考:鏈接:http://pan.baidu.com/s/1mhKixFq 密碼:6lqt;
1.添加用戶和組,並上傳文件
- 用管理員root登錄Linux,創建hadoop用戶組:groupadd hadoop,
- 創建用戶:useradd hadoop -g hadoop ,
- 使用傳輸軟件將到Linux系統的任意目錄下,如/root/sethadoop;
- 使用命令:su hadoop切換用戶,查看是否創建成功,出現[root@localhost ~]表示創建成功;
- 然后exit退出到root用戶。
- (注:在學習安裝Hadoop之前,最好學習和熟悉一下Linux的常用命令)。
2.Host的配置
vim /etc/hosts 進入配置文件,添加linux主機的ip地址和主機名;需要查看你自己的主機名,ifconfig;
vim /etc/sysconfig/network,設置主機名,以后所有的主機名都必須統一;
source /etc/sysconfig/network ,重新加載配置文件后生效;
logout 登出后重新登錄,發現主機名變為[root@master ~]#

修改權限:chmod 600 ~/.ssh/authorized_keys,chmod 700 .ssh/
測試一下,ssh master,-》yes,然后退出hadoop登錄,exit
4.JDK的安裝
進入到jdk安裝包存放的目錄下,我的是/root/set,
創建安裝Java的目錄,mkdir /usr/java
解壓到/usr/java:tar -zxvf jdk-7u9-linux-i586.tar.gz -C /usr/java
為Java安裝目錄建一個軟連接,方便使用:ln -s jdk1.7.0_09/ jdk
(以上操作都視你的jdk版本和存儲位置而定,切忌照搬)
修改環境變量,vim /etc/profile ,在文件末尾添加如下信息,也可再添加
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar;
有過window中jdk安裝經驗的童鞋會比較熟悉的。
退出保存文件,重新加載配置文件,source /etc/profile.
驗證Java是否安裝成功:java -version,這個有Java開發經驗的都知道吧。。。
5.hadoop的安裝
使用root用戶登錄,進入你的hadoop壓縮包的目錄,
解壓:tar -zxvf hadoop-1.0.4.tar.gz -C /opt/,解壓目錄/usr/也行,根據自己選擇;
進入/opt目錄下,更改一下文件夾的名字,方便使用,mv hadoop-1.0.4/ hadoop/;
修改用戶組和權限:chown -R hadoop:hadoop hadoop/
登錄hadoop用戶,su hadoop;
配置 vim conf/hadoop-env.sh,在末尾添加:
第二個變量可以不是256M,根據你的內存大小而定,也可以是512M或更大;
配置 vim conf/core-site.xml 在<configuration>中添加:
配置vim conf/hdfs-site.xml,如下,由於是偽分布式,所以replication配1就行
配置 conf/mapred-site.xml:主機名要一致;
配置輔助接點名稱,conf/masters,就添加一個master就行
配置子節點,conf/slave 也是添加一個master就行
經過以上步驟,hadoop的配置文件就全部配置好了,不要忘記:wq退出保存哦。
格式化分布式文件系統:進入hadoop的bin目錄,
執行 ./hadoop namenode -format,完成后是這樣的:
啟動hadoop集群:./start-all.sh,
檢查hadoop結點是否全部啟動成功:共6個結點,一個都不能少,
如果哪個結點沒有出現,說明其出錯了,請進入logs目錄下的日志文件查看相應的日志文件,並修改,
具體方法請查看其它網絡資源;
查看hadoop集群的狀態信息:
在瀏覽器地址欄輸入:http://192.168.64.128:50070/ (ip是你自己服務器的ip)
出現上圖信息,說明你的hadoop偽分布模式就配置成功了!
(注:如果運行jps沒有問題,而上面的頁面加載不出來的話,請試着關閉防火牆:service iptables stop)