Ubuntu Hadoop環境搭建（Hadoop2.6.5+jdk1.8.0_121）

1、JDK的安裝

2、配置hosts文件（這個也要拷貝給所有slave機，scp /etc/hosts root@slave1:/etc/hosts）

gedit /etc/hosts

添加：

122.205.135.211 master

122.205.135.212 slave1

122.205.135.213 slave2

3、SSH無密碼登錄（見另一章）

4、Hadoop的安裝與配置

（1）下載Hadoop

　　官網下載

（2）配置Hadoop

　　1>修改hadoop-2.6.5/etc/hadoop/hadoop-env.sh，添加JDK支持：(注意這里必須用絕對路徑，不能用${JAVA_HOME})

　　　　export JAVA_HOME=/usr/jdk/jdk1.8.0_121

　　2>修改hadoop-2.6.5/etc/hadoop/core-site.xml 

　　添加：

 

　　<configuration>
　　<property>
　　<name>hadoop.tmp.dir</name>
　　<value>/usr/local/hadoop/hadoop-2.6.5/tmp</value>
　　</property>
　　<property>
　　<name>fs.default.name</name>
　　<value>hdfs://Master:9000</value>
　　</property>
　　</configuration>

 

　　3>修改hadoop-2.6.5/etc/hadoop/hdfs-site.xml

　　添加：

 

　　<configuration>
　　<property>
　　<name>dfs.http.address</name>
　　<value>Master:50070</value>
　　</property>
　　<property>
　　<name>dfs.namenode.secondary.http-address</name>
　　<value>Master:50090</value>
　　</property>
　　<property>
　　<name>dfs.replication</name>
　　<value>2</value>
　　</property>
　　<property>
　　<name>dfs.namenode.name.dir</name>
　　<value>/usr/local/hadoop/hadoop-2.6.5/dfs/name</value>
　　</property>
　　<property>
　　<name>dfs.datanode.data.dir</name>
　　<value>/usr/local/hadoop/hadoop-2.6.5/dfs/data</value>
　　</property>
　　</configuration>

 

 

　　4>修改hadoop-2.6.0/etc/hadoop/mapred-site.xml（原先文件名為mapred-site.xml.templete，將其改為現在文件名）

 

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

 

 

　　5>修改hadoop-2.6.5/etc/hadoop/slaves 添加所有datanode的機器名

　　　　slave1
　　　　slave2

　　6>將master結點上配置好的hadoop文件夾拷貝到所有的slave結點上

　　　　以slave1為例：命令如下：

　　　　scp -r  ~/hadoop-2.6.5 root@slave1:~（具體目錄具體定）

　　7>配置master上的profile文件

　　　　 gedit /etc/profile 

　　　 添加：

 

#JAVA_HOME

JAVA_HOME=/usr/local/jdk/jdk1.8.0_121
JRE_HOME=JAVA_HOME/jre
CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin

export PATH JAVA_HOME JRE_HOME CLASSPATH

#HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.5
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
#choice----
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export YARN_HOME=$HADOOP_HOME
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

 

 

　　8>將配置文件拷貝到所有的slave結點上

　　　　以slave1為例：命令如下：

　　　　scp /etc/profile root@slave1:/etc/profile

5.啟動Hadoop

1>格式化HDFS文件系統的namenode

　　（這里要進入hadoop-2.6.5目錄來格式化）：

　　cd hadoop-2.6.5  //進入hadoop-2.6.5目錄

　　bin/hdfs namenode -format  //格式化（特別注意：這個只能格式化一次，否則會出很多問題）

2>啟動Hadoop集群
　　啟動hdrs命令如下：

　　sbin/start-dfs.sh //開啟進程

　　補充，關閉hdfs集群的命令如下：sbin/stop-dfs.sh（每次啟動完必須關）

　　開啟yarn：sbin/start-yarn.sh

　　　　補充：之后開啟就直接用sbin/start-all.sh 來代替上面兩個開啟項，關閉用sbin/stop-all.sh

6.查看是否成功

　　通過網頁來看是否正常安裝與配置，地址如下：http://master:50070/; http://master:8088;