一：下載安裝 Hadoop
1.1：下載指定的Hadoop
1.2：通過XFTP把文件上傳到master電腦bigData目錄下
1.3：解壓hadoop壓縮文件
tar -xvf hadoop-2.8.0.tar.gz
1.4：進入壓縮文件之后 復制路徑
/bigData/hadoop-2.8.0
1.5：配置Hadoop的環境變量
vim /etc/profile
export HADOOP_HOME=/bigData/hadoop-2.8.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
之后讓文件生效
source /etc/profile
二：Hadoop集群的配置
2.1:進入hadoop的配置文件位置
cd hadoop2.8.0/etc/hadoop/
2.2:配置hadoop-env.sh文件
01.vim hadoop-env.sh
02.在文件中加入
export JAVA_HOME=/bigData/jdk1.8.0_121
2.3:配置yarn-env.sh文件
01.vim yarn-env.sh
02.在文件中加入
export JAVA_HOME=/bigData/jdk1.8.0_121
2.4:配置slaves文件，增加slave主機名或者IP地址
01.vim slaves
02.在文件中加入
slave1
slave2 ， 刪除原有的localhost
2.5:配置core-site.xml文件
01.vim core-site.xml
02.在文件中的configuration節點里加入
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/bigData/hadoop-2.8.0/tmp</value>
</property>
2.6:配置hdfs-site.xml文件
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/bigData/hadoop-2.8.0/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/bigData/hadoop-2.8.0/hdfs/data</value>
</property>
2.7:配置yarn-site.xml文件
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
2.8:配置mapred-site.xml文件
mapred-site.xml.template 是存在的
mapred-site.xml不存在
注意：先要copy一份
cp mapred-site.xml.template mapred-site.xml
然后編輯
vim mapred-site.xml
新增以下內容
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
2.9:把配置好的hadoop文件復制到其他的子機器中
scp -r /bigData/hadoop-2.8.0 root@slave1:/bigData/
scp -r /bigData/hadoop-2.8.0 root@slave2:/bigData/
2.10:把配置好的/etc/profile復制到其他兩個子機器中
scp /etc/profile root@slave1:/etc/profile
scp /etc/profile root@slave2:/etc/profile
之后在每個子機器中使用 source /etc/profile 使文件生效
2.11:在master 主機器中運行
hdfs namenode -format
2.12:在master 主機器中啟動hadoop環境
進入/bigData/hadoop-2.8.0/sbin
./start-all.sh 啟動hadoop集群
./stop-all.sh 關閉hadoop集群