我這邊給出我的集群環境是由一台主節點master和三台從節點slave組成：
master 192.168.1.2
slave1 192.168.1.3
slave2 192.168.1.4
slave3 192.168.1.5
申明：我搭建的這個集群不是在普通用戶，所以一下操作都是在超級用戶root上。
一、虛擬機的安裝
a) 我們從centos官網下載CentOS7（下載DVD IOS鏡像就行了）
b) 在VMware Workstation 11上安裝四台虛擬機，這里的具體的安裝步驟，我就不再贅述。
二、虛擬機前期配置
a) 裝好四台虛擬機后，我們設置虛擬機為靜態IP，並修改一下虛擬機的主機名和IP地址，還需要增加IP與主機映射：
1） 修改主機名（分別在四台虛擬機修改為：master、slave1、slave2和slave3）：
vi /etc/hostname
2） 修改IP地址並設置為靜態IP：
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736（虛擬機的網卡一般默認都是ifcfg-eno16777736）
增加以下內容：
BOOTPROTO=static #設置為靜態IP
ONBOOT=yes #打開網卡
IPADDR=192.168.1.2 #設置IP，對應上面給出的四個IP地址，這里是master的IP
NETMASK=255.255.255.0 #設置子網掩碼
GATEWAY=192.168.1.1 #設置網關
DNS1=8.8.8.8 #設置DNS，這里是Google的兩個域名解析
DNS2=8.8.4.4
3） 增加IP與主機映射：
vi /etc/hosts
增加以下內容：
192.168.1.2 master
192.168.1.3 slave1
192.168.1.4 slave2
192.168.1.5 slave3
4）在完成以上步驟后reboot重啟四台虛擬機：
reboot
三、ssh免密碼登錄
a) 在每台虛擬機的根目錄root下，創建ssh公鑰：
1） ssh-keygen –t rsa #連續回車，系統自動生成圖形公鑰
2） 在master中，進入.ssh目錄，並將公鑰寫到authorized_keys：
cd .ssh/
ssh master cat /root/.ssh/id_rsa.pub>> authorized_keys #需要輸入超級用戶密碼
ssh slave1 cat /root/.ssh/id_rsa.pub>> authorized_keys #需要輸入超級用戶密碼
ssh slave2 cat /root/.ssh/id_rsa.pub>> authorized_keys #需要輸入超級用戶密碼
ssh slave3 cat id_rsa.pub>> authorized_keys #需要輸入超級用戶密碼
3） 更改authorized_keys屬性，使之不能被修改：
chmod 600 authorized_keys
4） 在master的.ssh目錄下，將生成的known_hosts和authorized_keys復制到各個從節點：
scp authorized_keys root@slave1:/root/ #需要輸入超級用戶密碼
scp authorized_keys root@slave2:/root/ #需要輸入超級用戶密碼
scp authorized_keys root@slave3:/root/ #需要輸入超級用戶密碼
scp known_hosts root@slave1:/root/
scp known_hosts root@slave1:/root/
scp known_hosts root@slave1:/root/
5) 驗證ssh的免密碼登錄：
在master中輸入：ssh slave1、ssh slave2和ssh slave3是否需要密碼，如果不需要，則ssh免密碼配置成功。
四、jdk安裝
五、scala安裝
六、Hadoop2.6的解壓安裝
a) 我們從cloudera官網下載Hadoop-2.6.0-cdh5版本的壓縮包
b) 在master節點中，解壓Hadoop壓縮包到/root/app/中：
tar –xzvf hadoop-2.6.0-cdh5.4.0.tar.gz
七、集群環境Hadoop的配置
在master中，進入到Hadoop的配置目錄：
cd hadoop-2.6.0-cdh5.4.0 /etc/hadoop
a) slaves的配置：
vi slaves
刪除localhost，增加三個從節點：
slave1
slave2
slave3
b) core-site.xml的配置：
在此之前，需要在Hadoop目錄下創建data/tmp：
mkdir data
cd data
mrdir tmp
mkdir dfs
cd dfs
mkdir data
mkdir name
在hadoop-2.6.0-cdh5.4.0 /etc/hadoop下：
vi core-site.xml
在core-site.xml中增加：
<property>
<name>hadoop.tmp.dir</name>
<value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
c) hdfs-site.xml的配置：
vi hdfs-site.xml
在hdfs-site.xml增加：
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/app/hadoop-2.6.0-cdh5.4.0/data/tmp/dfs/data</value>
</property>
d) mapred-site.xml的配置：
vi mapred-site.xml
在mapred-site.xml增加：
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
e) yarn-site.xml的配置：
vi yarn-site.xml
在yarn-site.xml增加：
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
f) 在hadoop-env.sh文件的最后加：
export JAVA_HOME=/usr/local/jdk（Java安裝環境）
g) 配置好master中的Hadoop后，將Hadoop復制到各個節點對應位置上：
scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave1:/root/app/
scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave2:/root/app/
scp –r /root/app/hadoop-2.6.0-cdh5.4.0 slave3:/root/app/
八、啟動hadoop
a）在主節點master的hadoop的目錄下：
bin/hdfs namenode –format
sbin/start-dfs.sh
sbin/start-yarn.sh
然后在主節點master輸入jps可以查看到NameNode、SecondaryNameNode、Jps和ResourceManager四個進程。
在從節點slave輸入jps可以查看到Jps、NodeManager和DataNode三個進程。
b) 出現以上進程提示，恭喜你，你的hadoop的環境搭建完成！