一、主機規划
3台主機：1個master、2個slaver/worker
ip地址使用docker默認的分配地址：
master：
主機名： hadoop2、ip地址： 172.17.0.2
slaver1：
主機名： hadoop3、ip地址： 172.17.0.3
主機名： hadoop4、ip地址： 172.17.0.4
二、軟件安裝
1、在docker中安裝centos鏡像，並啟動centos容器，安裝ssh。--詳見"docker上安裝centos鏡像"一文。
2、通過ssh連接到centos容器，安裝jdk1.8、hadoop3.0
可以按照傳統linux安裝軟件的方法，通過將jdk和hadoop的tar包上傳到主機進行安裝。
獲取centos7鏡像
$ docker pull centos
大概是70多M，使用阿里雲等Docker加速器的話很快就能下載完，之后在鏡像列表中就可以看到
查看鏡像列表的命令：
安裝SSH
以centos7鏡像為基礎，構建一個帶有SSH功能的centos
內容：
這段內容的大意是：以 centos 鏡像為基礎，安裝SSH的相關包，設置了root用戶的密碼為 abc123，並啟動SSH服務
執行構建鏡像的命令，新鏡像命名為 centos7-ssh
執行完成后，可以在鏡像列表中看到
構建Hadoop鏡像
上面是運行了3個centos容器，需要在每個容器中單獨安裝Hadoop環境，我們可以像構建SSH鏡像一樣，構建一個Hadoop鏡像，然后運行3個Hadoop容器，這樣就更簡單了
內容：
FROM centos7-ssh ADD jdk-8u151-linux-x64.tar.gz /usr/local/ RUN mv /usr/local/jdk1.8.0_151 /usr/local/jdk1.8 ENV JAVA_HOME /usr/local/jdk1.8 ENV PATH $JAVA_HOME/bin:$PATH ADD hadoop-3.1.0.tar.gz /usr/local RUN mv /usr/local/hadoop-3.1.0 /usr/local/hadoop ENV HADOOP_HOME /usr/local/hadoop ENV PATH $HADOOP_HOME/bin:$PATH RUN yum install -y which sudo
這里是基於 centos7-ssh 這個鏡像，把 JAVA 和 Hadoop 的環境都配置好了
前提：在Dockerfile所在目錄下准備好 jdk-8u101-linux-x64.tar.gz 與 hadoop-2.7.3.tar.gz
執行構建命令，新鏡像命名為 hadoop
在/etc/hosts文件中添加3台主機的主機名和ip地址對應信息
172.17.0.2 hadoop2
172.17.0.3 hadoop3
172.17.0.4 hadoop4
在docker中直接修改/etc/hosts文件，在重啟容器后會被重置、覆蓋。因此需要通過容器啟動腳本docker run的--add-host參數將主機和ip地址的對應關系傳入，容器在啟動后會寫入hosts文件中。如：
docker run --name hadoop2--add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 hadoop
docker exec -it hadoop2 bash
hadoop部署
1.在workers文件中定義工作節點
在hadoop根目錄下的etc/hadoop目錄下新建workers文件，並添加工作節點主機信息。
按照步驟一中的主機規划，工作節點主機為hadoop3和hadoop4兩台主機。如：
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/workers hadoop3 hadoop4
2、修改配置文件信息
a、在hadoop-env.sh中，添加JAVA_HOME信息
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/hadoop-env.sh |grep JAVA_HOME # JAVA_HOME=/usr/java/testing hdfs dfs -ls # Technically, the only required environment variable is JAVA_HOME. # export JAVA_HOME= JAVA_HOME=/usr/local/jdk1.8
b、core-site.xml
configuration><property> <name>fs.default.name</name> <value>hdfs://hadoop2:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> </configuration>
c、hdfs-site.xml
d、yarn-site.xml
e、mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop2:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>hadoop2:19888</value> </property> </configuration>
f、為防止進坑提前做好准備
vi start-dfs.sh vi stop-dfs.sh
HDFS_DATANODE_USER=root #HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs
vi start-yarn.sh vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root
注意：
以上步驟完成以后停止當前容器，並使用docker命令保持到一個新的鏡像。使用新的鏡像重新啟動集群，這樣集群每台機器都有相同的賬戶、配置和軟件，無需再重新配置。如：
a、停止容器
b、保存鏡像
測試
1、端口映射
集群啟動后，需要通過web界面觀察集群的運行情況，因此需要將容器的端口映射到宿主主機的端口上，可以通過docker run命令的-p選項完成。比如：
將yarn任務調度端口映射到宿主主機8088端口上：
2、從新鏡像啟動3個容器
docker run --name hadoop2 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5002:22 -p 9870:9870 -p 8088:8088 -p 19888:19888 hadoop_me:v1.0 docker run --name hadoop3 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5003:22 hadoop_me:v1.0 docker run --name hadoop4 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5004:22 hadoop_me:v1.0
3.格式化
進入到/usr/local/hadoop目錄下
執行格式化命令
修改hadoop2中hadoop的一個配置文件etc/hadoop/slaves
刪除原來的所有內容，修改為如下
在hadoop2中執行命令
4.在master主機上執行start-all.sh腳本啟動集群 在hadoop上 /usr/local/hadoop 目錄下執行：sbin/start-all.sh
5.通過web頁面訪問
