HDFS HA高可用
1.1 HA概述
1）所謂HA（High Available），即高可用（7*24小時不中斷服務）。
2）實現高可用最關鍵的策略是消除單點故障。HA嚴格來說應該分成各個組件的HA機制：HDFS的HA和YARN的HA。
3）Hadoop2.0之前，在HDFS集群中NameNode存在單點故障（SPOF）。
4）NameNode主要在以下兩個方面影響HDFS集群
NameNode機器發生意外，如宕機，集群將無法使用，直到管理員重啟
NameNode機器需要升級，包括軟件、硬件升級，此時集群也將無法使用
HDFS HA功能通過配置Active/Standby兩個NameNodes實現在集群中對NameNode的熱備來解決上述問題。如果出現故障，如機器崩潰或機器需要升級維護，這時可通過此種方式將NameNode很快的切換到另外一台機器。
1.2 HDFS-HA工作機制
通過雙NameNode消除單點故障
1.2.1 HDFS-HA工作要點
1. 元數據管理方式需要改變
內存中各自保存一份元數據；
Edits日志只有Active狀態的NameNode節點可以做寫操作；
兩個NameNode都可以讀取Edits；
共享的Edits放在一個共享存儲中管理（qjournal和NFS兩個主流實現）；
2. 需要一個狀態管理功能模塊
實現了一個zkfailover，常駐在每一個namenode所在的節點，每一個zkfailover負責監控自己所在NameNode節點，利用zk進行狀態標識，當需要進行狀態切換時，由zkfailover來負責切換，切換時需要防止brain split現象的發生。
3. 必須保證兩個NameNode之間能夠ssh無密碼登錄
4. 隔離（Fence），即同一時刻僅僅有一個NameNode對外提供服務
1.2.2 HDFS-HA自動故障轉移工作機制
前面學習了使用命令hdfs haadmin -failover手動進行故障轉移，在該模式下，即使現役NameNode已經失效，系統也不會自動從現役NameNode轉移到待機NameNode，下面學習如何配置部署HA自動進行故障轉移。自動故障轉移為HDFS部署增加了兩個新組件：ZooKeeper和ZKFailoverController（ZKFC）進程，如圖3-20所示。ZooKeeper是維護少量協調數據，通知客戶端這些數據的改變和監視客戶端故障的高可用服務。HA的自動故障轉移依賴於ZooKeeper的以下功能：
1）故障檢測：集群中的每個NameNode在ZooKeeper中維護了一個持久會話，如果機器崩潰，ZooKeeper中的會話將終止，ZooKeeper通知另一個NameNode需要觸發故障轉移。
2）現役NameNode選擇：ZooKeeper提供了一個簡單的機制用於唯一的選擇一個節點為active狀態。如果目前現役NameNode崩潰，另一個節點可能從ZooKeeper獲得特殊的排外鎖以表明它應該成為現役NameNode。
ZKFC是自動故障轉移中的另一個新組件，是ZooKeeper的客戶端，也監視和管理NameNode的狀態。每個運行NameNode的主機也運行了一個ZKFC進程，ZKFC負責：
1）健康監測：ZKFC使用一個健康檢查命令定期地ping與之在相同主機的NameNode，只要該NameNode及時地回復健康狀態，ZKFC認為該節點是健康的。如果該節點崩潰，凍結或進入不健康狀態，健康監測器標識該節點為非健康的。
2）ZooKeeper會話管理：當本地NameNode是健康的，ZKFC保持一個在ZooKeeper中打開的會話。如果本地NameNode處於active狀態，ZKFC也保持一個特殊的znode鎖，該鎖使用了ZooKeeper對短暫節點的支持，如果會話終止，鎖節點將自動刪除。
3）基於ZooKeeper的選擇：如果本地NameNode是健康的，且ZKFC發現沒有其它的節點當前持有znode鎖，它將為自己獲取該鎖。如果成功，則它已經贏得了選擇，並負責運行故障轉移進程以使它的本地NameNode為Active。故障轉移進程與前面描述的手動故障轉移相似，首先如果必要保護之前的現役NameNode，然后本地NameNode轉換為Active狀態。
圖3-20 HDFS-HA故障轉移機制
1.3 HDFS-HA集群配置
1.3.1 環境准備
1. 修改IP
2. 修改主機名及主機名和IP地址的映射
3. 關閉防火牆
4. ssh免密登錄
5. 安裝JDK，配置環境變量等
1.3.2 規划集群
表3-1
| hadoop102 |
hadoop103 |
hadoop104 |
| NameNode |
NameNode |
|
| JournalNode |
JournalNode |
JournalNode |
| DataNode |
DataNode |
DataNode |
| ZK |
ZK |
ZK |
| ResourceManager |
||
| NodeManager |
NodeManager |
NodeManager |
1.3.3 配置Zookeeper集群
1. 集群規划
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
2. 解壓安裝
（1）解壓Zookeeper安裝包到/opt/module/目錄下
[atguigu@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
（2）在/opt/module/zookeeper-3.4.10/這個目錄下創建zkData
mkdir -p zkData
（3）重命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg為zoo.cfg
mv zoo_sample.cfg zoo.cfg
3. 配置zoo.cfg文件
（1）具體配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（2）配置參數解讀
Server.A=B:C:D。
A是一個數字，表示這個是第幾號服務器；
B是這個服務器的IP地址；
C是這個服務器與集群中的Leader服務器交換信息的端口；
D是萬一集群中的Leader服務器掛了，需要一個端口來重新進行選舉，選出一個新的Leader，而這個端口就是用來執行選舉時服務器相互通信的端口。
集群模式下配置一個文件myid，這個文件在dataDir目錄下，這個文件里面有一個數據就是A的值，Zookeeper啟動時讀取此文件，拿到里面的數據與zoo.cfg里面的配置信息比較從而判斷到底是哪個server。
4. 集群操作
（1）在/opt/module/zookeeper-3.4.10/zkData目錄下創建一個myid的文件
touch myid
添加myid文件，注意一定要在linux里面創建，在notepad++里面很可能亂碼
（2）編輯myid文件
vi myid
在文件中添加與server對應的編號：如2
（3）拷貝配置好的zookeeper到其他機器上
scp -r zookeeper-3.4.10/ root@hadoop103.atguigu.com:/opt/app/
scp -r zookeeper-3.4.10/ root@hadoop104.atguigu.com:/opt/app/
並分別修改myid文件中內容為3、4
（4）分別啟動zookeeper
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start
（5）查看狀態
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
1.3.4 配置HDFS-HA集群
1. 官方地址：http://hadoop.apache.org/
2. 在opt目錄下創建一個ha文件夾
mkdir ha
3. 將/opt/app/下的 hadoop-2.7.2拷貝到/opt/ha目錄下
cp -r hadoop-2.7.2/ /opt/ha/
4. 配置hadoop-env.sh
| export JAVA_HOME=/opt/module/jdk1.8.0_144 |
5. 配置core-site.xml
| <configuration> <!-- 把兩個NameNode）的地址組裝成一個集群mycluster --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property>
<!-- 指定hadoop運行時產生文件的存儲目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/ha/hadoop-2.7.2/data/tmp</value> </property> </configuration> |
6. 配置hdfs-site.xml
| <configuration> <!-- 完全分布式集群名稱 --> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property>
<!-- 集群中NameNode節點都有哪些 --> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property>
<!-- nn1的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>hadoop102:9000</value> </property>
<!-- nn2的RPC通信地址 --> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>hadoop103:9000</value> </property>
<!-- nn1的http通信地址 --> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>hadoop102:50070</value> </property>
<!-- nn2的http通信地址 --> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>hadoop103:50070</value> </property>
<!-- 指定NameNode元數據在JournalNode上的存放位置 --> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value> </property>
<!-- 配置隔離機制，即同一時刻只能有一台服務器對外響應 --> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property>
<!-- 使用隔離機制時需要ssh無秘鑰登錄--> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/atguigu/.ssh/id_rsa</value> </property>
<!-- 聲明journalnode服務器存儲目錄--> <property> <name>dfs.journalnode.edits.dir</name> <value>/opt/ha/hadoop-2.7.2/data/jn</value> </property>
<!-- 關閉權限檢查--> <property> <name>dfs.permissions.enable</name> <value>false</value> </property>
<!-- 訪問代理類：client，mycluster，active配置失敗自動切換實現方式--> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> </configuration> |
7. 拷貝配置好的hadoop環境到其他節點
1.3.5 啟動HDFS-HA集群
1. 在各個JournalNode節點上，輸入以下命令啟動journalnode服務
sbin/hadoop-daemon.sh start journalnode
2. 在[nn1]上，對其進行格式化，並啟動
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
3. 在[nn2]上，同步nn1的元數據信息
bin/hdfs namenode -bootstrapStandby
4. 啟動[nn2]
sbin/hadoop-daemon.sh start namenode
5. 查看web頁面顯示，如圖3-21，3-22所示
圖3-21 hadoop102(standby)
圖3-22 hadoop103(standby)
6. 在[nn1]上，啟動所有datanode
sbin/hadoop-daemons.sh start datanode
7. 將[nn1]切換為Active
bin/hdfs haadmin -transitionToActive nn1
-
查看是否 Active
bin/hdfs haadmin -getServiceState nn1
1.3.6 配置HDFS-HA自動故障轉移
1. 具體配置
（1）在hdfs-site.xml中增加
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
（2）在core-site.xml文件中增加
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
2. 啟動
（1）關閉所有HDFS服務：
sbin/stop-dfs.sh
（2）啟動Zookeeper集群：
bin/zkServer.sh start
（3）初始化HA在Zookeeper中狀態：
bin/hdfs zkfc -formatZK
（4）啟動HDFS服務：
sbin/start-dfs.sh
（5）在各個NameNode節點上啟動DFSZK Failover Controller，先在哪台機器啟動，哪個機器的NameNode就是Active NameNode
sbin/hadoop-daemin.sh start zkfc
3. 驗證
（1）將Active NameNode進程kill
kill -9 namenode的進程id
（2）將Active NameNode機器斷開網絡
service network stop
1.4 YARN-HA配置
1.4.1 YARN-HA工作機制
1. 官方文檔：
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
2. YARN-HA工作機制，如圖3-23所示
圖3-22 YARN-HA工作機制
1.4.2 配置YARN-HA集群
1. 環境准備
（1）修改IP
（2）修改主機名及主機名和IP地址的映射
（3）關閉防火牆
（4）ssh免密登錄
（5）安裝JDK，配置環境變量等
（6）配置Zookeeper集群
2. 規划集群
表3-2
| hadoop102 |
hadoop103 |
hadoop104 |
| NameNode |
NameNode |
|
| JournalNode |
JournalNode |
JournalNode |
| DataNode |
DataNode |
DataNode |
| ZK |
ZK |
ZK |
| ResourceManager |
ResourceManager |
|
| NodeManager |
NodeManager |
NodeManager |
3. 具體配置
（1）yarn-site.xml
| <configuration>
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
<!--啟用resourcemanager ha--> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property>
<!--聲明兩台resourcemanager的地址--> <property> <name>yarn.resourcemanager.cluster-id</name> <value>cluster-yarn1</value> </property>
<property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property>
<property> <name>yarn.resourcemanager.hostname.rm1</name> <value>hadoop102</value> </property>
<property> <name>yarn.resourcemanager.hostname.rm2</name> <value>hadoop103</value> </property>
<!--指定zookeeper集群的地址--> <property> <name>yarn.resourcemanager.zk-address</name> <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value> </property>
<!--啟用自動恢復--> <property> <name>yarn.resourcemanager.recovery.enabled</name> <value>true</value> </property>
<!--指定resourcemanager的狀態信息存儲在zookeeper集群--> <property> <name>yarn.resourcemanager.store.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value> </property>
</configuration> |
（2）同步更新其他節點的配置信息
4. 啟動hdfs
（1）在各個JournalNode節點上，輸入以下命令啟動journalnode服務：
sbin/hadoop-daemon.sh start journalnode
（2）在[nn1]上，對其進行格式化，並啟動：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
（3）在[nn2]上，同步nn1的元數據信息：
bin/hdfs namenode -bootstrapStandby
（4）啟動[nn2]：
sbin/hadoop-daemon.sh start namenode
（5）啟動所有DataNode
sbin/hadoop-daemons.sh start datanode
（6）將[nn1]切換為Active
bin/hdfs haadmin -transitionToActive nn1
5. 啟動YARN
（1）在hadoop102中執行：
sbin/start-yarn.sh
（2）在hadoop103中執行：
sbin/yarn-daemon.sh start resourcemanager
（3）查看服務狀態，如圖3-24所示
bin/yarn rmadmin -getServiceState rm1
圖3-24 YARN的服務狀態
1.5 HDFS Federation架構設計
1. NameNode架構的局限性
（1）Namespace（命名空間）的限制
由於NameNode在內存中存儲所有的元數據（metadata），因此單個NameNode所能存儲的對象（文件+塊）數目受到NameNode所在JVM的heap size的限制。50G的heap能夠存儲20億（200million）個對象，這20億個對象支持4000個DataNode，12PB的存儲（假設文件平均大小為40MB）。隨着數據的飛速增長，存儲的需求也隨之增長。單個DataNode從4T增長到36T，集群的尺寸增長到8000個DataNode。存儲的需求從12PB增長到大於100PB。
（2）隔離問題
由於HDFS僅有一個NameNode，無法隔離各個程序，因此HDFS上的一個實驗程序就很有可能影響整個HDFS上運行的程序。
（3）性能的瓶頸
由於是單個NameNode的HDFS架構，因此整個HDFS文件系統的吞吐量受限於單個NameNode的吞吐量。
2. HDFS Federation架構設計，如圖3-25所示
能不能有多個NameNode
表3-3
| NameNode |
NameNode |
NameNode |
| 元數據 |
元數據 |
元數據 |
| Log |
machine |
電商數據/話單數據 |
圖3-25 HDFS Federation架構設計
3. HDFS Federation應用思考
不同應用可以使用不同NameNode進行數據管理
圖片業務、爬蟲業務、日志審計業務
Hadoop生態系統中，不同的框架使用不同的NameNode進行管理NameSpace。（隔離性）