在Hadoop2.0之前，HDFS的單NameNode設計帶來諸多問題：
單點故障、內存受限，制約集群擴展性和缺乏隔離機制（不同業務使用同一個NameNode導致業務相互影響）等
為了解決這些問題，除了用基於共享存儲的HA解決方案我們還可以用HDFS的Federation機制來解決這個問題。
【單機namenode的瓶頸大約是在4000台集群，而后則需要使用聯邦機制】
什么是Federation機制
Federation是指HDFS集群可使用多個獨立的NameSpace(NameNode節點管理)來滿足HDFS命名空間的水平擴展
這些NameNode分別管理一部分數據，且共享所有DataNode的存儲資源。
NameSpace之間在邏輯上是完全相互獨立的(即任意兩個NameSpace可以有完全相同的文件名)。在物理上可以完全獨立(每個NameNode節點管理不同的DataNode)也可以有聯系(共享存儲節點DataNode)。一個NameNode節點只能管理一個Namespace
Federation機制解決單NameNode存在的以下幾個問題
（1）HDFS集群擴展性。每個NameNode分管一部分namespace，相當於namenode是一個分布式的。
（2）性能更高效。多個NameNode同時對外提供服務，提供更高的讀寫吞吐率。
（3）良好的隔離性。用戶可根據需要將不同業務數據交由不同NameNode管理，這樣不同業務之間影響很小。
（4）Federation良好的向后兼容性，已有的單Namenode的部署配置不需要任何改變就可以繼續工作。
Federation是簡單魯棒的設計
魯棒性（健壯和強壯）：在輸入錯誤、磁盤故障、網絡過載或有意攻擊情況下，能否不死機、不崩潰
由於聯盟中各個Namenode之間是相互獨立的：Federation整個核心設計大部分改變是在Datanode、Config和Tools，而Namenode本身的改動非常少，這樣Namenode原先的魯棒性不會受到影響。比分布式的Namenode簡單，雖然擴展性比真正的分布式的Namenode要小些，但是可以迅速滿足需求。
另外一個原因是Federation良好的向后兼容性，可以無縫的支持目前單Namenode架構中的配置。已有的單Namenode的部署配置不需要任何改變就可以繼續工作。
Federation不足之處
HDFS Federation並沒有完全解決單點故障問題。雖然namenode/namespace存在多個，但是從單個namenode/namespace看，仍然存在單點故障。因此 Federation中每個namenode配置成HA高可用集群，以便主namenode掛掉一下，用於快速恢復服務。
Federation 架構
Federation方案的基本思路就是使用多個獨立的NameSpace(NameNode節點管理)來滿足HDFS命名空間的水平擴展,NameSpace之間在邏輯上是完全相互獨立的(即任意兩個NameSpace可以有完全相同的文件名),而在物理上可以完全獨立(NameNode節點管理不同的DataNode)也可以有聯系(共享存儲節點DataNode)很顯然,任何一個NameNode節點只能管理一個Namespace.這種在邏輯上無法統一命名空間的設計對於初學者來說,可能會常常踩到文件名沖突或文件不存在的陷阱中.很顯然,任何一個NameNode節點只能管理一個Namespace.
為了水平擴展namenode，federation使用了多個獨立的namenode/namespace
這些namenode之間相互獨立且不需要互相協調，各自分工，管理自己的區域。分布式的datanode被用作通用的數據塊存儲存儲設備。每個datanode要向集群中所有的namenode注冊，且周期性地向所有namenode發送心跳和塊報告，並執行來自所有namenode的命令。
每個namenode維護一個命名空間卷（namespace volume）
由命名空間的元數據和一個數據塊池組成，數據塊池（block pool）包含該命名空間下文件的所有數據塊。
命名空間卷之間相互獨立
兩兩之間並不互相通信，甚至其中一個namenode的失效也不會影響由其他namenode維護的命名空間的可用性。
一個namespace和它的blockpool作為一個管理單元（稱為namespace volume）
數據塊池不再切分，則集群中的DataNode需要注冊到每個namenode，並且存儲着來自多個數據塊池中的數據塊。當namenode/namespace被刪除后，其所有datanode上對應的block pool也會被刪除。集群升級時，這個管理單元也獨立升級。
NameNode的HA
實現NameNode的HA方案,最重要的部分就是需要一個共享式的存儲系統來實時存儲NameNode的操作日志,而這種共享式的存儲系統必須要滿足兩個基本條件:一是自身必須要高可用,二是保證強一致性.目前,Hadoop-2.x使用Quorum Journal Manager(QJM)來實現操作日志的共享,QJM是一個比ZooKeeper要輕量級的分布式存儲系統,所使用的一致性約束條件遠遠不如paxos,raft等高可用的一致性算法.HDFS抽象出了一個日志接口JournalManager來屏蔽底層對操作日志存儲的實現細節,目前主要有三種實現:
-
+ JournalManager
-
-FileJournalManager
-
-QuorumJournalManager
-
-BackupJournalManager
FileJournalManager將操作日志寫入本地文件系統中,QuorumJournalManager將操作日志寫入QJM中來實現主/備NameNode之間的操作日志共享,BackupJournalManager將操作日志實時的推送給backup的NameNode節點.QuorumJournalManager為了保證性能,采用了異步並發的方式將操作日志刷入所有的JournalNode節點
配置的HA的HDFS,所有NameSpace的NameNode節點在啟動加載完元數據之后都處於Standby狀態,之后被手動或自動的選擇一個NameNode節點作為Active節點而開始正常工作.HA的自動方式是通過在每一個NameNode的本地啟動一個守護進程ZKFailoverController來競爭Active NameNode的,ZKFailoverController除了為本地的NameNode爭取Active角色之外,還負責監控本地的NN節點當前是否正常的,一旦它發現本地的NN不正常,要么主動替當前的Active NN退出Active角色或退出Active的競爭.
DistributedFileSystem的容錯Proxy
HDFS的HA方案並不只是保證NameNode節點的高可用,還得保證客戶端能夠對用戶透明的容忍主/備NameNode節點之間的切換.目前客戶端對HA方案的實現方式主要是通過重試的機制來完成的.
簡述
hadoop 集群一共有4種部署模式，詳見《hadoop 生態圈介紹》。
HA聯邦模式解決了單純HA模式的性能瓶頸（主要指Namenode、ResourceManager），將整個HA集群划分為兩個以上的集群，不同的集群之間通過Federation進行連接，使得HA集群擁有了橫向擴展的能力。理論上，在該模式下，能夠通過增加計算節點以處理無限增長的數據。聯邦模式下的配置在原HA模式的基礎上做了部分調整。
所有四種模式的部署指南見：
hadoop 偽分布式搭建指南
hadoop 完全分布式搭建指南
hadoop HA高可用集群模式搭建指南
hadoop HA+Federation（聯邦）模式搭建指南
搭建過程
系統環境
Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模擬4台主機，內存都為2G
集群節點規划
| IP | 主機名 | 角色描述 | 集群 |
|---|---|---|---|
| 192.168.100.201 | h01.vm.com | namenode-ns1-nn1, zkfc, QuorumPeerMain, resourcemanager | ns1 |
| 192.168.100.202 | h02.vm.com | namenode-ns1-nn2, zkfc, QuorumPeerMain, resourcemanager, journalnode, | ns1 |
| 192.168.100.203 | h03.vm.com | namenode-ns2-nn3, zkfc, QuorumPeerMain, journalnode, nodemanager, datanode | ns2 |
| 192.168.100.204 | h04.vm.com | namenode-ns2-nn4, zkfc, journalnode, nodemanager, datanode | ns2 |
上表中：
- QuorumPeerMain 是zookeeper集群的入口進程；
- zkfc 是 Zookeeper FailoverController 的簡稱，主要用於實現兩個NN之間的容災。
- resourcemanager 是 yarn 中負責資源協調和管理的進程
- nodemanager 是 yarn 中單個節點上的代理進程，向 RM 匯報信息，監控該節點資源
- datanode 是 hdfs 的工作節點，負責實際的數據存儲和任務計算
- journalnode 是QJM模式下兩個NN節點同步數據的進程，每個HA集群里面的高可用依賴它
- ns1,ns2 是集群的邏輯名稱
- nn1,nn2, nn3, nn4 是集群中NN的邏輯名稱
zookeeper 節點需要配置奇數台，一般配置3-7台即可。2000多個節點的集群也僅需要5-9台zk；journalnode與zk類似，也是配置奇數台，且最少需要3台，同樣不需要太多；另外zkfc需要在啟動namenode的節點上也啟動，以保障NN間的心跳機制。
更新軟件源索引
- 分別在 h01 h02 h03 h04 操作
sudo apt-get update
安裝基礎軟件
- 分別在 h01 h02 h03 h04 操作
sudo apt-get install ssh
sudo apt-get install rsync
配置主機域名
- 分別在 h01 h02 h03 h04 操作
sudo vim /etc/hostname # centos系統可能沒有該文件，創建即可 h01.vm.com # 該節點主機名 將該文件內容修改為對應的主機名，例如 h01.vm.com
域名解析
- 搭建內網DNS服務器（可選，但推薦），可閱讀vincent的博文
http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html - 配置 /etc/hosts，將以下代碼追加到文件末尾即可（如搭建了DNS服務器，則跳過此步驟）
- 分別在 h01 h02 h03 h04 操作
sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03
192.168.100.204 h04.vm.com h04
!!! Ubuntu系統，須刪掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove不然可能會引起 hadoop、zookeeper 節點間通信的問題
時間同步（生產環境中務必配置）
在內網中搭建 ntp 服務器，可閱讀vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html
准備jdk、hadoop和zookeeper軟件包
- 須到官方網站下載stable版本
jdk-7u79-linux-x64.tar.gz
hadoop-2.7.2.tar.gz
zookeeper-3.4.8.tar.gz - 所有的軟件包都統一解壓到 /home/vagrant/VMBigData 目錄下，其中 vagrant 是linux系統的用戶名，由於我是使用 vagrant 虛擬的主機，所以默認是 vagrant
- 在 h01 操作
# 先在其中一台機子操作，后面會使用 scp 命令或者其他方法同步到其他主機 mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java /home/vagrant/VMBigData/zookeeper tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop tar zxf zookeeper-3.4.8.tar.gz -C /home/vagrant/VMBigData/zookeeper 配置軟連接，方便以后升級版本
- 在 h01 操作，后面通過 scp 同步到其他主機
ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/ /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/ /home/vagrant/VMBigData/hadoop/default
ln -s /home/vagrant/VMBigData/zookeeper/zookeeper-3.4.8/ /home/vagrant/VMBigData/zookeeper/default
配置環境變量
- 分別在 h01 h02 h03 h04 操作
sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default export JAVA_HOME=/home/vagrant/VMBigData/java/default export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH source /etc/profile 配置免密碼ssh登錄
hadoop主節點需要能遠程登陸集群內的所有節點（包括自己），以執行命令。所以需要配置免密碼的ssh登陸。可選的ssh秘鑰對生成方式有rsa和dsa兩種，這里選擇rsa。
- 分別在 h01 h02 h03 h04 ，即4個主節點上操作
ssh-keygen -t rsa -C "youremail@xx.com" # 注意在接下來的命令行交互中，直接按回車跳過輸入密碼 - 分別在 h01 h02 h03 h04 上操作。以下命令將本節點的公鑰 id_rsa.pub 文件的內容追加到遠程主機的 authorized_keys 文件中（默認位於 ~/.ssh/）
ssh-copy-id vagrant@h01.vm.com # vagrant是遠程主機用戶名 ssh-copy-id vagrant@h02.vm.com ssh-copy-id vagrant@h03.vm.com ssh-copy-id vagrant@h04.vm.com - 在 h01 h02 h03 h04 上測試無密碼 ssh 登錄到 h01 h02 h03 h04
ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com
ssh h04.vm.com
!!! 注意使用rsa模式生成密鑰對時，不要輕易覆蓋原來已有的，確定無影響時方可覆蓋 !!!
配置從節點
在 slaves 文件中配置的主機即為從節點，將自動運行datanode, nodemanager服務
- 在 h01 操作，后面通過 scp 同步到其他主機
vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h03.vm.com
h04.vm.com
也可以在不同集群里配置不同的從節點
建立存儲數據的相應目錄
- 在 h01 操作，后面通過 scp 同步到其他主機
mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/journal/data
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs 配置hadoop參數
在 h01 操作，后面通過 scp 同步到其他主機
- vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意注釋掉原來的這行 export JAVA_HOME=/home/vagrant/VMBigData/java/default export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default # export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行 export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid # export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行 export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} - vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid - vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml
<?xml version="1.0" encoding="utf-8"?> # <configuration> # 注意此處的修改 <configuration xmlns:xi="http://www.w3.org/2001/XInclude"> <xi:include href="/home/vagrant/VMBigData/hadoop/default/etc/hadoop/cmt.xml" /> # 此處引入federation的額外配置文件 <property> <!-- 指定hdfs的nameservice名稱，在 cmt.xml 文件中會引用。注意此處的修改 --> <name>fs.defaultFS</name> <value>viewfs://nsX</value> </property> <!-- 指定hadoop數據存儲目錄 --> <property> <name>hadoop.tmp.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> </property> <property> <!-- 注意此處將該配置項從 hdfs-site.xml 文件中遷移過來了 --> <name>dfs.journalnode.edits.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/journal/data</value> </property> <!-- 指定zookeeper地址 --> <property> <name>ha.zookeeper.quorum</name> <value>h01.vm.com:2181,h02.vm.com:2181,h03.vm.com:2181</value> </property> </configuration> - vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/cmt.xml
<?xml version="1.0" encoding="utf-8"?> <configuration> <property> <!-- 將 hdfs 的 /view_ns1 目錄掛載到 ns1 的NN下管理，整個federation的不同HA集群也是可以讀寫此目錄的，但是在指定路徑是需要指定完全路徑 --> <name>fs.viewfs.mounttable.nsX.link./view_ns1</name> <value>hdfs://ns1</value> </property> <property> <name>fs.viewfs.mounttable.nsX.link./view_ns2</name> <value>hdfs://ns2</value> </property> <property> <!-- 指定 /tmp 目錄，許多依賴hdfs的組件可能會用到此目錄 --> <name>fs.viewfs.mounttable.nsX.link./tmp</name> <value>hdfs://ns1/tmp</value> </property> </configuration> - vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml
<?xml version="1.0" encoding="utf-8"?> <!-- HDFS-HA 配置 --> <configuration> <property> <!-- 因為集群規划中只配置了2各datanode節點，所以此處只能設置小於2，因為hadoop默認不允許將不同的副本存放到相同的節點上 --> <name>dfs.replication</name> <value>2</value> </property> <property> <!-- 白名單：僅允許以下datanode連接到NN，一行一個，也可以指定一個文件 --> <name>dfs.hosts</name> <value> <!-- ~/VMBigData/hadoop/default/etc/hadoop/hosts.allow --> h01.vm.com h02.vm.com h03.vm.com h04.vm.com </value> </property> <property> <!-- 黑名單：不允許以下datanode連接到NN，一行一個，也可以指定一個文件 --> <name>dfs.hosts.exclude</name> <value></value> </property> <property> <!-- 集群的命名空間、邏輯名稱，可配置多個，但是與 cmt.xml 配置對應 --> <name>dfs.nameservices</name> <value>ns1,ns2</value> </property> <property> <!-- 命名空間中所有NameNode的唯一標示。該標識指示集群中有哪些NameNode。目前單個集群最多只能配置兩個NameNode --> <name>dfs.ha.namenodes.ns1</name> <value>nn1,nn2</value> </property> <property> <name>dfs.ha.namenodes.ns2</name> <value>nn3,nn4</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn1</name> <value>h01.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn1</name> <value>h01.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns1.nn2</name> <value>h02.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns1.nn2</name> <value>h02.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn3</name> <value>h03.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn3</name> <value>h03.vm.com:50070</value> </property> <property> <name>dfs.namenode.rpc-address.ns2.nn4</name> <value>h04.vm.com:9000</value> </property> <property> <name>dfs.namenode.http-address.ns2.nn4</name> <value>h04.vm.com:50070</value> </property> <property> <!-- JournalNode URLs，ActiveNameNode 會將 Edit Log 寫入這些 JournalNode 所配置的本地目錄即 dfs.journalnode.edits.dir --> <name>dfs.namenode.shared.edits.dir</name> <!-- 注意此處的ns1，當配置文件所在節點處於ns1集群時，此處為ns1，當處於ns2集群時，此處為ns2 --> <value>qjournal://h02.vm.com:8485;h03.vm.com:8485;h04.vm.com:8485/ns1</value> </property> <!-- JournalNode 用於存放 editlog 和其他狀態信息的目錄 --> <property> <name>dfs.journalnode.edits.dir</name> <value>/home/vagrant/VMBigData/hadoop/data/journal</value> </property> <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns1</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.client.failover.proxy.provider.ns2</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </