配置高可用的Hadoop平台

本文轉載自查看原文 2015-02-25 15:34 19644 hadoop ha 高可用/ hadoop

1.概述

　　在Hadoop2.x之后的版本，提出了解決單點問題的方案－－HA（High Available 高可用）。這篇博客闡述如何搭建高可用的HDFS和YARN，執行步驟如下：

創建hadoop用戶
安裝JDK
配置hosts
安裝SSH
關閉防火牆
修改時區
ZK（安裝，啟動，驗證）
HDFS＋HA的結構圖
角色分配
環境變量配置
核心文件配置
slave
啟動命令（hdfs和yarn的相關命令）
HA的切換
效果截圖

　　下面我們給出下載包的鏈接地址：

　　zookeeper下載地址

　　hadoop2.x下載地址

JDK下載地址

　　注：若JDK無法下載，請到Oracle的官網下載JDK。

　　到這里安裝包都准備好了，接下來我們開始搭建與配置。

2.搭建

2.1創建Hadoop用戶

useradd hadoop
passwd hadoop

　　然后根據提示，設置密碼。接着我給hadoop用戶設置面免密碼權限，也可自行添加其他權限。

chmod +w /etc/sudoers 
hadoop ALL=(root)NOPASSWD:ALL 
chmod -w /etc/sudoers

2.2安裝JDK

　　將下載好的安裝包解壓到 /usr/java/jdk1.7，然后設置環境變量，命令如下：

sudo vi /etc/profile

　　然后編輯配置，內容如下：

export JAVA_HOME=/usr/java/jdk1.7
export PATH=$PATH:$JAVA_HOME/bin

　　然后使環境變量立即生效，命令如下：

source /etc/profile

　　然后驗證JDK是否配置成功，命令如下：

java -version

　　若顯示對應版本號，即表示JDK配置成功。否則，配置無效！

2.3配置hosts

　　集群中所有機器的hosts配置要要相同（推薦）。可以避免不必要的麻煩，用域名取代IP，方便配置。配置信息如下：

10.211.55.12    nna　　# NameNode Active
10.211.55.13    nns　　# NameNode Standby
10.211.55.14    dn1　　# DataNode1
10.211.55.15    dn2　　# DataNode2
10.211.55.16    dn3　　# DataNode3

　　然后用scp命令，將hosts配置分發到各個節點。命令如下：

＃ 這里以NNS節點為例子
scp /etc/hosts hadoop@nns:/etc/

2.4安裝SSH

　　輸入如下命令：

ssh-keygen –t rsa

　　然后一路按回車鍵，最后在將id_rsa.pub寫到authorized_keys，命令如下：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

　　在hadoop用戶下，需要給authorized_keys賦予600的權限，不然免密碼登陸無效。在其他節點只需要使用 ssh-keygen –t rsa 命令，生產對應的公鑰，然后將各個節點的id_rsa.pub追加到nna節點的authorized_keys中。最后，將nna節點下的authorized_keys文件通過scp命令，分發到各個節點的 ~/.ssh/ 目錄下。目錄如下：

# 這里以NNS節點為例子
scp ~/.ssh/authorized_keys hadoop@nns:~/.ssh/

　　然后使用ssh命令相互登錄，看是否實現了免密碼登錄，登錄命令如下：

# 這里以nns節點為例子
ssh nns

　　若登錄過程中木有提示需要輸入密碼，即表示密碼配置成功。

2.5關閉防火牆

　　由於hadoop的節點之間需要通信（RPC機制），這樣一來就需要監聽對應的端口，這里我就直接將防火牆關閉了，命令如下：

chkconfig  iptables off

　　注：如果用於生產環境，直接關閉防火牆是存在安全隱患的，我們可以通過配置防火牆的過濾規則，即將hadoop需要監聽的那些端口配置到防火牆接受規則中。關於防火牆的規則配置參見“linux防火牆配置”，或者通知公司的運維去幫忙配置管理。

　　同時，也需要關閉SELinux，可修改 /etc/selinux/config 文件，將其中的 SELINUX=enforcing 改為 SELINUX=disabled即可。

2.6修改時區

　　各個節點的時間如果不同步，會出現啟動異常，或其他原因。這里將時間統一設置為Shanghai時區。命令如下：

# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
cp: overwrite `/etc/localtime'? yes
修改為中國的東八區
# vi /etc/sysconfig/clock
ZONE="Asia/Shanghai"
UTC=false
ARC=false

2.7ZK（安裝，啟動，驗證）

2.7.1安裝

　　將下載好的安裝包，解壓到指定位置，這里為直接解壓到當前位置，命令如下：

tar -zxvf zk-{version}.tar.gz

　　修改zk配置，將zk安裝目錄下conf/zoo_sample.cfg重命名zoo.cfg，修改其中的內容：

# The number of milliseconds of each tick
# 服務器與客戶端之間交互的基本時間單元（ms） 
tickTime=2000   

# The number of ticks that the initial  
# synchronization phase can take 
# zookeeper所能接受的客戶端數量 
initLimit=10  

# The number of ticks that can pass between  
# sending a request and getting an acknowledgement 
# 服務器和客戶端之間請求和應答之間的時間間隔 
syncLimit=5

# the directory where the snapshot is stored. 
# do not use /tmp for storage, /tmp here is just  
# example sakes. 
# 保存zookeeper數據，日志的路徑
dataDir=/home/hadoop/data/zookeeper

# the port at which the clients will connect 
# 客戶端與zookeeper相互交互的端口 
clientPort=2181 
server.1= dn1:2888:3888 
server.2= dn2:2888:3888 
server.3= dn3:2888:3888

#server.A=B:C:D  其中A是一個數字，代表這是第幾號服務器；B是服務器的IP地址；C表示服務器與群集中的“領導者”交換信息的端口；當領導者失效后，D表示用來執行選舉時服務器相互通信的端口。

　　接下來，在配置的dataDir目錄下創建一個myid文件，里面寫入一個0-255之間的一個隨意數字，每個zk上這個文件的數字要是不一樣的，這些數字應該是從1開始，依次寫每個服務器。文件中序號要與dn節點下的zk配置序號一直，如：server.1=dn1:2888:3888，那么dn1節點下的myid配置文件應該寫上1。

2.7.2啟動

　　分別在各個dn節點啟動zk進程，命令如下：

bin/zkServer.sh start

　　然后，在各個節點輸入jps命令，會出現如下進程：

QuorumPeerMain

2.7.3驗證

　　上面說的輸入jps命令，若顯示對應的進程，即表示啟動成功，同樣我們也可以輸入zk的狀態命令查看，命令如下：

bin/zkServer.sh status

　　會出現一個leader和兩個follower。

2.8HDFS＋HA的結構圖

　　HDFS配置HA的結構圖如下所示：

　　上圖大致架構包括：

　　1. 利用共享存儲來在兩個NN間同步edits信息。以前的HDFS是share nothing but NN，現在NN又share storage，這樣其實是轉移了單點故障的位置，但中高端的存儲設備內部都有各種RAID以及冗余硬件，包括電源以及網卡等，比服務器的可靠性還是略有提高。通過NN內部每次元數據變動后的flush操作，加上NFS的close-to-open，數據的一致性得到了保證。

　　2. DN同時向兩個NN匯報塊信息。這是讓Standby NN保持集群的最新狀態的必須步驟。

　　3. 用於監視和控制NN進程的FailoverController進程。顯然，我們不能在NN進程內部進行心跳等信息同步，最簡單的原因，一次FullGC就可以讓NN掛起十幾分鍾，所以，必須要有一個獨立的短小精悍的watchdog來專門負責監控。這也是一個松耦合的設計，便於擴展或更改，目前版本里是用ZooKeeper（簡稱ZK）來做同步鎖，但用戶可以方便的把這個Zookeeper FailoverController（簡稱ZKFC）替換為其他的HA方案或leader選舉方案。

　　4. 隔離（Fencing），防止腦裂，就是保證在任何時候只有一個主NN，包括三個方面：

　　　 共享存儲fencing，確保只有一個NN可以寫入edits。

　　　 客戶端fencing，確保只有一個NN可以響應客戶端的請求。

　　　 DN fencing，確保只有一個NN向DN下發命令，譬如刪除塊，復制塊等等。

2.9角色分配

名稱	Host	職責
NNA	10.211.55.12	zkfc
NNS	10.211.55.13	zkfc
DN1	10.211.55.14	zookeeper
DN2	10.211.55.15	zookeeper
DN3	10.211.55.16	zookeeper

2.10環境變量配置

　　這里列出了所有的配置，后面配置其他組件，可以參考這里的配置。配置完成后，輸入：. /etc/profile（或source /etc/profile）使之立即生效。驗證環境變量配置成功與否，輸入：echo $HADOOP_HOME，若輸出對應的配置路徑，即可認定配置成功。

　　注：hadoop2.x以后的版本conf文件夾改為etc文件夾了

　　配置內容如下所示：

export JAVA_HOME=/usr/java/jdk1.7 
export HADOOP_HOME=/home/hadoop/hadoop-2.6.0 
export ZK_HOME=/home/hadoop/zookeeper-3.4.6 
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOM

2.11核心文件配置

　　注：這里特別提醒，配置文件中的路徑在啟動集群之前，得存在（若不存在，請事先創建）。下面為給出本篇文章需要創建的路徑腳本，命令如下：

mkdir -p /home/hadoop/tmp
mkdir -p /home/hadoop/data/tmp/journal
mkdir -p /home/hadoop/data/dfs/name
mkdir -p /home/hadoop/data/dfs/data
mkdir -p /home/hadoop/data/yarn/local
mkdir -p /home/hadoop/log/yarn

core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cluster1</value>
    </property>

    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/tmp</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>
</configuration>

hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <name>dfs.nameservices</name>
        <value>cluster1</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.cluster1</name>
        <value>nna,nns</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.cluster1.nna</name>
        <value>nna:9000</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.cluster1.nns</name>
        <value>nns:9000</value>
    </property>

    <property>
        <name>dfs.namenode.http-address.cluster1.nna</name>
        <value>nna:50070</value>
    </property>

    <property>
        <name>dfs.namenode.http-address.cluster1.nns</name>
        <value>nns:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://dn1:8485;dn2:8485;dn3:8485/cluster1</value>
    </property>

    <property>
        <name>dfs.client.failover.proxy.provider.cluster1</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/hadoop/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/home/hadoop/data/tmp/journal</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/data/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/data/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>

    <property>
        <name>dfs.journalnode.http-address</name>
        <value>0.0.0.0:8480</value>
    </property>
    <property>
        <name>dfs.journalnode.rpc-address</name>
        <value>0.0.0.0:8485</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>

</configuration>

map-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>nna:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>nna:19888</value>
    </property>
</configuration>

yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <name>yarn.resourcemanager.connect.retry-interval.ms</name>
        <value>2000</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>

    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>nna</value>
    </property>

    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>nns</value>
    </property>
    <!--在namenode1上配置rm1,在namenode2上配置rm2,注意：一般都喜歡把配置好的文件遠程復制到其它機器上，但這個在YARN的另一個機器上一定要修改 -->
    <property>
        <name>yarn.resourcemanager.ha.id</name>
        <value>rm1</value>
    </property>
    <!--開啟自動恢復功能 -->
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!--配置與zookeeper的連接地址 -->
    <property>
        <name>yarn.resourcemanager.zk-state-store.address</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster1-yarn</value>
    </property>
    <!--schelduler失聯等待連接時間 -->
    <property>
        <name>yarn.app.mapreduce.am.scheduler.connection.wait.interval-ms</name>
        <value>5000</value>
    </property>
    <!--配置rm1 -->
    <property>
        <name>yarn.resourcemanager.address.rm1</name>
        <value>nna:8132</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm1</name>
        <value>nna:8130</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>nna:8188</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm1</name>
        <value>nna:8131</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm1</name>
        <value>nna:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.admin.address.rm1</name>
        <value>nna:23142</value>
    </property>
    <!--配置rm2 -->
    <property>
        <name>yarn.resourcemanager.address.rm2</name>
        <value>nns:8132</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address.rm2</name>
        <value>nns:8130</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>nns:8188</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address.rm2</name>
        <value>nns:8131</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address.rm2</name>
        <value>nns:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.admin.address.rm2</name>
        <value>nns:23142</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/home/hadoop/data/yarn/local</value>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/home/hadoop/log/yarn</value>
    </property>
    <property>
        <name>mapreduce.shuffle.port</name>
        <value>23080</value>
    </property>
    <!--故障處理類 -->
    <property>
        <name>yarn.client.failover-proxy-provider</name>
        <value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.automatic-failover.zk-base-path</name>
        <value>/yarn-leader-election</value>
    </property>
</configuration>

hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7

yarn-env.sh

# some Java parameters
export JAVA_HOME=/usr/java/jdk1.7

2.12slave

　　修改hadoop安裝目錄下的slave文件：

dn1
dn2
dn3

2.13啟動命令（hdfs和yarn的相關命令）

　　由於我們配置了QJM，所以我們需要先啟動QJM的服務，啟動順序如下所示：

進入到DN節點，啟動zk的服務：zkServer.sh start，之后可以輸入zkServer.sh status查看啟動狀態，本次我們配置了三個DN節點，會出現一個leader和兩個follower。輸入jps，會顯示啟動進程：QuorumPeerMain
在NN節點上（選一台即可，這里我選擇的是一台預NNA節點），然后啟動journalnode服務，命令如下：hadoop-daemons.sh start journalnode。或者單獨進入到每個DN輸入啟動命令：hadoop-daemon.sh start journalnode。輸入jps顯示啟動進程：JournalNode。
之后我們需要格式化ZK，命令如下：hdfs zkfc -formatZK。
接着若是配置后，我們首次啟動，需要格式化HDFS，命令如下：hadoop namenode -format。
接着我們啟動hdfs和yarn，命令如下：start-dfs.sh和start-yarn.sh，我們在nna輸入jps查看進程，顯示如下：DFSZKFailoverController，NameNode，ResourceManager。
接着我們在NNS輸入jps查看，發現只有DFSZKFailoverController進程，這里我們需要手動啟動NNS上的namenode和ResourceManager進程，命令如下：hadoop-daemon.sh start namenode和yarn-daemon.sh start resourcemanager。需要注意的是，在NNS上的yarn-site.xml中，需要配置指向NNS，屬性配置為rm2，在NNA中配置的是rm1。
最后我們需要同步NNA節點的元數據，在NNS節點執行同步命令，命令如下：hdfs namenode -bootstrapStandby，若執行正常，日志最后顯示如下信息：

15/02/21 10:30:59 INFO common.Storage: Storage directory /home/hadoop/data/dfs/name has been successfully formatted. 
15/02/21 10:30:59 WARN common.Util: Path /home/hadoop/data/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration. 
15/02/21 10:30:59 WARN common.Util: Path /home/hadoop/data/dfs/name should be specified as a URI in configuration files. Please update hdfs configuration. 
15/02/21 10:31:00 INFO namenode.TransferFsImage: Opening connection to http://nna:50070/imagetransfer?getimage=1&txid=0&storageInfo=-60:1079068934:0:CID-1dd0c11e-b27e-4651-aad6-73bc7dd820bd 
15/02/21 10:31:01 INFO namenode.TransferFsImage: Image Transfer timeout configured to 60000 milliseconds 
15/02/21 10:31:01 INFO namenode.TransferFsImage: Transfer took 0.01s at 0.00 KB/s 
15/02/21 10:31:01 INFO namenode.TransferFsImage: Downloaded file fsimage.ckpt_0000000000000000000 size 353 bytes. 
15/02/21 10:31:01 INFO util.ExitUtil: Exiting with status 0 
15/02/21 10:31:01 INFO namenode.NameNode: SHUTDOWN_MSG:  /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at nns/10.211.55.13 ************************************************************/

2.14HA的切換

　　由於我配置的是自動切換，若NNA節點宕掉，NNS節點會立即由standby狀態切換為active狀態。若是配置的手動狀態，可以輸入如下命令進行人工切換：

hdfs haadmin -failover --forcefence --forceactive nna  nns

　　這條命令的意思是，將nna變成standby，nns變成active。而且手動狀態下需要重啟服務。

2.15效果截圖

3.總結

　　這篇文章就贅述到這里，若在配置過程中有什么疑問或問題，可以加入QQ群討論或發送郵件給我，我會盡我所能為您解答，與君共勉！

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 高可用Hadoop平台－實戰 Hadoop高可用平台搭建高可用Hadoop平台－啟航高可用Hadoop平台－Hue In Hadoop 高可用Hadoop平台－HBase集群搭建高可用Hadoop平台－集成Hive HAProxy 高可用Hadoop平台－Ganglia安裝部署高可用Hadoop平台－運行MapReduce程序高可用Hadoop平台－應用JAR部署高可用Hadoop平台－Oozie工作流之Hadoop調度