Rabbitmq+Nginx+keepalived高可用熱備

公司兩台文件服務器要做高可用，避免單點故障，故采用keepalived實現，其中一台宕機，依靠另外一台繼續提供服務，並且郵件通知服務狀態。

1.keepalived介紹

　　Keepalived是一個基於VRRP協議來實現的服務高可用方案，可以利用其來避免IP單點故障，類似的工具還有heartbeat、corosync、pacemaker。但是它一般不會單獨出現，而是與其它負載均衡技術（如lvs、haproxy、nginx）一起工作來達到集群的高可用。

keepalived實現原理是以VRRP協議為實現基礎的，VRRP全稱Virtual Router Redundancy Protocol，即虛擬路由冗協議。 虛擬路由冗余協議，可以認為是實現路由器高可用的協議，即將N台提供相同功能的路由器組成一個虛擬路由器組，這個組里面有一個master和多個backup，master上面有一個對外提供服務的vip（該路由器所在局域網內其他機器的默認路由為該vip），master會發組播，組播地址：224.0.0.18,當backup收不到vrrp包時就認為master出問題了，這時就需要根據VRRP的優先級(0-255)從backup中選舉出一個master。這樣的話就可以保證路由器的高可用了。

       keepalived主要有三個模塊，分別是core、checkers和vrrp。core模塊為keepalived的核心，負責主進程的啟動、維護以及全局配置文件的加載和解析。checkers負責健康檢查，包括常見的各種檢查方式(tcp、http、ssl)。vrrp模塊是來實現VRRP協議實現的。

2.vrrp的優勢

　　冗余：可以使用多個路由器設備作為LAN客戶端的默認網關，大大降低了默認網關成為單點故障的可能性；
　　負載共享：允許來自LAN客戶端的流量由多個路由器設備所共享；
　　多VRRP組：在一個路由器物理接口上可配置多達255個VRRP組；
　　多IP地址：基於接口別名在同一個物理接口上配置多個IP地址，從而支持在同一個物理接口上接入多個子網；
　　搶占：在master故障時允許優先級更高的backup成為master；
　　通告協議：使用IANA所指定的組播地址224.0.0.18進行VRRP通告；
　　VRRP追蹤：基於接口狀態來改變其VRRP優先級來確定最佳的VRRP路由器成為master；

3.Keepalived+Nginx 

　　環境：Openstack 虛擬機，這里使用unicast單播實現master/slave之間的心跳信號通訊。

　　node1:192.168.242.133

　　node2:192.168.242.130

　　VIP:192.168.242.50

3.1安裝keepalived:

vim /etc/ansible/hosts
[nginx]
　　　　192.168.242.133
　　　　192.168.242.130

#ansible all -m yun -a "name=keepalived state=present"

3.2配置文件和服務啟動腳本

配置文件：
        /etc/keepalive/keepalive.conf
服務腳本：
        /etc/rc.d/init.d/keepalive

3.2 Nginx和RabbitMQ檢測腳本

　　　該腳本會檢測ngnix的運行狀態，根據其腳本返回狀態碼，判斷服務在線狀態，如果檢測服務失敗則降低其優先級，准備讓其它機器接管VIP。

#!/bin/bash
count=`netstat -ntlp | grep "\<5672\>" | wc -l`
killall -0 nginx &> /dev/null
[ $? -eq 0 ] && [ $count -gt 0 ] && exit 0 || exit 1

3.2 keepalived notify腳本

　　

#!/bin/bash
# Author: DevOps

vip=172.50.0.50
contact='[e-mail]'

notify() {
    mailsubject="`hostname` to be $1: $vip floating"
    mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1"
    echo $mailbody | mail -s "$mailsubject" $contact
}

case "$1" in
    master)
        notify master
        exit 0
    ;;
    backup)
        notify backup
        exit 0
    ;;
    fault)
        notify fault
        exit 0
    ;;
    *)
        echo 'Usage: `basename $0` {master|backup|fault}'
        exit 1
    ;;
esac

 

3.3 keepalived配置文件

　　

! Configuration File for keepalived

global_defs {                         ##全局定義段
   notification_email {               ##通知機制，收件人
     [e-mail]
   }
   notification_email_from [e-mail]     ####發件人
   smtp_server 192.168.x.x                       ##發件服務器
   smtp_connect_timeout 30                       ##服務器連接超時時間
   router_id LVS_DEVEL                           ##路由器標志
}

vrrp_script chk_nginx {                          ##定義檢測腳本名
    script "/etc/keepalived/check_nginx_rabbitmq.sh"         ##檢測腳本執行狀態 
    interval 1                                   ##檢測腳本狀態間隔時間
    weight -2                                     ##權重值，腳本檢測失敗，優先級會減去2。
}
vrrp_instance VI_1 {                             ##VRRP實例，定義一個虛擬路由器  VI_1虛擬路由器名
    state MASTER                                 ##設置改節點為MASTER節點
    interface eth0                               ##通告，選舉網絡接口
    virtual_router_id 51                         ##虛擬路由器ID，雙方必須一致
    priority 100                                 ##優先級  0-255
    #nopreempt                                   ##非搶占模式
    unicast_src_ip 192.168.64.133                ##使用單播發送心跳信號，本地作為單播源IP
    unicast_peer {                               ##單播目的IP，另外一台節點
                  192.168.64.130
                }
    advert_int 1                            ##通告時間間隔
    authentication {                        ##心跳認證方式，明文，SHA，不認證三種
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {                       ##VRRP VIP地址
        192.168.64.50 
    }
    track_script {                            ##探測腳本執行
        chk_nginx 
    }
    notify_master "/etc/keepalived/notify.sh master"    ##定義在狀態進行轉換時的通知腳本。
    notify_backup "/etc/keepalived/notify.sh backup"
    notify_fault "/etc/keepalived/notify.sh fault"
}

　　在其BACKUP上，只需要改變 ：

　　　　state MASTER ：state BACKUP

　　　　priority 100 ： priority 99

　　　　unicast_src_ip 192.168.64.130 　　

　　　　unicast_peer { 192.168.64.133 } 即可。

 

重啟keepalived服務：

　　

ansible nginx -m shell -a "service keepalived restart"