mysql和haproxy高可用

這片文章主要介紹mysql+haproxy+keepalived的高可用使用。

有兩種模式：

第一種：數據庫宕機觸發VIP漂移的高可用使用。

第二種：haproxy宕機出發VIP漂移的高可用。

這兩種模式的底層數據庫均為雙主模式或者MGR的多主模式，mariadb的galera模式，percona的pxc模式；也就是底層的數據庫每一個都可寫。

在雙主的模式下，如果添加了haproxy這一層，那么就可以實現了數據庫讀寫的負載均衡，VIP隨着haproxy的狀態而漂移，即上面提到的第一種情況。

如果沒有加入haproxy這一層，那么就只實現了雙主模式數據庫的高可用，即一個數據庫宕機，則VIP漂移，VIP隨着數據庫的狀態而漂移，即上面提到的第二種情況。

下面分別來說明這兩種情況的使用。

雙主模式的數據庫： 10.9.8.201和10.9.8.223

VIP地址： 10.9.8.120

【因服務器資源限制，因此只使用此兩台服務器】

數據庫宕機觸發VIP漂移

已經配置好的雙主模式數據庫。然后在兩個服務器上分別下載keepalive軟件，直接yum安裝即可。

keepalived的配置文件有很長，原因是里面有lvs的配置，這里只需要部分配置即可，如下：

[root@test1 keepalived]# vim /etc/keepalived/keepalived.conf 

! Configuration File for keepalived

global_defs {
   router_id LVS_DB2
}

vrrp_script check_haproxy {
    script "/etc/keepalived/check_mysql.sh"
    interval 3
    weight -5
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.9.8.120 dev ens33
    }

    track_script {
        check_haproxy
    }
}

檢測腳本內容如下：腳本內容很簡單，就是檢查mysql進程是否存在，若是不存在，則停止當前的keepalive，讓其VIP進行漂移。【要給檢測腳本加上可執行的權限】

#!/bin/bash
if [ $(ps -C mysqld --no-header | wc -l) -eq 0 ]; then
    service keepalived stop
fi

上面就是master的配置，做為backup的keepalived的配置和上面基本一樣，只需要更改router_id，state，priority三個值即可。

state值的說明，主和備keepalived的state的值均可以設置為BACKUP，這樣的話，先啟動的服務器即為主，當發生VIP漂移后，原來的主啟動后VIP不會再發生漂移，可以減少網絡抖動的影響。

測試：

[root@test1 keepalived]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:01:9c:98 brd ff:ff:ff:ff:ff:ff
    inet 10.9.8.201/22 brd 10.9.11.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 10.9.8.120/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::744a:3948:cdf2:1976/64 scope link 
       valid_lft forever preferred_lft forever
[root@test1 keepalived]# ps uax |grep mysql
root      60710  0.0  0.0  11764  1632 pts/0    S    15:21   0:00 /bin/sh /usr/local/mysql/bin/mysqld_safe --datadir=/data/mysql/data --pid-file=/data/mysql/data/test1.pid
mysql     62092  0.0 16.5 2190032 309408 pts/0  Sl   15:21   0:01 /usr/local/mysql/bin/mysqld --basedir=/usr/local/mysql --datadir=/data/mysql/data --plugin-dir=/usr/local/mysql/lib/plugin --user=mysql --log-error=/data/mysql/log/error.log --open-files-limit=65535 --pid-file=/data/mysql/data/test1.pid --socket=/data/mysql/run/mysql.sock --port=3306
root      63704  0.0  0.0 112648   960 pts/0    R+   16:00   0:00 grep --color=auto mysql
[root@test1 keepalived]# 

主上面的VIP存在以及mysql服務存在。停掉主上面的mysql服務，查看VIP是否漂移。【主上的VIP已經不存在】

[root@test1 keepalived]# service mysqld stop
Shutting down MySQL........... SUCCESS! 
[root@test1 keepalived]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:01:9c:98 brd ff:ff:ff:ff:ff:ff
    inet 10.9.8.201/22 brd 10.9.11.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::744a:3948:cdf2:1976/64 scope link 
       valid_lft forever preferred_lft forever
[root@test1 keepalived]# ps aux |grep mysql
root      63933  0.0  0.0 112648   956 pts/0    R+   16:01   0:00 grep --color=auto mysql
[root@test1 keepalived]# 

在back上面查看VIP是否存在： 【可以看到VIP已經漂移到BACKUP上面】

[root@monitor keepalived]# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000
    link/ether 00:0c:29:7c:ae:10 brd ff:ff:ff:ff:ff:ff
    inet 10.9.8.223/22 brd 10.9.11.255 scope global ens33
       valid_lft forever preferred_lft forever
    inet 10.9.8.120/32 scope global ens33
       valid_lft forever preferred_lft forever
    inet6 fe80::d4e4:4f75:1be6:2134/64 scope link 
       valid_lft forever preferred_lft forever
3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN 
    link/ether 02:42:25:78:a0:39 brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
[root@monitor keepalived]# 

上面的實例中VIP隨着數據庫的狀態而漂移。

HAPROXY狀態觸發VIP漂移

在這個架構下，其實就是在上面mysql+keepalived的架構中插入一層，使用haproxy做負載均衡。

在兩台機器上分別安裝haproxy，直接yum安裝即可，haproxy的配置很簡單，就是做一個負載均衡。

配置很簡單，haproxy的兩個服務器都是用同樣的配置。【需要說明，因為后面訪問的是mysql，因此需要使用四層負載均衡，mode需要選擇tcp】

#---------------------------------------------------------------------
# Example configuration for a possible web application.  See the
# full configuration options online.
#
#   http://haproxy.1wt.eu/download/1.4/doc/configuration.txt
#
#---------------------------------------------------------------------

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    # to have these messages end up in /var/log/haproxy.log you will
    # need to:
    #
    # 1) configure syslog to accept network log events.  This is done
    #    by adding the '-r' option to the SYSLOGD_OPTIONS in
    #    /etc/sysconfig/syslog
    #
    # 2) configure local2 events to go to the /var/log/haproxy.log
    #   file. A line like the following can be added to
    #   /etc/sysconfig/syslog
    #
    #    local2.*                       /var/log/haproxy.log
    #
    log         127.0.0.1 local2

    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon

    # turn on stats unix socket
    stats socket /var/lib/haproxy/stats

#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------
defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option http-server-close
    option forwardfor       except 127.0.0.0/8
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

#---------------------------------------------------------------------
# main frontend which proxys to the backends
#---------------------------------------------------------------------
frontend mysql
    mode tcp
    bind *:6039
    default_backend back_mysql
#---------------------------------------------------------------------
# static backend for serving up images, stylesheets and such
#---------------------------------------------------------------------
backend back_mysql
    mode tcp
    balance     roundrobin
    server  db1 10.9.8.201:3306 check
    server  db2 10.9.8.223:3306 check 

然后修改keepalived的檢測腳本，上面的模式檢查的是mysql的狀態，這一次檢查的是haproxy的狀態。

! Configuration File for keepalived

global_defs {
   router_id LVS_DB2
}

vrrp_script check_haproxy {
    script "/etc/keepalived/check_haproxy_status.sh"
    interval 3
    weight -5
}

vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 51
    priority 9
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.9.8.120 dev ens33
    }
    
    track_script {
        check_haproxy
    }
}

腳本內容如下：

#!/bin/bash
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ];then
    sudo service keepalived stop
fi

修改完之后重啟keepalive即可。

加入了haproxy需要說明的是，在連接數據庫的時候需要使用VIP+haproxy_PORT，上面我們配置haproxy監聽了6039端口，那么連接的時候就是用VIP+6039端口。