用NginX+keepalived實現高可用的負載均衡

1 規划和准備

需要統一接入的應用系統


應用系統	域名/虛擬目錄	應用服務器及URL
svn	dev.mycompany.com/svn	http://50.1.1.21/svn
svn web管理	dev.mycompany.com/submin	http://50.1.1.21/submin
網站	www.mycompany.com	http://50.1.1.10; http://50.1.1.11; http://50.1.1.12
OA	oa.mycompany.com	http://50.1.1.13:8080; http://50.1.1.14:8080

接入服務器


用途	IP
MASTER	50.1.1.3
BACKUP	50.1.1.4

操作系統： RHEL5.6x64，配置了yum 私服

兩台接入服務器公用一個虛擬IP（VIP）：50.1.1.2

2 安裝

兩台接入服務器分別安裝NginX和keepalived:

准備依賴包：

yum -y install gcc pcre-devel zlib-devel openssl-devel

下載

wget http://nginx.org/download/nginx-1.2.4.tar.gz 
wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gz

安裝NginX

tar zxvf nginx-1.2.4.tar.gz

cd nginx-1.2.4

./configure --with-http_stub_status_module

make && make install

安裝keepalived

tar zxvf keepalived-1.2.7.tar.gz
cd keepalived-1.2.7
./configure
make 
make install

cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
mkdir /etc/keepalived
cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
cp /usr/local/sbin/keepalived /usr/sbin/

加入啟動服務

echo "/usr/local/nginx/sbin/nginx" >> /etc/rc.local

echo "/etc/init.d/keepalived start" >> /etc/rc.local

3 配置

3.1 配置NginX

兩台接入服務器的NginX的配置完全一樣,主要是配置/usr/local/nginx/conf/nginx.conf的http。其中多域名指向是通過虛擬主機（配置http下面的server）實現；同一域名的不同虛擬目錄通過每個server下面的不同location實現；到后端的服務器在http下面配置upstream,然后在server或location中通過proxy_{pass引用。要實現前面規划的接入方式，http的配置如下：}

http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;

    upstream dev.hysec.com {
        server 50.1.1.21:80;
    }


    upstream www.hysec.com {
      ip_hash;
      server 50.1.1.10:80;
      server 50.1.1.11:80;
      server 50.1.1.12:80;
    }

    upstream oa.hysec.com {
      ip_hash;
      server 50.1.1.13:8080;
      server 50.1.1.14:8080;
      

    server {
        listen      80;
        server_name dev.hysec.com;
        location /svn {
            proxy_pass http://dev.hysec.com;
        }

        location /submin {
            proxy_pass http://dev.hysec.com;
        }
    }

    server {
        listen       80;
        server_name  www.hysec.com;
        location / {
            proxy_pass http://www.hysec.com;
        }
    server {
        listen       80;
        server_name  oa.hysec.com;
        location / {
            proxy_pass http://oa.hysec.com;
        }
}

驗證方法：

首先用IP訪問前表中各個應用服務器的url
再用域名和路徑訪問前表中各個應用系統的域名/虛擬路徑

3.2 配置keepalived

按照上面的安裝方法，keepalived的配置文件在/etc/keepalived/keepalived.conf。主、從服務器的配置相關聯但有所不同。如下：

Master:

! Configuration File for keepalived

global_defs {
notification_email {
        wanghaikuo@hysec.com
        wanghaikuo@gmail.com
   }

   notification_email_from wanghaikuo@hysec.com
   smtp_server smtp.hysec.com
   smtp_connect_timeout 30
   router_id nginx_master

}

vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 51
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        50.1.1.2
    }
}

Backup:

! Configuration File for keepalived

global_defs {
notification_email {
        wanghaikuo@hysec.com
        wanghaikuo@gmail.com
   }

   notification_email_from wanghaikuo@hysec.com
   smtp_server smtp.hysec.com
   smtp_connect_timeout 30
   router_id nginx_backup

}

vrrp_instance VI_1 {
    state BACKUP
    interface eth0
    virtual_router_id 51
    priority 99
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        50.1.1.2
    }
}

驗證：

先后在主、從服務器上啟動keepalived: /etc/init.d/keepalived start
在主服務器上查看是否已經綁定了虛擬IP： ip addr
停止主服務器上的keepalived: /etc/init.d/keepalived stop 然后在從服務器上查看是否已經綁定了虛擬IP：
啟動主服務器上的keepalived，看看主服務器能否重新接管虛擬IP

3.3 讓keepalived監控NginX的狀態

經過前面的配置，如果主服務器的keepalived停止服務，從服務器會自動接管VIP對外服務；一旦主服務器的keepalived恢復，會重新接管VIP。但這並不是我們需要的，我們需要的是當NginX停止服務的時候能夠自動切換。

keepalived支持配置監控腳本，我們可以通過腳本監控NginX的狀態，如果狀態不正常則進行一系列的操作，最終仍不能恢復NginX則殺掉keepalived，使得從服務器能夠接管服務。

如何監控NginX的狀態

最簡單的做法是監控NginX進程，更靠譜的做法是檢查NginX端口，最靠譜的做法是檢查多個url能否獲取到頁面。

如何嘗試恢復服務

如果發現NginX不正常，重啟之。等待3秒再次校驗，仍然失敗則不再嘗試。

根據上述策略很容易寫出監控腳本。這里使用nmap檢查nginx端口來判斷nginx的狀態，記得要首先安裝nmap。監控腳本如下:

#!/bin/sh
# check nginx server status
NGINX=/usr/local/nginx/sbin/nginx
PORT=80

nmap localhost -p $PORT | grep "$PORT/tcp open"
#echo $?
if [ $? -ne 0 ];then
    $NGINX -s stop
    $NGINX
    sleep 3
    nmap localhost -p $PORT | grep "$PORT/tcp open"
    [ $? -ne 0 ] && /etc/init.d/keepalived stop
fi

不要忘了設置腳本的執行權限，否則不起作用。

假設上述腳本放在/opt/chk_nginx.sh，則keepalived.conf中增加如下配置：

vrrp_script chk_http_port {
    script "/opt/chk_nginx.sh"
    interval 2
    weight 2
}

track_script {
    chk_http_port
}

更進一步，為了避免啟動keepalived之前沒有啟動nginx , 可以在/etc/init.d/keepalived的start中首先啟動nginx:

start() {
    /usr/local/nginx/sbin/nginx
    sleep 3
    echo -n $"Starting $prog: "
    daemon keepalived ${KEEPALIVED_OPTIONS}
    RETVAL=$?
    echo
    [ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
}

4 還可以做什么

對於簡單重復性勞動，人總是容易犯錯，這種事情最好交給機器去做。比如，在這個案例中，作為統一接入服務器，可能經常要修改nginx的配置、nginx下面的html文件等。而且，一定要保證集群中的每台服務器的配置相同。最好的做法是由配置管理服務器來管理，如果沒有，也可以使用簡單的linux文件同步來解決。