nginx實現請求的負載均衡 + keepalived實現nginx的高可用

前言

　　使用集群是網站解決高並發、海量數據問題的常用手段。當一台服務器的處理能力、存儲空間不足時，不要企圖去換更強大的服務器，對大型網站而言，不管多么強大的服務器，都滿足不了網站持續增長的業務需求。這種情況下，更恰當的做法是增加一台服務器分擔原有服務器的訪問及存儲壓力。通過負載均衡調度服務器，將來自瀏覽器的訪問請求分發到應用服務器集群中的任何一台服務器上，如果有更多的用戶，就在集群中加入更多的應用服務器，使應用服務器的負載壓力不再成為整個網站的瓶頸。

摘自《大型網站技術架構_核心原理與案例分析》

　　另外，大家可以看我的這兩篇博客：LVS + keepalived + nginx + tomcat 實現主從熱備 + 負載均衡 和 主從熱備+負載均衡（LVS + keepalived），對比下這三篇博客，其中區別及各自的優缺點需要大家好好體會。

環境准備

　　192.168.0.221：nginx + keepalived   master

　　192.168.0.222：nginx + keepalived   backup

　　192.168.0.223：tomcat

　　192.168.0.224：tomcat

　　虛擬ip(VIP):192.168.0.200，對外提供服務的ip，也可稱作浮動ip

　　各個組件之間的關系圖如下：

tomcat做應用服務器

　　tomcat的安裝不在本博客范圍之內，具體可參考virtualBox安裝centos，並搭建tomcat，tomcat的webapps下記得放自己的應用，我的是myWeb，如果大家也用我的myWeb，那么index.jsp中的ip需要換成自己的

　　將192.168.0.223、192.168.0.224上的tomcat啟動起來，tomcat的路徑可能和我的不一致，需要寫成自己的

　　# cd /usr/local/tomcat7/bin

　　# ./startup.sh

　　訪問myWeb如下

　　

nginx做負載均衡

　　nginx的安裝，本文就不講述了，具體可參考LVS + keepalived + nginx + tomcat 實現主從熱備 + 負載均衡

　　nginx.conf內容如下

user  root;            #運行用戶
worker_processes  1;        #啟動進程,通常設置成和cpu的數量相等

#全局錯誤日志及PID文件
error_log  /usr/local/nginx/logs/error.log;
error_log  /usr/local/nginx/logs/error.log  notice;
error_log  /usr/local/nginx/logs/error.log  info;
pid        /usr/local/nginx/logs/nginx.pid;

# 工作模式及連接數上線
events 
{
    use epoll;            #epoll是多路復用IO(I/O Multiplexing)中的一種方式,但是僅用於linux2.6以上內核,可以大大提高nginx的性能

    worker_connections  1024;    #單個后台worker process進程的最大並發鏈接數
}

#設定http服務器,利用它的反向代理功能提供負載均衡支持
http 
{
    include       mime.types;
    default_type  application/octet-stream;

    #設定請求緩沖
    server_names_hash_bucket_size  128;
    client_header_buffer_size   32K;
    large_client_header_buffers  4 32k;
    # client_max_body_size   8m;
    
    #sendfile 指令指定 nginx 是否調用 sendfile 函數（zero copy 方式）來輸出文件，對於普通應用，
    #必須設為 on,如果用來進行下載等應用磁盤IO重負載應用，可設置為 off，以平衡磁盤與網絡I/O處理速度，降低系統的uptime.
    sendfile        on;
    tcp_nopush     on;
    tcp_nodelay    on;

    #連接超時時間
    keepalive_timeout  65;

    #開啟gzip壓縮，降低傳輸流量
    gzip  on;
    gzip_min_length    1k;
    gzip_buffers    4 16k;
    gzip_http_version  1.1;
    gzip_comp_level  2;
    gzip_types  text/plain application/x-javascript text/css  application/xml;
    gzip_vary on;

    #添加tomcat列表，真實應用服務器都放在這
    upstream tomcat_pool 
    {
       #server tomcat地址:端口號 weight表示權值，權值越大，被分配的幾率越大;
　　　　server 192.168.0.223:8080 weight=4 max_fails=2 fail_timeout=30s;
    　 server 192.168.0.224:8080 weight=4 max_fails=2 fail_timeout=30s;
    }

    server 
    {
        listen       80;        #監聽端口    
        server_name  localhost;
    
    #默認請求設置
    location / {
        proxy_pass http://tomcat_pool;    #轉向tomcat處理
    }
    
    #所有的jsp頁面均由tomcat處理
    location ~ \.(jsp|jspx|dp)?$
    {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_pass http://tomcat_pool;    #轉向tomcat處理
    }
    
    #所有的靜態文件直接讀取不經過tomcat,nginx自己處理
    location ~ .*\.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$ 
    { 
        expires  30d;
    }
    location ~ .*\.(js|css)?$
    {
       expires  1h;
    }

    #定義錯誤提示頁面
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

    }
}

　　主從nginx的配置文件完全一樣，nginx.conf配置可復雜可簡單，大家根據自己的情況自行配置，照搬上述配置也是可以的。

　　配置好后，啟動nginx，路徑要寫自己的

　　# cd /usr/local/nginx/sbin

　　# ./nginx

　　訪問nginx，效果如下：

　　兩台nginx服務器服務正常，此時是沒有主從之分的，兩者級別一樣高，當配置keepalived之后就有了主從之分了。

keepalived實現nginx高可用(HA)

　　keepalived的安裝本文就不講述了，具體可參考主從熱備+負載均衡（LVS + keepalived）

　　keepalived作用其實在第一張圖中已經有所體現，主要起到兩個作用：實現VIP到本地ip的映射； 以及檢測nginx狀態。

　　master上的keepalived.conf內容如下：

global_defs {
    notification_email {
        [e-mail]
    }
    notification_email_from [e-mail]
    smtp_server smtp.hysec.com
    smtp_connection_timeout 30
    router_id nginx_master        # 設置nginx master的id，在一個網絡應該是唯一的
}
vrrp_script chk_http_port {
    script "/usr/local/src/check_nginx_pid.sh"    #最后手動執行下此腳本，以確保此腳本能夠正常執行
    interval 2                          #（檢測腳本執行的間隔，單位是秒）
    weight 2
}
vrrp_instance VI_1 {
    state MASTER            # 指定keepalived的角色，MASTER為主，BACKUP為備
    interface eth0            # 當前進行vrrp通訊的網絡接口卡(當前centos的網卡)
    virtual_router_id 66        # 虛擬路由編號，主從要一直
    priority 100            # 優先級，數值越大，獲取處理請求的優先級越高
    advert_int 1            # 檢查間隔，默認為1s(vrrp組播周期秒數)
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
    chk_http_port            #（調用檢測腳本）
    }
    virtual_ipaddress {
        192.168.0.200            # 定義虛擬ip(VIP)，可多設，每行一個
    }
}

　　backup上的keepalived.conf內容如下：

global_defs {
    notification_email {
        [e-mail]
    }
    notification_email_from [e-mail]
    smtp_server smtp.hysec.com
    smtp_connection_timeout 30
    router_id nginx_backup              # 設置nginx backup的id，在一個網絡應該是唯一的
}
vrrp_script chk_http_port {
    script "/usr/local/src/check_nginx_pid.sh"
    interval 2                          #（檢測腳本執行的間隔）
    weight 2
}
vrrp_instance VI_1 {
    state BACKUP                        # 指定keepalived的角色，MASTER為主，BACKUP為備
    interface eth0                      # 當前進行vrrp通訊的網絡接口卡(當前centos的網卡)
    virtual_router_id 66                # 虛擬路由編號，主從要一直
    priority 99                         # 優先級，數值越大，獲取處理請求的優先級越高
    advert_int 1                        # 檢查間隔，默認為1s(vrrp組播周期秒數)
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    track_script {
        chk_http_port                   #（調用檢測腳本）
    }
    virtual_ipaddress {
        192.168.0.200                   # 定義虛擬ip(VIP)，可多設，每行一個
    }
}

　　nginx檢測腳本check_nginx_pid.sh內容如下：

#!/bin/bash
A=`ps -C nginx --no-header |wc -l`        
if [ $A -eq 0 ];then                            
    /usr/local/nginx/sbin/nginx                #重啟nginx
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then    #nginx重啟失敗
        exit 1
    else
        exit 0
    fi
else
    exit 0
fi

　　啟動keepalived

　　# service keepalived start

　　訪問VIP，效果如下：

　　我們來看下keepalived的日志信息

　　　　master（192.168.0.221）：

　　　　

　　　　backup（192.168.0.222）：

　　　　

　　　　當我們把master上的keepalived停掉（模擬宕機），再來看下keepalived日志

　　　　原master（192.168.0.221）：

　　　　

　　　　原backup（192.168.0.222）：

　　　　

　　　　通過VIP可以正常訪問服務，前端請求感受不到后端nginx的切換；重新喚醒原master（192.168.0.221）的測試這里就不進行了，大家自行測試

注意點

　　1、執行腳本時報錯：/bin/sh^M: bad interpreter: 沒有那個文件或目錄 

　　　　因為操作系統是windows，我在windows下編輯的腳本，所以有可能有不可見字符。腳本文件是DOS格式的, 即每一行的行尾以回車符和換行符來標識, 其ASCII碼分別是0x0D, 0x0A。可以有很多種辦法看這個文件是DOS格式的還是UNIX格式的, 還是MAC格式的

　　　　解決方法：

　　　　　　vim filename

　　　　　　:set ff? #可以看到dos或unix的字樣. 如果的確是dos格式的。

　　　　　　:set ff=unix #把它強制為unix格式的, 然后存盤退出。

　　　　　　再次運行腳本。

　　　　從windows編輯文件再拷貝到linux時要特別注意，另外，腳本需要賦予可執行權限才能執行，可執行文件的一種直觀表現就是文件本身呈綠色。

　　2、負載均衡最好進行多瀏覽器測試，有些瀏覽器會緩存，會產生沒有負載均衡的效果，例如我這次測試中谷歌瀏覽器就出現了類似的情況(還沒搞清楚是否是緩存的原因)，火狐，360、IE瀏覽器都是正常的負載均衡效果。

　　3、請求走向

　　　　訪問虛擬IP(VIP)，keepalived將請求映射到本地nginx，nginx將請求轉發至tomcat，例如：http://192.168.0.200/myWeb/，被映射成http://192.168.0.221/myWeb/，端口是80，而221上nginx的端口正好是80；映射到nginx上后，nginx再進行請求的轉發。

　　　　keepalived服務器的ip情況

　　　　

　　　　VIP總會在keepalived服務器中的某一台上，也只會在其中的某一台上；VIP綁定的服務器上的nginx就是master，當VIP所在的服務器宕機了，keepalived會將VIP轉移到backup上，並將backup提升為master。

　　4、VIP也稱浮動ip，是公網ip，與域名進行映射，對外提供服務； 其他ip一般而言都是內網ip， 外部是直接訪問不了的

參考

　  《大型網站技術架構_核心原理與案例分析》

　　keepalived+nginx雙機熱備+負載均衡

　　浮動IP（FLOAT IP）