HAproxy + keepalived 實現雙機熱備

一、HAProxy簡介：

HAProxy提供高可用性、負載均衡以及基於TCP和HTTP應用的代理，支持虛擬主機，它是免費、快速並且可靠的一種解決方案。HAProxy特別適用於那些負載特大的web站點，這些站點通常又需要會話保持或七層處理。HAProxy運行在時下的硬件上，完全可以支持數以萬計的並發連接。並且它的運行模式使得它可以很簡單安全的整合進您當前的架構中， 同時可以保護你的web服務器不被暴露到網絡上。

HAProxy實現了一種事件驅動、單一進程模型，此模型支持非常大的並發連接數。多進程或多線程模型受內存限制 、系統調度器限制以及無處不在的鎖限制，很少能處理數千並發連接。事件驅動模型因為在有更好的資源和時間管理的用戶端(User-Space) 實現所有這些任務，所以沒有這些問題。此模型的弊端是，在多核系統上，這些程序通常擴展性較差。這就是為什么他們必須進行優化以 使每個CPU時間片(Cycle)做更多的工作。

————百度百科

Big O: 評判數據結構復雜度
O(1):
O(logN): 紅黑樹
O(n)
O(n^2)
O(2^n)

haproxy: 彈性二叉樹
數據結構：

Remote Desktop Protocol
Windows: 3389

HAProxy是免費、極速且可靠的用於為TCP和基於HTTP應用程序提供高可用、負載均衡和代理服務的解決方案，尤其適用於高負載且需要持久連接或7層處理機制的web站點。

HAProxy目前主要有兩個版本：

1.4——提供較好的彈性：衍生於1.2版本，並提供了額外的新特性，其中大多數是期待已久的。
客戶端側的長連接(client-side keep-alive)
TCP加速(TCP speedups)
響應池(response buffering)
RDP協議
基於源的粘性(source-based stickiness)
更好的統計數據接口(a much better stats interfaces)
更詳細的健康狀態檢測機制(more verbose health checks)
基於流量的健康評估機制(traffic-based health)
支持HTTP認證
服務器管理命令行接口(server management from the CLI)
基於ACL的持久性(ACL-based persistence)
日志分析器

1.3——內容交換和超強負載：衍生於1.2版本，並提供了額外的新特性。
內容交換(content switching)：基於任何請求標准挑選服務器池；
ACL：編寫內容交換規則；
負載均衡算法(load-balancing algorithms)：更多的算法支持；
內容探測(content inspection)：阻止非授權協議；
透明代理(transparent proxy)：在Linux系統上允許使用客戶端IP直接連入服務器；
內核TCP拼接(kernel TCP splicing)：無copy方式在客戶端和服務端之間轉發數據以實現數G級別的數據速率；
分層設計(layered design)：分別實現套接字、TCP、HTTP處理以提供更好的健壯性、更快的處理機制及便捷的演進能力；
快速、公平調度器(fast and fair scheduler)：為某些任務指定優先級可實現理好的QoS；
會話速率限制(session rate limiting)：適用於托管環境；

支持的平台及OS：
x86、x86_64、Alpha、SPARC、MIPS及PARISC平台上的Linux 2.4；
x86、x86_64、ARM (ixp425)及PPC64平台上的Linux2.6；
UltraSPARC 2和3上的Sloaris 8/9；
Opteron和UltraSPARC平台上的Solaris 10；
x86平台上的FreeBSD 4.1-8；
i386, amd64, macppc, alpha, sparc64和VAX平台上的OpenBSD 3.1-current；

若要獲得最高性能，需要在Linux 2.6或打了epoll補丁的Linux 2.4上運行haproxy 1.2.5以上的版本。haproxy 1.1l默認使用的polling系統為select()，其處理的文件數達數千個時性能便會急劇下降。1.2和1.3版本默認的為poll()，在有些操作系統上可會也會有性能方面的問題，但在Solaris上表現相當不錯。HAProxy 1.3在Linux 2.6及打了epoll補丁的Linux 2.4上默認使用epoll，在FreeBSD上使用kqueue，這兩種機制在任何負載上都能提供恆定的性能表現。

在較新版本的Linux 2.6(>=2.6.27.19)上，HAProxy還能夠使用splice()系統調用在接口間無復制地轉發任何數據，這甚至可以達到10Gbps的性能。

基於以上事實，在x86或x86_64平台上，要獲取最好性能的負載均衡器，建議按順序考慮以下方案。
Linux 2.6.32及之后版本上運行HAProxy 1.4；
打了epoll補丁的Linux 2.4上運行HAProxy 1.4；
FreeBSD上運行HAProxy 1.4；
Solaris 10上運行HAProxy 1.4；

性能：

HAProxy借助於OS上幾種常見的技術來實現性能的最大化。
單進程、事件驅動模型顯著降低了上下文切換的開銷及內存占用。
O(1)事件檢查器(event checker)允許其在高並發連接中對任何連接的任何事件實現即時探測。
在任何可用的情況下，單緩沖(single buffering)機制能以不復制任何數據的方式完成讀寫操作，這會節約大量的CPU時鍾周期及內存帶寬；
借助於Linux 2.6 (>= 2.6.27.19)上的splice()系統調用，HAProxy可以實現零復制轉發(Zero-copy forwarding)，在Linux 3.5及以上的OS中還可以實現零復制啟動(zero-starting)；
MRU內存分配器在固定大小的內存池中可實現即時內存分配，這能夠顯著減少創建一個會話的時長；
樹型存儲：側重於使用作者多年前開發的彈性二叉樹，實現了以O(log(N))的低開銷來保持計時器命令、保持運行隊列命令及管理輪詢及最少連接隊列；
優化的HTTP首部分析：優化的首部分析功能避免了在HTTP首部分析過程中重讀任何內存區域；
精心地降低了昂貴的系統調用，大部分工作都在用戶空間完成，如時間讀取、緩沖聚合及文件描述符的啟用和禁用等；

所有的這些細微之處的優化實現了在中等規模負載之上依然有着相當低的CPU負載，甚至於在非常高的負載場景中，5%的用戶空間占用率和95%的系統空間占用率也是非常普遍的現象，這意味着HAProxy進程消耗比系統空間消耗低20倍以上。因此，對OS進行性能調優是非常重要的。即使用戶空間的占用率提高一倍，其CPU占用率也僅為10%，這也解釋了為何7層處理對性能影響有限這一現象。由此，在高端系統上HAProxy的7層性能可輕易超過硬件負載均衡設備。

在生產環境中，在7層處理上使用HAProxy作為昂貴的高端硬件負載均衡設備故障故障時的緊急解決方案也時長可見。硬件負載均衡設備在“報文”級別處理請求，這在支持跨報文請求(request across multiple packets)有着較高的難度，並且它們不緩沖任何數據，因此有着較長的響應時間。對應地，軟件負載均衡設備使用TCP緩沖，可建立極長的請求，且有着較大的響應時間。

可以從三個因素來評估負載均衡器的性能：
會話率
會話並發能力
數據率

 

集合Haproxy,Keepalived雙主雙機高可用模型,不論是Haproxy還是Keepalived甚至是上游服務器均提高生產力並增強可用性,也就是如下架構中Haproxy,Keepalived,Httpd服務器任意宕機一台服務還是可以正常運行的

 

 

組件及實現的功能

• Keepalived：實現對Haproxy服務的高可用，並采用雙主模型配置;

• Haproxy：實現對Nginx的負載均衡和讀寫分離;

• Nginx：實現對HTTP請求的高速處理;

 

架構設計圖

 

部署配置

Keepalived部署

配置

yum -y install keepalived # 兩節點都需部署
# 172.16.25.109
# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   notification_email {
         root@localhost
   }
   notification_email_from [e-mail]
   smtp_connect_timeout 3
   smtp_server 127.0.0.1
   router_id LVS_DEVEL
}
vrrp_script chk_maintaince_down {
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 1
   weight 2
}
vrrp_script chk_haproxy {
    script "killall -0 haproxy"
    interval 1
    weight 2
}
vrrp_instance VI_1 {
    interface eth0
    state MASTER
    priority 100
    virtual_router_id 125
    garp_master_delay 1
    authentication {
        auth_type PASS
        auth_pass 1e3459f77aba4ded
    }
    track_interface {
       eth0
    }
    virtual_ipaddress {
        172.16.25.10/16 dev eth0 label eth0:0
    }
    track_script {
        chk_haproxy
    }
    notify_master "/etc/keepalived/notify.sh master 172.16.25.10"
    notify_backup "/etc/keepalived/notify.sh backup 172.16.25.10"
    notify_fault "/etc/keepalived/notify.sh fault 172.16.25.10"
}
vrrp_instance VI_2 {
    interface eth0
    state BACKUP
    priority 99
    virtual_router_id 126
    garp_master_delay 1
    authentication {
        auth_type PASS
        auth_pass 7615c4b7f518cede
    }
    track_interface {
       eth0
    }
    virtual_ipaddress {
        172.16.25.11/16 dev eth0 label eth0:1
    }
    track_script {
        chk_haproxy
chk_maintaince_down
    }
    notify_master "/etc/keepalived/notify.sh master 172.16.25.11"
    notify_backup "/etc/keepalived/notify.sh backup 172.16.25.11"
    notify_fault "/etc/keepalived/notify.sh fault 172.16.25.11"
}
# 172.16.25.110
# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
   notification_email {
         root@localhost
   }
   notification_email_from [e-mail]
   smtp_connect_timeout 3
   smtp_server 127.0.0.1
   router_id LVS_DEVEL
}
vrrp_script chk_maintaince_down {
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 1
   weight 2
}
vrrp_script chk_haproxy {
    script "killall -0 haproxy"
    interval 1
    weight 2
}
vrrp_instance VI_1 {
    interface eth0
    state BACKUP
    priority 99
    virtual_router_id 125
    garp_master_delay 1
    authentication {
        auth_type PASS
        auth_pass 1e3459f77aba4ded
    }
    track_interface {
       eth0
    }
    virtual_ipaddress {
        172.16.25.10/16 dev eth0 label eth0:0
    }
    track_script {
        chk_haproxy
chk_maintaince_down
    }
    notify_master "/etc/keepalived/notify.sh master 172.16.25.10"
    notify_backup "/etc/keepalived/notify.sh backup 172.16.25.10"
    notify_fault "/etc/keepalived/notify.sh fault 172.16.25.10"
}
vrrp_instance VI_2 {
    interface eth0
    state MASTER
    priority 100
    virtual_router_id 126
    garp_master_delay 1
    authentication {
        auth_type PASS
        auth_pass 7615c4b7f518cede
    }
    track_interface {
       eth0
    }
    virtual_ipaddress {
        172.16.25.11/16 dev eth0 label eth0:1
    }
    track_script {
        chk_haproxy
    }
    notify_master "/etc/keepalived/notify.sh master 172.16.25.11"
    notify_backup "/etc/keepalived/notify.sh backup 172.16.25.11"
    notify_fault "/etc/keepalived/notify.sh fault 172.16.25.11"
}
# vi /etc/keepalived/notify.sh
#!/bin/bash
# Author: Jason.Yu <[e-mail]>
# description: An example of notify script
#
contact='root@localhost'
notify() {
    mailsubject="`hostname` to be $1: $2 floating"
    mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1"
    echo $mailbody | mail -s "$mailsubject" $contact
}
case "$1" in
    master)
        notify master $2
        /etc/rc.d/init.d/haproxy start
        exit 0
    ;;
    backup)
        notify backup $2
        /etc/rc.d/init.d/haproxy stop
        exit 0
    ;;
    fault)
        notify fault $2
        /etc/rc.d/init.d/haproxy stop
        exit 0
    ;;
    *)
        echo 'Usage: `basename $0` {master|backup|fault}'
        exit 1
    ;;
esac

vrrp_script chk_haproxy {
    script "/etc/keepalived/chk_haproxy.sh"  # 檢查腳本
    interval 2
    weight 2

# 剛才兩個節點 均要有 的監測腳本文件 , 防止 haproxy 停止而 keepalived 不切換的情況
# vim /etc/keepalived/chk_haproxy.sh
#
#
#!/bin/bash
#
if ! `pidof haproxy &> /dev/null`; then
    /etc/rc.d/init.d/haproxy  start
fi
sleep 2
if ! `pidof haproxy &> /dev/null`; then
    /etc/rc.d/init.d/keepalived stop
fi

 

啟動服務

service keepalived start # 在兩個節點上都需要啟動

Haproxy部署

安裝配置

yum -y install haproxy # 兩節點都需部署
vi /etc/haproxy/haproxy.cfg # 兩節點配置一致
global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user         haproxy
    group       haproxy
    daemon # 以后台程序運行；
defaults
    mode                   http # 選擇HTTP模式，即可進行7層過濾；
    log                     global
    option                  httplog # 可以得到更加豐富的日志輸出；
    option                  dontlognull
    option http-server-close # server端可關閉HTTP連接的功能；
    option forwardfor except 127.0.0.0/8 # 傳遞client端的IP地址給server端，並寫入“X-Forward_for”首部中；
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 30000
listen stats
    modehttp
    bind0.0.0.0:1080 # 統計頁面綁定1080端口；
    stats enable # 開啟統計頁面功能；
    stats hide-version # 隱藏Haproxy版本號；
    stats uri     /haproxyadmin?stats # 自定義統計頁面的訪問uri；
    stats realm   Haproxy\ Statistics # 統計頁面密碼驗證時的提示信息；
    stats auth    admin:admin # 為統計頁面開啟登錄驗證功能；
    stats admin if TRUE # 若登錄用戶驗證通過，則賦予管理功能；
frontend http-in
    bind*:80
    mode http
    log global
    option httpclose
    option logasap
    option dontlognull
    capture request  header Host len 20
    capture request  header Referer len 60
    acl url_static       path_beg       -i /static /images /javascript /stylesheets
    acl url_static       path_end       -i .jpg .jpeg .gif .png .css .js .html
    use_backend static_servers if url_static # 符合ACL規則的，請求轉入后端靜態服務器
    default_backend dynamic_servers # 默認請求轉入后端動態服務器
backend static_servers
    balance roundrobin
    server imgsrv1 192.168.0.25:80 check maxconn 6000 # 靜態服務器，可配置多台，還可設置權重weight；
backend dynamic_servers
    balance source
    server websrv1 192.168.0.35:80 check maxconn 1000 # 動態服務器，可配置多台，還可設置權重weight；

keepalived雙主模型啟動

Nginx部署

見博客    http://www.cnblogs.com/xiaocen/p/3704192.html

訪問驗證

Haproxy統計頁面測試

動靜分離測試