1.1 Haproxy+keepalived高可用集群實戰
隨着互聯網火熱的發展，開源負載均衡器的大量的應用，企業主流軟件負載均衡如LVS、Haproxy、Nginx等，各方面性能不亞於硬件負載均衡F5，Haproxy提供高可用性、負載均衡以及基於TCP和HTTP應用的代理，支持虛擬主機，它是免費、快速並且可靠的一種解決方案。
1.1.1 Haproxy入門簡介
HAProxy特別適用於那些負載特大的web站點，這些站點通常又需要會話保持或七層處理。負載均衡LVS是基於四層，新型的大型互聯網公司也在采用Haproxy，了解了Haproxy大並發、七層應用等，Haproxy高性能負載均衡優點：
q HAProxy是支持虛擬主機的，可以工作在4、7層；
q 能夠補充Nginx的一些缺點比如Session的保持，Cookie的引導等工作；
q 支持url檢測后端的服務器；
q 它跟LVS一樣，只是一款負載均衡軟件，單純從效率上來講HAProxy更會比Nginx有更出色的負載均衡速度，在並發處理上也是優於Nginx的；
q HAProxy可以對Mysql讀進行負載均衡，對后端的MySQL節點進行檢測和負載均衡，HAProxy的支持多種算法。
Haproxy+Keepalived企業高性能WEB能夠支持千萬級並發網站，實現Haproxy高性能WEB網站架構配置步驟如下：
1.1.2 Haproxy安裝配置
Haproxy安裝配置步驟相對比較簡單，跟其他源碼軟件安裝方法大致相同，如下為Haproxy配置方法及步驟：
（1） Haproxy編譯及安裝
| cd /usr/src wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.21.tar.gz tar xzf haproxy-1.4.21.tar.gz cd haproxy-1.4.21 make TARGET=linux26 PREFIX=/usr/local/haproxy/ make install PREFIX=/usr/local/haproxy |
（2） 配置Haproxy服務
| cd /usr/local/haproxy ;mkdir -p etc/ touch /usr/local/haproxy/etc/haproxy.cfg |
（3） Haproxy.cfg配置文件內容如下：
| global log 127.0.0.1 local0 log 127.0.0.1 local1 notice maxconn 4096 uid 99 gid 99 daemon defaults log global mode http option httplog option dontlognull retries 3 option redispatch maxconn 2000 contimeout 5000 clitimeout 50000 srvtimeout 50000 frontend http-in bind *:80 acl is_www.jf1.com hdr_end(host) -i jf1.com acl is_www.jf2.com hdr_end(host) -i jf2.com use_backend www.jf1.com if is_www.jf1.com use_backend www.jf2.com if is_www.jf2.com default_backend www.jf1.com backend www.jf1.com balance roundrobin cookie SERVERID insert nocache indirect option httpchk HEAD /index.html HTTP/1.0 option httpclose option forwardfor server jf1 192.168.33.11:80 cookie jf1 check inter 1500 rise 3 fall 3 weight 1 backend www.jf2.com balance roundrobin cookie SERVERID insert nocache indirect option httpchk HEAD /index.html HTTP/1.0 option httpclose option forwardfor server jf2 192.168.33.11:81 cookie jf2 check inter 1500 rise 3 fall 3 weight 1 |
（4） 啟動Haproxy服務
| /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/etc/haproxy.cfg |
啟動Haproxy報錯如下：
| [WARNING] 217/202150 (2857) : Proxy 'chinaapp.sinaapp.com': in multi-process mode, stats will be limited to process assigned to the current request. |
修改源碼配置src/cfgparse.c找到如下行，調整nbproc > 1數值即可：
| if (nbproc > 1) { if (curproxy->uri_auth) { - Warning("Proxy '%s': in multi-process mode, stats will be limited to process assigned to the current request.\n", + Warning("Proxy '%s': in multi-process mode, stats will be limited to the process assigned to the current request.\n", |
1.1.3 Haproxy配置文件詳解
Hproxy配置文件內容詳解如下：
| ######全局配置信息####### global maxconn 20480 #默認最大連接數 log 127.0.0.1 local3 #[err warning info debug] chroot /usr/local/haproxy #chroot運行的路徑 uid 99 #所屬運行的用戶uid gid 99 #所屬運行的用戶組 daemon #以后台形式運行haproxy nbproc 8 #進程數量(可以設置多個進程提高性能) pidfile /usr/local/haproxy/haproxy.pid #haproxy的pid存放路徑,啟動進程的用戶必須有權限訪問此文件 ulimit-n 65535 #ulimit的數量限制 ###########默認的全局設置########## ##這些參數可以被利用配置到frontend，backend，listen組件## defaults log global mode http #所處理的類別 (#7層 http;4層tcp ) maxconn 20480 #最大連接數 option httplog #日志類別http日志格式 option httpclose #每次請求完畢后主動關閉http通道 option dontlognull #不記錄健康檢查的日志信息 option forwardfor #如果后端服務器需要獲得客戶端真實ip需要配置的參數，可以從Http Header中獲得客戶端ip option redispatch #serverId對應的服務器掛掉后,強制定向到其他健康的服務器 option abortonclose #當服務器負載很高的時候，自動結束掉當前隊列處理比較久的連接 stats refresh 30 #統計頁面刷新間隔 retries 3 #3次連接失敗就認為服務不可用，也可以通過后面設置 balance roundrobin #默認的負載均衡的方式,輪詢方式 #balance source #默認的負載均衡的方式,類似nginx的ip_hash #balance leastconn #默認的負載均衡的方式,最小連接 contimeout 5000 #連接超時 clitimeout 50000 #客戶端超時 srvtimeout 50000 #服務器超時 timeout check 2000 #心跳檢測超時 ##############監控頁面的設置########### listen admin_status #Frontend和Backend的組合體,監控組的名稱，按需自定義名稱 bind 0.0.0.0:65532 #監聽端口 mode http #http的7層模式 log 127.0.0.1 local3 err #錯誤日志記錄 stats refresh 5s #每隔5秒自動刷新監控頁面 stats uri /admin?stats #監控頁面的url stats realm jfedu\ jfedu #監控頁面的提示信息 stats auth admin:admin #監控頁面的用戶和密碼admin,可以設置多個用戶名 stats hide-version #隱藏統計頁面上的HAproxy版本信息 stats admin if TRUE #手工啟用/禁用,后端服務器； ##########監控haproxy后端服務器的狀態############ listen site_status bind 0.0.0.0:1081 #監聽端口 mode http #http的7層模式 log 127.0.0.1 local3 err #[err warning info debug] monitor-uri /site_status #網站健康檢測URL，用來檢測HAProxy管理的網站是否可以用，正常返回200，不正常返回503 acl site_dead nbsrv(server_web) lt 2 #定義網站down時的策略當掛在負載均衡上的指定backend的中有效機器數小於1台時返回true monitor fail if site_dead #當滿足策略的時候返回503，網上文檔說的是500，實際測試為503 monitor-net 192.168.149.129/32 #來自192.168.149.129的日志信息不會被記錄和轉發； monitor-net 192.168.149.130/32 #來自192.168.149.130的日志信息不會被記錄和轉發； ########frontend配置############ #####注意，frontend配置里面可以定義多個acl進行匹配操作######## frontend http_80_in bind 0.0.0.0:80 #監聽端口，即haproxy提供web服務的端口，和lvs的vip端口類似 mode http #http的7層模式 log global #應用全局的日志配置 option httplog #啟用http的log option httpclose #每次請求完畢后主動關閉http通道，HA-Proxy不支持keep-alive模式 option forwardfor #如果后端服務器需要獲得客戶端的真實IP需要配置次參數，將可以從Http Header中獲得客戶端IP ########acl策略配置############# acl jfedu_web hdr_reg(host) -i ^(www1.jfedu.net|www2.jfedu.net)$ #如果請求的域名滿足正則表達式中的2個域名返回true -i是忽略大小寫 #如果請求的域名滿足www.jfedu.net返回true -i是忽略大小寫 #acl jfedu hdr(host) -i jfedu.net #如果請求的域名滿足jfedu.net返回true -i是忽略大小寫 #acl file_req url_sub -i killall= #在請求url中包含killall=，則此控制策略返回true,否則為false #acl dir_req url_dir -i allow #在請求url中存在allow作為部分地址路徑，則此控制策略返回true,否則返回false #acl missing_cl hdr_cnt(Content-length) eq 0 #當請求的header中Content-length等於0時返回true ########acl策略匹配相應############# #block if missing_cl #當請求中header中Content-length等於0阻止請求返回403 #block if !file_req || dir_req #block表示阻止請求，返回403錯誤，當前表示如果不滿足策略file_req，或者滿足策略dir_req，則阻止請求 use_backend server_web if jfedu_web #當滿足jfedu_web的策略時使用server_web的backend ##########backend的設置############## backend server_web mode http #http的7層模式 balance roundrobin #負載均衡的方式，roundrobin平均方式 cookie SERVERID #允許插入serverid到cookie中，serverid后面可以定義 option httpchk GET /index.html #心跳檢測的文件 server web1 192.168.149.129:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1 #服務器定義，cookie 1表示serverid為web1，check inter 1500是檢測心跳頻率rise 3是3次正確認為服務器可用， #fall 3是3次失敗認為服務器不可用，weight代表權重 server web2 192.168.149.130:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2 #服務器定義，cookie 1表示serverid為web2，check inter 1500是檢測心跳頻率rise 3是3次正確認為服務器可用， #fall 3是3次失敗認為服務器不可用，weight代表權重。 |
1.1.4 安裝Keepalived服務
| cd /usr/src ; wget http://www.keepalived.org/software/keepalived-1.2.1.tar.gz tar xzf keepalived-1.2.1.tar.gz cd keepalived-1.2.1 && ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-71.el6.x86_64/ make &&make install DIR=/usr/local/ ;cp $DIR/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ cp $DIR/etc/sysconfig/keepalived /etc/sysconfig/ mkdir -p /etc/keepalived && cp $DIR/sbin/keepalived /usr/sbin/ |
1.1.5 配置Haproxy+keepalived
Haproxy+keealived Master端keepalived.conf配置文件如下：
| ! Configuration File for keepalived global_defs { notification_email { xxx@139.com } notification_email_from wgkgood@139.com smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_haproxy { script "/data/sh/check_haproxy.sh" interval 2 weight 2 } # VIP1 vrrp_instance VI_1 { state MASTER interface eth0 lvs_sync_daemon_inteface eth0 virtual_router_id 151 priority 100 advert_int 5 nopreempt authentication { auth_typePASS auth_pass 2222 } virtual_ipaddress { 192.168.0.133 } track_script { chk_haproxy } } |
1.1.6 創建haproxy腳本
設置可執行權限chmod +x check_haproxy.sh，腳本內容如下：
| #!/bin/bash #auto check haprox process killall -0 haproxy if [[ $? -ne 0 ]];then /etc/init.d/keepalived stop fi |
Haproxy+keealived Backup端keepalived.conf配置文件如下：
| ! Configuration File for keepalived global_defs { notification_email { xxx@139.com } notification_email_from wgkgood@139.com smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id LVS_DEVEL } vrrp_script chk_haproxy { script "/data/sh/check_haproxy.sh" interval 2 weight 2 } # VIP1 vrrp_instance VI_1 { state BACKUP interface eth0 lvs_sync_daemon_inteface eth0 virtual_router_id 151 priority 90 advert_int 5 nopreempt authentication { auth_typePASS auth_pass 2222 } virtual_ipaddress { 192.168.0.133 } track_script { chk_haproxy } } |
1.1.7 測試Haproxy+Keepalived服務
手動kill掉131的haproxy進程后，130的keepalived后台日志顯示如下，並且訪問133 VIP正常訪問，提供服務，則證明Haproxy+keepalived高可用架構配置完畢，如圖23-4（a）、23-4（b）、23-24（c）、23-24（d）所示：
圖23-4（a） Haproxy+Keepalived網站架構
圖23-4（b） Haproxy+Keepalived網站架構
圖23-4（c） Haproxy+Keepalived網站架構
圖23-4（d） Haproxy+Keepalived網站架構