一. Haproxy 介紹
HAProxy提供高可用性、負載均衡以及基於TCP和HTTP應用的代理，支持虛擬主機，它是免費、快速並且可靠的一種解決方案。根據官方數據，其最高極限支持10G的並發。HAProxy特別適用於那些負載特大的web站點，這些站點通常又需要會話保持或七層處理。HAProxy運行在當前的硬件上，完全可以支持數以萬計的並發連接。並且它的運行模式使得它可以很簡單安全的整合進您當前的架構中， 同時可以保護你的web服務器不被暴露到網絡上。
其支持從4層至7層的網絡交換，即覆蓋所有的TCP協議。就是說，Haproxy 甚至還支持 Mysql 的均衡負載。如果說在功能上，能以proxy反向代理方式實現 WEB均衡負載，這樣的產品有很多。包括 Nginx，ApacheProxy，lighttpd，Cheroke 等。
但要明確一點的，Haproxy並不是Http服務器。以上提到所有帶反向代理均衡負載的產品，都清一色是WEB服務器。簡單說，就是他們能自個兒提供靜態(html,jpg,gif..)或動態(php,cgi..)文件的傳輸以及處理。而Haproxy僅僅，而且專門是一款的用於均衡負載的應用代理。其自身並不能提供http服務。
HAProxy的算法有如下8種：
1. roundrobin，表示簡單的輪詢
2. static-rr，表示根據權重，
3. leastconn，表示最少連接者先處理，
4. source，表示根據請求源IP，
5. uri，表示根據請求的URI；
6. url_param，表示根據請求的URl參數'balance url_param' requires an URL parameter name
7. hdr(name)，表示根據HTTP請求頭來鎖定每一次HTTP請求；
8. rdp-cookie(name)，表示根據據cookie(name)來鎖定並哈希每一次TCP請求。
二. Haproxy 編譯安裝
1. 編譯安裝
tar zxf haproxy-1.4.22.tar.gz
tar zxf keepalived-1.2.7.tar.gz
uname -r
make TARGET=linux26 PREFIX=/usr/local/haproxy
make install PREFIX=/usr/local/haproxy
2. cp模板文件
cp -ar examples /usr/local/haproxy/
rsync -arvz /usr/local/haproxy/share/man /usr/share/
cp -ar tests /usr/local/haproxy/
cp doc/configuration.txt /usr/local/haproxy/
rsync -arvz soft/haproxy-1.4.22/examples/errorfiles /usr/local/haproxy/
cp examples/haproxy.cfg /usr/local/haproxy/etc/
cp examples/haproxy.init /etc/init.d/haproxy
3. Init 腳本的配置,需要修改,在后面介紹
chmod a+x /etc/init.d/haproxy
chkconfig --add haproxy
4. selinux 的配置
#yum install selinux-policy-devel
#cd contrib/selinux/
#make -f /usr/share/selinux/devel/Makefile
#sudo semodule -i haproxy.pp
#restorecon /usr/sbin/haproxy /etc/haproxy/haproxy.cfg /var/run/haproxy.pid /var/run/haproxy.sock*
#mkdir /usr/local/haproxy/etc
4. 日志支持，接口和你自己定義的有關系
#vim /etc/syslog.conf
local3.* /var/log/haproxy.log
local0.* /var/log/haproxy.log
#vim /etc/sysconfig/syslog
SYSLOGD_OPTIONS="-r -m 0"
#service syslog restart
5. Haproxy的相關啟動參數
# /usr/local/haproxy/sbin/haproxy –help
haproxy -f < 配置文件>
[-n 最大並發連接總數] [-N 每個偵聽的最大並發數] [-d] [-D] [-q] [-V] [-c] [-p ] [-s] [-l] [-dk]
[-ds] [-de] [-dp] [-db] [-m < 內存限制M>] [{-sf|-st} pidlist...]
-d 前台，debug模式
-D daemon模式啟動
-q 安靜模式,不輸出信息
-V 詳細模式
-c 對配置文件進行語法檢查
-s 顯示統計數據
-l 顯示詳細統計數據
-dk 不使用kqueue
-ds 不使用speculative epoll
-de 不使用epoll
-dp 不使用poll
-db 禁用后台模式，程序跑在前台
-sf 程序啟動后向pidlist里的進程發送FINISH信號，這個參數放在命令行的最后
-st 程序啟動后向pidlist里的進程發送TERMINATE信號，這個參數放在命令行的最后
列:
# /usr/local/haproxy/sbin/haproxy -c -f /usr/local/haproxy/etc/haproxy.cfg # 對haproxy 語法做檢查
# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/etc/haproxy.cfg -sf `cat /var/run/haproxy.pid` # reload
# killall haproxy 或者 kill -9 `pidof haproxy`
三. Haproxy 配置文件解說
# cat /usr/local/haproxy/etc/haproxy.cfg
####################全局配置信息#############參數是進程級的，通常和操作系統（OS）相關#########
global
maxconn 20480 #默認最大連接數
log 127.0.0.1 local3 #[err warning info debug]
chroot /usr/local/haproxy #chroot運行的路徑
uid 99 #所屬運行的用戶uid
gid 99 #所屬運行的用戶組
daemon #以后台形式運行haproxy
nbproc 1 #進程數量(可以設置多個進程提高性能)
pidfile /var/run/haproxy.pid #haproxy的pid存放路徑,啟動進程的用戶必須有權限訪問此文件
ulimit-n 65535 #ulimit的數量限制
#####################默認的全局設置##############這些參數可以被利用配置到frontend，backend，listen組件##
defaults
log global
mode http #所處理的類別 (#7層 http;4層tcp )
maxconn 20480 #最大連接數
option httplog #日志類別http日志格式
option httpclose #每次請求完畢后主動關閉http通道
option dontlognull #不記錄健康檢查的日志信息
option forwardfor #如果后端服務器需要獲得客戶端真實ip需要配置的參數，可以從Http Header中獲得客戶端ip
option redispatch #serverId對應的服務器掛掉后,強制定向到其他健康的服務器
option abortonclose #當服務器負載很高的時候，自動結束掉當前隊列處理比較久的連接
stats refresh 30 #統計頁面刷新間隔
retries 3 #3次連接失敗就認為服務不可用，也可以通過后面設置
balance roundrobin #默認的負載均衡的方式,輪詢方式
#balance source #默認的負載均衡的方式,類似nginx的ip_hash,可以固定session
#balance leastconn #默認的負載均衡的方式,最小連接
contimeout 5000 #連接超時5s , 單位是ms
clitimeout 50000 #客戶端超時
srvtimeout 50000 #服務器超時
timeout check 2000 #心跳檢測超時
#注: 時間的設置,單位為毫秒ms
1ms = 1/1000 second
1m = 60s = 60000 ms
1h = 60m = 3600s
1d = 24h = 1440m = 86400s = 864000000ms
####################監控頁面的設置#######################
listen admin_status #Frontend和Backend的組合體,監控組的名稱，按需自定義名稱
bind :65532 #監聽端口
mode http #http的7層模式
log 127.0.0.1 local3 err #錯誤日志記錄
stats refresh 5s #每隔5秒自動刷新監控頁面
stats uri /admin?stats #監控頁面的url
stats realm Haproxy\ Statistics #監控頁面的提示信息
stats auth yangcan:yangcan #監控頁面的用戶和密碼yangcan,可以設置多個用戶名
#stats auth admin:admin #監控頁面的用戶和密碼admin
stats hide-version #隱藏統計頁面上的HAproxy版本信息
stats admin if TRUE #手工啟用/禁用,后端服務器(haproxy-1.4.9以后版本)
#######################網站監測listen配置#####################
###########此用法主要是監控haproxy后端服務器的監控狀態############
listen site_status
bind :1081 #監聽端口
mode http #http的7層模式
log 127.0.0.1 local3 err #[err warning info debug]
monitor-uri /site_status #網站健康檢測URL，用來檢測HAProxy管理的網站是否可以用，正常返回200，不正常返回503
acl site_dead nbsrv(server_web) lt 2 #定義網站down時的策略當掛在負載均衡上的指定backend的中有效機器數小於2台時返回true
acl site_dead nbsrv(server_blog) lt 2
acl site_dead nbsrv(server_bbs) lt 2
monitor fail if site_dead #當滿足策略的時候返回503，網上文檔說的是500，實際測試為503
monitor-net 10.0.0.103/24 #來自10.0.0.103的日志信息不會被記錄和轉發
monitor-net 10.0.0.25/24
########frontend配置############
#####注意，frontend配置里面可以定義多個acl進行匹配操作########
frontend http_80_in
bind :80 #監聽端口，即haproxy提供web服務的端口，和lvs的vip端口類似
mode http #http的7層模式
log global #應用全局的日志配置
option httplog #啟用http的log
option httpclose #每次請求完畢后主動關閉http通道，HA-Proxy不支持keep-alive模式
option forwardfor #如果后端服務器需要獲得客戶端的真實IP需要配置次參數，將可以從Http Header中獲得客戶端IP
errorfile 403 /etc/haproxy/errorfiles/403.http
errorfile 500 /etc/haproxy/errorfiles/500.http
errorfile 502 /etc/haproxy/errorfiles/502.http
errorfile 503 /etc/haproxy/errorfiles/503.http
errorfile 504 /etc/haproxy/errorfiles/504.http
################# HAProxy的日志記錄內容設置 ###################
capture request header Host len 40
capture request header Content-Length len 10
capture request header Referer len 200
capture response header Server len 40
capture response header Content-Length len 10
capture response header Cache-Control len 8
########acl策略配置#############
acl baby_web hdr_reg(host) -i ^(blog80.baby.local |station80.baby.local)$
#如果請求的域名滿足正則表達式中的2個域名返回true -i是忽略大小寫,主要用於redirect到www80.baby.local上;
acl baby_blog hdr_dom(host) -i www80.baby.local
#如果請求的域名滿足www80.baby.local 返回true -i是忽略大小寫
#acl baby hdr(host) -i baby.local
#如果請求的域名滿足baby.local 返回true -i是忽略大小寫
#acl file_req url_sub -i killall=
#在請求url中包含killall=，則此控制策略返回true,否則為false
#acl dir_req url_dir -i allow
#在請求url中存在allow作為部分地址路徑，則此控制策略返回true,否則返回false
#acl missing_cl hdr_cnt(Content-length) eq 0
#當請求的header中Content-length等於0時返回true
########acl策略匹配相應#############
#block if missing_cl
#當請求中header中Content-length等於0阻止請求返回403
#block if !file_req || dir_req
#block表示阻止請求，返回403錯誤，當前表示如果不滿足策略file_req，或者滿足策略dir_req，則阻止請求
redirect prefix http://www80.baby.local code 301 if baby
#當訪問itnihao.cn的時候，用http的301挑轉到http://10.0.0.103
reqisetbe ^[^\]*\/(img|css)/ server_web
reqisetbe ^[^\]*\/bbs/ server_blog
# reqisetbe 關鍵字定義,根據定義的關鍵字選擇backend
use_backend server_web if baby_web
#當滿足baby_web的策略時使用server_web的backend
use_backend server_blog if baby_log
#當滿足baby_log的策略時使用server_blog的backend
default_backend server_bbs
#以上都不滿足的時候使用默認server_bbs的backend
# 注: redirect 和 reqisetbe 需要放置在 use_backend 之前
##########backend的設置##############
#下面我將設置三組服務器 server_web，server_blog，server_bbs
###########################backend server_web#############################
backend server_web
mode http #http的7層模式
balance roundrobin #負載均衡的方式，roundrobin平均方式
cookie SERVERID #允許插入serverid到cookie中，serverid后面可以定義
option httpchk GET /index.html #心跳檢測的文件
server web1 10.0.0.25:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
#服務器定義，cookie 1表示serverid為web1，check inter 1500是檢測心跳頻率rise 3是3次正確認為服務器可用，
#fall 3是3次失敗認為服務器不可用，weight代表權重
server web2 10.0.0.103:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
#服務器定義，cookie 1表示serverid為web2，check inter 1500是檢測心跳頻率rise 3是3次正確認為服務器可用，
#fall 3是3次失敗認為服務器不可用，weight代表權重
###################################backend server_blog###############################################
backend server_blog
mode http
balance roundrobin
cookie SERVERID
option httpchk GET /index.html
server blog1 10.0.0.25:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1
server blog2 10.0.0.103:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2
###################################backend server_bbs###############################################
backend server_bbs
mode http
balance roundrobin
cookie SERVERID
option httpchk GET /index.html
server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
################################### 虛擬主機的配置支持###############################################
listen blog80.baby.local 0.0.0.0:80
mode http
balance roundrobin
cookie SERVERID
option httpchk GET /index.html
server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
listen bbs.baby.local 0.0.0.0:80
mode http
balance roundrobin
cookie SERVERID
option httpchk GET /index.html
server bbs1 10.0.0.25:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
server bbs2 10.0.0.103:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
四. Haproxy init 啟動腳本
[root@www80 ~]# cat /etc/init.d/haproxy
#!/bin/sh
#
# chkconfig: - 85 15
# description: HA-Proxy is a TCP/HTTP reverse proxy which is particularly suited \
# for high availability environments.
# processname: haproxy
# config: /etc/haproxy/haproxy.cfg
# pidfile: /var/run/haproxy.pid
# Script Author: Simon Matter <simon.matter@invoca.ch>
# Version: 2004060600
# Source function library.
if [ -f /etc/init.d/functions ]; then
. /etc/init.d/functions
elif [ -f /etc/rc.d/init.d/functions ] ; then
. /etc/rc.d/init.d/functions
else
exit 0
fi
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ ${NETWORKING} = "no" ] && exit 0
HAPROXYDIR=/usr/local/haproxy
BASENAME=haproxy
# This is our service name
#BASENAME=`basename $0`
#if [ -L $0 ]; then
# BASENAME=`find $0 -name $BASENAME -printf %l`
# BASENAME=`basename $BASENAME`
#fi
[ -f $HAPROXYDIR/etc/$BASENAME.cfg ] || exit 1
RETVAL=0
start() {
$HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg
if [ $? -ne 0 ]; then
echo "Errors found in configuration file, check it with '$BASENAME check'."
return 1
fi
echo -n "Starting $BASENAME: "
daemon $HAPROXYDIR/sbin/$BASENAME -D -f $HAPROXYDIR/etc/$BASENAME.cfg -p /var/run/$BASENAME.pid
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && touch /var/lock/subsys/$BASENAME
return $RETVAL
}
stop() {
echo -n "Shutting down $BASENAME: "
killproc $BASENAME -USR1
RETVAL=$?
echo
[ $RETVAL -eq 0 ] && rm -f /var/lock/subsys/$BASENAME
[ $RETVAL -eq 0 ] && rm -f /var/run/$BASENAME.pid
return $RETVAL
}
restart() {
$HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg
if [ $? -ne 0 ]; then
echo "Errors found in configuration file, check it with '$BASENAME check'."
return 1
fi
stop
start
}
reload() {
$HAPROXYDIR/sbin/$BASENAME -c -q -f $HAPROXYDIR/etc/$BASENAME.cfg
if [ $? -ne 0 ]; then
echo "Errors found in configuration file, check it with '$BASENAME check'."
return 1
fi
$HAPROXYDIR/sbin/$BASENAME -D -f $HAPROXYDIR/etc/$BASENAME.cfg -p /var/run/$BASENAME.pid -sf $(cat /var/run/$BASENAME.pid)
}
check() {
$HAPROXYDIR/sbin/$BASENAME -c -q -V -f $HAPROXYDIR/etc/$BASENAME.cfg
}
rhstatus() {
status $BASENAME
}
condrestart() {
[ -e /var/lock/subsys/$BASENAME ] && restart || :
}
# See how we were called.
case "$1" in
start)
start
;;
stop)
stop
;;
restart)
restart
;;
reload)
reload
;;
condrestart)
condrestart
;;
status)
rhstatus
;;
check)
check
;;
*)
echo $"Usage: $BASENAME {start|stop|restart|reload|condrestart|status|check}"
exit 1
esac
exit $?
五. Haproxy 測試
///////////////////////// 測試 roundrobin 算法 ///////////////////////////////
# for i in $(seq 10)
do
curl http://www80.baby.local/index.html
done
++++++++++++++++++++++++++
nameserver 10.0.0.25
node 103
nameserver 10.0.0.25
node 103
nameserver 10.0.0.25
node 103
nameserver 10.0.0.25
node 103
nameserver 10.0.0.25
node 103
六. Haproxy 維持session 的三種方法
1. session知識儲備
Session是由應用服務器維持的一個服務器端的存儲空間，用戶在連接服務器時，會由服務器生成一個唯一的SessionID,用該SessionID 為標識符來存取服務器端的Session存儲空間。
而SessionID這一數據則是保存到客戶端，用Cookie保存的，用戶提交頁面時，會將這一 SessionID提交到服務器端，來存取Session數據。服務器也通過URL重寫的方式來傳遞SessionID的值，因此不是完全依賴Cookie。如果客戶端Cookie禁用，則服務器可以自動通過重寫URL的方式來保存Session的值，並且這個過程對程序員透明。
2. Php.ini 設置
php.ini 里幾個session相關值的 其它的值請參考《PHP與Mysql5程序設計》
session.use_cookies = 1 #表示 服務端和客戶端交互session是通過cookie的方式 默認值
session.name = PHPSESSID #默認值是PHPSESSID
session.cache_limiter = nocache #此設置確保對每個請求，在可能提供緩存的版本前，先請求發送到最初的服務器。這個值聯系到下文中 cookie識別中的相關參數
3. haproxy三種方法保持客戶端session一致
3.1 用戶IP 識別
haroxy 將用戶IP經過hash計算后 指定到固定的真實服務器上（類似於nginx 的IP hash 指令）
balance source
3.2 cookie 識別
haproxy 將WEB服務端發送給客戶端的cookie中插入(或添加加前綴)haproxy定義的后端的服務器COOKIE ID。
cookie SESSION_COOKIE insert indirect nocache
用firebug可以觀察到用戶的請求頭的cookie里 有類似" Cookie PHPSESSID=0bc588656ca05ecf7588c65f9be214f5; SESSION_COOKIE=12" SESSION_COOKIE=12就是haproxy添加的內容
3.3 session 識別
haproxy 將后端服務器產生的session和后端服務器標識存在haproxy中的一張表里。客戶端請求時先查詢這張表。
appsession PHPSESSID len 64 timeout 5h request-learn
4. 測試seesion 固定, 這是一個php腳本,
<?php
session_start();
$_SESSION['time'] =date("Y:m:d:H:s",time());
echo "本次訪問時間"."<font color=red>".$_SESSION['time']."</font>"."<br>";
echo "訪問的服務器地址是"."<font color=red>".$_SERVER['SERVER_ADDR']."</font>"."<br>";
echo "訪問的服務器域名是"."<font color=red>".$_SERVER['SERVER_NAME']."</font>"."<br>";
echo "SESSIONNAME是"."<font color=red>".session_name()."</font>"."<br>";
echo "SESSIONID是"."<font color=red>".session_id()."</font>"."<br>";
?>
七. Haproxy + keepalived 的高可用
1. Keepalived 的編譯安裝
tar zxf keepalived-1.2.7.tar.gz
cd keepalived-1.2.7
./configure --sysconfdir=/etc
make && make install
2. 配置文件
# vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
root@www80.baby.local
}
notification_email_from root@www80.baby.local
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
}
vrrp_script chk_haproxy {
script "killall -0 haproxy"
interval 2
weight 2
}
vrrp_instance VI_1 {
state MASTER # 在備份機器上改成BACKUP
interface eth0
virtual_router_id 51
priority 100 # 備份機器優先級比100要低
advert_int 2
grap_master_delay 1
authentication {
auth_type PASS
auth_pass yangcan
}
track_interface {
eth0
}
virtual_ipaddress {
10.0.0.144
}
track_script {
chk_haproxy
}
# notify_master "/etc/keepalived/Mailnotify.py master"
# notify_backup "/etc/keepalived/Mailnotify.py backup"
# notify_fault "/etc/keepalived/Mailnotify.py fault"
}