作者: ISADBA|FH.CN 日期: 06/01/2012
轉載請注明：
作者：ISADBA.COM|FH.CN
BLOG：http://isadba.com
原文：http://isadba.com/?p=67
LVS持久連接技術
lvs的持久性連接有兩方面：
把同一個client的請求信息記錄到lvs的hash表里，保存時間使用persistence_timeout控制，單位為秒。
persistence_granularity 參數是配合persistence_timeout的，在某些情況特別有用，他的值是子網掩碼，表示持久連接的粒度，默認是255.255.255.255，也就是單獨的client ip
，如果改成，255.255.255.0就是client ip一個網段的都會被分配到同一個real server。
一個連接創建后空閑時的超時時間，這個時間為3種
tcp的空閑超時時間
lvs收到客戶端tcp fin的超時時間
udp的超時時間
如何查看這些值？
ipvsadm # 可以查看連接空閑的超時時間(persistent 10)。
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 122.225.32.142:http rr persistent 10
-> 122.225.32.137:http Route 1 0 1
-> 122.225.32.136:http Route 1 0 0
ipvsadm -L -timeout # 查看tcp tcpfin udp的超時時間
Timeout (tcp tcpfin udp): 900 120 300
他們是如何工作的？
ipvsadm -Lcn IPVS connection entries pro expire state source virtual destination TCP 00:57 NONE 110.184.96.173:0 122.225.32.142:80 122.225.32.136:80 TCP 01:57 FIN_WAIT 110.184.96.173:54568 122.225.32.142:80 122.225.32.136:80
當一個client訪問vip的時候，ipvs或記錄一條狀態為NONE的信息，expire初始值是persistence_timeout的值，然后根據時鍾主鍵變小，在以下記錄存在期間，同一client ip連接上來，都會被分配到同一個后端。
FIN_WAIT的值就是tcp tcpfin udp的超時時間，當NONE的值為0時，如果FIN_WAIT還存在，那么NONE的值會從新變成60秒，再減少，直到FIN_WAIT消失以后，NONE才會消失，只要NONE存在，同一client的訪問，都會分配到統一real server。
如何設置這些值？
persistence_timeout可以通過以下兩種方法設置
ipvsadm -A -t 192.168.20.154:80 -s rr -p 60
注意：上面命令中紅色標記的80端口，表示同一客戶端訪問服務器的80端口，會被定義到同一個real server，如果把80端口改為0，那么同一客戶端訪問服務器的任何服務都會被轉發到同一real server。
修改keepalived配置文件，在虛擬服務器配置下面加入persistence_timeout 60
tcp tcpfin udp的配置
ipvsadm –set tcp tcpfin udp # ipvsadm –set 120 50 50 //實例
建議：tcpfin的值最好小於persistence_timeout的值，這樣比較方便計算。
lvs持久性參考資料：
http://www.linuxvirtualserver.org/docs/persistence.html
lvs的持久連接
本文出自 “成長全記錄” 博客，請務必保留此出處http://lymrg.blog.51cto.com/1551327/684681
由於HTTP是一種無狀態協議，每次請求完畢之后就立即斷開了，當用戶瀏覽購物網站挑選商品的時候，看到一件商品加入購物車，此過程被重定向到了REALSERVER1上面來，當把第二件商品加入購物車又被重定向到了REALSERVER2上面，最后結賬的時候在REALSERVER2上面，只有一件商品，這顯然是用戶無法接受的，此時就需要一種持久連接機制，來把同一用戶的HTTP請求在超時時間內都重定向到同一台REALSERVER，超時時間可以自己定義，比如說2個小時，在超時時間內服務器會不斷追蹤用戶的訪問請求，把某一用戶的所有請求都轉發到同一台REALSERVER上面，如果超時時間過后用戶依然在訪問，則默認按照每次兩分鍾的方式無限加長
這里的所有操作都以DR模型為例，試驗環境參見：http://lymrg.blog.51cto.com/1551327/660925
對於LVS的持久連接來說常見的分為三種PCC,PPC和基於防火牆標記的持久連接，下面我們就來分別討論
PCC
PCC用來實現把某個用戶的所有訪問在超時時間內定向到同一台REALSERVER，這種方式在實際中不常用
ipvsadm -A -t 192.168.0.1:0 -s wlc -p 600(單位是s) ipvsadm -a -t 192.168.0.1:0 -r 192.168.1.2 -w 4 -g ipvsadm -a -t 192.168.0.1:0 -r 192.168.1.3 -w 2 -g
此時測試一下會發現通過HTTP訪問VIP和通過SSH登錄VIP的時候都被定向到了同一台REALSERVER上面了
PPC
PPC用來把某個用戶對同一服務的訪問在超時時間內定向到同一台REALSERVER
ipvsadm -A -t 192.168.0.1:80 -s wlc -p 600 ipvsadm -a -t 192.168.0.1:80 -r 192.168.1.2 -w 4 -g ipvsadm -a -t 192.168.0.1:80 -r 192.168.1.3 -w 2 -g ipvsadm -A -t 192.168.0.1:22 -s wlc -p 300 ipvsadm -a -t 192.168.0.1:22 -r 192.168.1.2 -g ipvsadm -a -t 192.168.0.1:22 -r 192.168.1.3 -g
此時再測試會發現某個用戶在超時時間內對於某個服務的訪問都會被重定向到同一台REALSERVER上面
防火牆標記
基於防火牆標記的持久連接
對於電子商務網站來說，用戶在挑選商品的時候使用的是80端口來瀏覽的，當付款的時候則是通過443的ssl加密的方式，當然當用戶挑選完商品付款的時候我們當然不希望https的443跳轉到另外一台REALSERVER，很顯然應該是同一REALSERVER才對，這時候就要用到基於防火牆標記的持久連接，通過定義端口的姻親關系來實現
首先兩個REALSERVER要配置SSL，很明顯證書應該也是一樣的
定義端口的姻親關系，給80和443端口打上同樣的防火牆標記
配置實現基於防火牆標記的LVS
yum install mod_ssl 兩個服務器上面都安裝一下
在REALSERVER1上面。也就是192.168.1.2上面如下操作
cd /etc/pki/tls/certs/ make httpd.pem #此種SSL證書的生成方式只為測試，在實際操作中構建
SSL參見我博客前面的完整步驟
填寫相關信息，主機名稱一定要和VIP在互聯網上面解析的DNS名稱一致
cp httpd.pem /etc/httpd/ vi /etc/httpd/conf.d/ssl.conf # 找到如下行啟用並且修改 DocumentRoot "/var/www/html" ServerName www.test.org:443 #這里修改為你得服務器名稱 # 修改證書路徑 SSLCertificateFile /etc/httpd/httpd.pem SSLCertificateKeyFile /etc/httpd/httpd.pem scp httpd.pem 192.168.1.3:/etc/httpd scp /etc/httpd/conf.d/ssl.conf 192.168.1.3:/etc/httpd/conf.d/
防火牆添加mark
iptables -t mangle -A PREROUTING -d 192.168.0.1 -p tcp --dport 80 -j MARK --set-mark 10 (0-99范圍) iptables -t mangel -A PREROUTING -d 192.168.0.1 -p tcp --dport 443 -j MARK --set-mark 10 ipvsadm -A -f 10 -s wlc -p 600 ipvsadm -a -f 10 -r 192.168.1.2 -g -w 4 ipvsadm -a -f 10 -r 192.168.1.3 -g -w 2
本文出自 “成長全記錄” 博客，請務必保留此出處http://lymrg.blog.51cto.com/1551327/684681
關於arp_announce和arp_ignore
http://lymrg.blog.51cto.com/1551327/660925
VS/DR或VS/TUN應用的一種模型中（所有機器都在同一個物理網絡），所有機器（包括Director和RealServer）都使用了一個額外的IP地址，即VIP。
當一個客戶端向VIP發出一個連接請求時，此請求必須要連接至Director的VIP，而不能是RealServer的。因為，LVS的主要目標就是要Director負責調度這些連接請求至RealServer的。因此，在Client發出至VIP的連接請求后，只能由Director將其MAC地址響應給客戶端（也可能是直接與Director連接的路由設備），而Director則會相應的更新其ipvsadm table以追蹤此連接，而后將其轉發至后端的RealServer之一。
如果Client在請求建立至VIP的連接時由某RealServer響應了其請求，則Client會在其MAC table中建立起一個VIP至RealServer的對就關系，並以至進行后面的通信。此時，在Client看來只有一個RealServer而無法意識到其它服務器的存在。
為了解決此問題，可以通過在路由器上設置其轉發規則來實現(靜態的MAC-IP綁定)。當然，如果沒有權限訪問路由器並做出相應的設置，則只能通過傳統的本地方式來解決此問題了。 這些方法包括：
禁止RealServer響應對VIP的ARP請求；
在RealServer上隱藏VIP，以使得它們無法獲知網絡上的ARP請求；
基於“透明代理（Transparent Proxy）”或者“fwmark （firewall mark）”；
禁止ARP請求發往RealServers；
傳統認為，解決ARP問題可以基於網絡接口，也可以基於主機來實現。Linux采用了基於主機的方式，因為其可以在大多場景中工作良好，但LVS卻並不屬於這些場景之一，因此，過去實現此功能相當麻煩。現在可以通過設置arp_ignore，arp_announce，這變得相對簡單的多了。
Linux 2.2和2.4（2.4.26之前的版本）的內核解決“ARP問題”的方法各不相同，且比較麻煩。幸運的是，2.4.26和2.6的內核中引入了兩個新的調整ARP棧的標志（device flags）：arp_announce和arp_ignore。基於此，在DR/TUN的環境中，所有IPVS相關的設定均可使用arp_announce=2和arp_ignore=1/2/3來解決“ARP問題”了。以下是官方說明：
arp_annouce：
Define different restriction levels for announcing the local source IP address from IP packets in ARP requests sent on interface； 0 - (default) Use any local address, configured on any interface. 1 - Try to avoid local addresses that are not in the target's subnet for this interface. 2 - Always use the best local address forthis target. arp_ignore: Define different modes for sending replies in response to received ARP requests that resolve local target IP address. 0 - (default): replyfor any local target IP address, configured on any interface. 1 - reply only if the target IP address is local address configured on the incoming interface. 2 - reply only if the target IP address is local address configured on the incoming interface and both with the sender's IP address are part from same subnet on this interface. 3 - do not reply for local address configured with scope host,only resolutions for golbal and link addresses are replied. 4-7 - reserved 8 - do not reply for all local addresses
arp_announce 定義了網卡在向外宣告自己的MAC-IP時候的限制級別，有三個值： 0：默認值，不管哪塊網卡接收到了ARP請求，只要發現本機有這個MAC都給與響應 1：盡量避免響應ARP請求中MAC不是本網卡的，一個主機有多塊網卡，其中一塊網卡接收到了ARP請求，發現所請求的MAC是本機另一塊網卡的，這個時候接收到ARP請求的這塊網卡就盡量避免響應 2：總是使用最合適的網卡來響應，一個主機有多塊網卡，其中一塊網卡接收到了ARP請求，發現所請求的MAC是本機另一塊網卡的，這個時候接收到ARP請求的這塊網卡就一定不響應，只有發現請求的MAC是自己的才給與響應
arp_ignore 定義了網卡在響應外部ARP請求時候的響應級別，這里有8個值，但我們只使用了2個 0：默認值，不管哪塊網卡接收到了ARP請求，只要發現本機有這個MAC都給與響應 1：總是使用最合適的網卡來響應，一個主機有多塊網卡，其中一塊網卡接收到了ARP請求，發現所請求的MAC是本機另一塊網卡的，這個時候接收到ARP請求的這塊網卡就一定不響應，只有發現請求的MAC是自己的才給與響應在RealServers上，VIP配置在本地回環接口lo上。如果回應給Client的數據包路由到了eth0接口上，則arp通告或請應該通過eth0實現，因此，需要在sysctl.conf文件中定義如下配置： vim /etc/sysctl.conf net.ipv4.conf.eth0.arp_ignore = 1 net.ipv4.conf.eth0.arp_announce = 2 net.ipv4.conf.all.arp_ignore = 1 net.ipv4.conf.all.arp_announce = 2 以上選項需要在啟用VIP之前進行，否則，則需要在Drector上清空arp表才能正常使用LVS。
關於連接追蹤
到達Director的數據包首先會經過PREROUTING，而后經過路由發現其目標地址為本地某接口的地址，因此，接着就會將數據包發往INPUT(LOCAL_IN HOOK)。此時，正在運行內核中的ipvs（始終監控着LOCAL_IN HOOK）進程會發現此數據包請求的是一個集群服務，因為其目標地址是VIP。於是，此數據包的本來到達本機(Director)目標行程被改變為經由POSTROUTING HOOK發往RealServer。這種改變數據包正常行程的過程是根據IPVS表(由管理員通過ipvsadm定義)來實現的。
如果有多台Realserver，在某些應用場景中，Director還需要基於“連接追蹤”實現將由同一個客戶機的請求始終發往其第一次被分配至的Realserver，以保證其請求的完整性等。其連接追蹤的功能由Hash table實現。Hash table的大小等屬性可通過下面的命令查看：
ipvsadm -Lcn
為了保證其時效性，Hash table中“連接追蹤”信息被定義了“生存時間”。LVS為記錄“連接超時”定義了三個計時器：
空閑TCP會話；
客戶端正常斷開連接后的TCP會話；
無連接的UDP數據包（記錄其兩次發送數據包的時間間隔）；
上面三個計時器的默認值可以由類似下面的命令修改，其后面的值依次對應於上述的三個計時器：
ipvsadm --set 28800 30 600
數據包在由Direcotr發往Realserver時，只有目標MAC地址發生了改變(變成了Realserver的MAC地址)。Realserver在接收到數據包后會根據本地路由表將數據包路由至本地回環設備，接着，監聽於本地回環設備VIP上的服務則對進來的數據庫進行相應的處理，而后將處理結果回應至RIP，但數據包的原地址依然是VIP。
DIP要配置在接口上，VIP要配置在接口別名上
在前端服務器上的配置(配置VIP)
ifconfig eth0:0 $192.168.0.1 broadcast $192.168.0.1 netmask 255.255.255.255 up route add -host $192.168.0.1 dev eth0:0 route add -host $192.168.1.1 dev eth0 echo 1 >/proc/sys/net/ipv4/ip_forward
在REALSERVER上面的配置
RIP要配置在接口上，VIP要配置在lo的別名上
定義內核參數，禁止響應對VIP的ARP廣播請求
echo 1>/proc/sys/net/ipv4/conf/lo/arp_ignore echo 1>/proc/sys/net/ipv4/conf/all/arp_ignore echo 2>/proc/sys/net/ipv4/conf/lo/arp_announce echo 2>/proc/sys/net/ipv4/conf/all/arp_announce
配置VIP
ifconfig lo:0 $192.168.0.1 broadcast $192.168.0.1 netmask 255.255.255.255 up route add -host 192.168.0.1 dev lo:0 # 確保如果請求的目標IP是$VIP，那么讓出去的數據包的源地址也顯示為$VIP
在前端服務器配置並啟動服務
ipvsadm -A -t 192.168.0.1:80 -s wlc ipvsadm -a -t 192.168.0.1:80 -r 192.168.1.2 -g -w 4 ipvsadm -a -t 192.168.0.1:80 -r 192.168.1.3 -g -w 2 ipvsadm -L -n ab -c -n 10000 http://192.168.0.1/index.html watch -n 1 'ipvsadm -L -n'
