在Linux下用LVS和Ipvsadm做Web負載均衡

在Linux下用LVS和Ipvsadm做Web負載均衡，如果想對負載均衡有一個全面、宏觀上的理解，可以看：服務器負載均衡技術的原理及應用。

一、簡介及環境配置

在Linux下用LVS和Ipvsadm做Web負載均衡，本例子用的操作系統是：Ubuntu；LVS是在linux操作系統基礎上建立虛擬服務器，實現服務節點之間的負載均衡。它是基於linux內核實現的，2.6.X內核默認集成了lvs模塊，LVS常用負載均衡的實現是基於ip協議的，所以一般稱為IPVS。

本例子有三台Ubuntu服務器，192.168.0.111、192.168.0.197、192.168.0.198，那么我們把192.168.0.111作為負載均衡服務器使用，那么首先需要檢查下操作系統是否已經集成了LVS，可以在命令行執行：modprobe -l | grep ipvs，如果出現：
kernel/net/netfilter/ipvs/ip_vs.ko
kernel/net/netfilter/ipvs/ip_vs_rr.ko
kernel/net/netfilter/ipvs/ip_vs_wrr.ko
kernel/net/netfilter/ipvs/ip_vs_lc.ko
kernel/net/netfilter/ipvs/ip_vs_wlc.ko
kernel/net/netfilter/ipvs/ip_vs_lblc.ko
kernel/net/netfilter/ipvs/ip_vs_lblcr.ko
kernel/net/netfilter/ipvs/ip_vs_dh.ko
kernel/net/netfilter/ipvs/ip_vs_sh.ko
kernel/net/netfilter/ipvs/ip_vs_sed.ko
kernel/net/netfilter/ipvs/ip_vs_nq.ko 
kernel/net/netfilter/ipvs/ip_vs_ftp.ko
則說明已經有了LVS，就不需要重新編譯安裝了，如果是其它Linux系統，沒有內置LVS的，也可以到網上搜索下安裝，也不是很復雜。

那么接下來需要安裝ipvsadm，直接運行apt-get install ipvsadm命令，安裝成功后，運行命令：
ipvsadm
會看到提示： 
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

則說明已經安裝成功。

二、負載均衡器配置

接下來就是配置LVS，就是在負載均衡器（192.168.0.111）上建一個虛擬ip，然后用ipvsadm建立轉發規則：
ifconfig eth0:0 192.168.0.112 netmask 255.255.255.255 broadcast 192.168.0.112
echo "1" >/proc/sys/net/ipv4/ip_forward
ipvsadm -C
ipvsadm -A -t 192.168.0.112:8888 -s rr
ipvsadm -a -t 192.168.0.112:8888 -r 192.168.0.197 -g -w 1
ipvsadm -a -t 192.168.0.112:8888 -r 192.168.0.198 -g -w 1

注意：192.168.0.197和192.168.0.198分別運行了一個Web服務器，端口都是8888，在此之前一定要確保這兩個Web服務器通過瀏覽器可以正常訪問到。

如上命令執行完畢之后，可以再次運行命令：
ipvsadm

如果看到如下信息，則說明配置成功：
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  eric-app-server.local:8888 rr
  -> ubuntu-2.local:8888          Route   1      0          0         
  -> ubuntu.local:8888            Route   1      0          0 

三、真實服務器配置

那么接下來就需要配置真實服務器192.168.0.197和192.168.0.198，分別在這兩個服務器上運行如下命令：
ifconfig lo:0 192.168.0.112 netmask 255.255.255.255 broadcast 192.168.0.112
route add default gw 192.168.0.112
echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
sudo sysctl -p

四、配置完畢看效果

那么此時整個負載均衡配置基本就完成了，在瀏覽器輸入：http://192.168.0.112:8888/index.html，就會看到Hello Word-1111111111111111111! 或者Hello Word-222222222222222222222! ，因為http://192.168.0.197:8888/index.html頁面的內容就是：Hello Word-1111111111111111111!，http://192.168.0.197:8888/index.html頁面的內容就是：Hello Word-222222222222222222222!

另外剛開始走了一個彎路，就是最開始找的三台服務器不在同一個局域內，還有是虛擬機，因此是配置不成功的。基於這種模式做負載均衡必須要求負載均衡服務器有雙網卡，一個對內網，另一個對外網，並且還需要和后面的真實服務器是在同一個局域內。

五、ipvsadm命令參考

1，virtual-service-address:是指虛擬服務器的ip 地址
2，real-service-address:是指真實服務器的ip 地址
3，scheduler：調度方法
ipvsadm 的用法和格式如下：
ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p [timeout]] [-M netmask]
ipvsadm -D -t|u|f virtual-service-address
ipvsadm -C
ipvsadm -R
ipvsadm -S [-n]
ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port
[-g|i|m] [-w weight]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|l [options]
ipvsadm -Z [-t|u|f service-address]
ipvsadm --set tcp tcpfin udp
ipvsadm --start-daemon state [--mcast-interface interface]
ipvsadm --stop-daemon
ipvsadm -h

命令選項解釋：
有兩種命令選項格式，長的和短的，具有相同的意思。在實際使用時，兩種都可以。
-A --add-service 在內核的虛擬服務器表中添加一條新的虛擬服務器記錄。也就是增加一台新的虛擬服務器。
-E --edit-service 編輯內核虛擬服務器表中的一條虛擬服務器記錄。
-D --delete-service 刪除內核虛擬服務器表中的一條虛擬服務器記錄。
-C --clear 清除內核虛擬服務器表中的所有記錄。
-R --restore 恢復虛擬服務器規則
-S --save 保存虛擬服務器規則，輸出為-R 選項可讀的格式
-a --add-server 在內核虛擬服務器表的一條記錄里添加一條新的真實服務器記錄。也就是在一個虛擬服務器中增加一台新的真實服務器
-e --edit-server 編輯一條虛擬服務器記錄中的某條真實服務器記錄
-d --delete-server 刪除一條虛擬服務器記錄中的某條真實服務器記錄
-L|-l --list 顯示內核虛擬服務器表
-Z --zero 虛擬服務表計數器清零（清空當前的連接數量等）
--set tcp tcpfin udp 設置連接超時值
--start-daemon 啟動同步守護進程。他后面可以是master 或backup，用來說明LVS Router 是aster 或是backup。在這個功能上也可以采用keepalived 的VRRP 功能。
--stop-daemon 停止同步守護進程
-h --help 顯示幫助信息

其他的選項:
-t --tcp-service service-address 說明虛擬服務器提供的是tcp 的服務[vip:port] or [real-server-ip:port]
-u --udp-service service-address 說明虛擬服務器提供的是udp 的服務[vip:port] or [real-server-ip:port]
-f --fwmark-service fwmark 說明是經過iptables 標記過的服務類型。
-s --scheduler scheduler 使用的調度算法，有這樣幾個選項rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq,默認的調度算法是： wlc.
-p --persistent [timeout] 持久穩固的服務。這個選項的意思是來自同一個客戶的多次請求，將被同一台真實的服務器處理。timeout 的默認值為300 秒。
-M --netmask netmask persistent granularity mask
-r --real-server server-address 真實的服務器[Real-Server:port]
-g --gatewaying 指定LVS 的工作模式為直接路由模式（也是LVS 默認的模式）
-i --ipip 指定LVS 的工作模式為隧道模式
-m --masquerading 指定LVS 的工作模式為NAT 模式
-w --weight weight 真實服務器的權值
--mcast-interface interface 指定組播的同步接口
-c --connection 顯示LVS 目前的連接 如：ipvsadm -L -c
--timeout 顯示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout
--daemon 顯示同步守護進程狀態
--stats 顯示統計信息
--rate 顯示速率信息
--sort 對虛擬服務器和真實服務器排序輸出
--numeric -n 輸出IP 地址和端口的數字形式