1.LVS簡介
最近學習了LVS（Linux Virtual Server）的集群技術，把搜集的一些資料整理一下。LVS（Linux Virtual Server）其實就是針對高可伸縮、高可用網絡服務的需求，給出了基於IP層和基於內容請求分發的負載平衡調度解決方法，並在Linux內核中實現了這些方法，將一組服務器構成一個實現可伸縮的、高可用網絡服務的虛擬服務器。
所以，lvs需要內核有ipvs支持，確保你的內核支持ipvs后，只需安裝ipvsadm就可以把一台服務器配置成負載調度器（Load Balancer）。對外提供服務的IP，也就是我們訪問的IP稱做VIP。調度器LB的任務主要是分發請求，真正處理的是真實服務器(Real Server)。這就是LVS工作的基本方式和一些基本術語，下面是一張結構圖。
負載調度器（load balancer）：它是整個集群對外面的前端機，負責將客戶的請求發送到一組服務器上執行，而客戶認為服務是來自一個IP地址（我們可稱之為虛擬IP地址）上的。
服務器池（server pool）：是一組真正執行客戶請求的服務器，執行的服務有WEB、MAIL、FTP和DNS等。
共享存儲（shared storage）：它為服務器池提供一個共享的存儲區，這樣很容易使得服務器池擁有相同的內容，提供相同的服務。
2.IP虛擬服務器軟件IPVS
IPVS軟件實現了這三種IP負載均衡技術，它們的大致原理如下：
Virtual Server via Network Address Translation（VS/NAT）
通過網絡地址轉換，調度器重寫請求報文的目標地址，根據預設的調度算法，將請求分派給后端的真實服務器；真實服務器的響應報文通過調度器時，報文的源地址被重寫，再返回給客戶，完成整個負載調度過程。
Virtual Server via IP Tunneling（VS/TUN）
采用NAT技術時，由於請求和響應報文都必須經過調度器地址重寫，當客戶請求越來越多時，調度器的處理能力將成為瓶頸。為了解決這個問題，調度器把請求報 文通過IP隧道轉發至真實服務器，而真實服務器將響應直接返回給客戶，所以調度器只處理請求報文。由於一般網絡服務應答比請求報文大許多，采用 VS/TUN技術后，集群系統的最大吞吐量可以提高10倍。
Virtual Server via Direct Routing（VS/DR）
VS/DR通過改寫請求報文的MAC地址，將請求發送到真實服務器，而真實服務器將響應直接返回給客戶。同VS/TUN技術一樣，VS/DR技術可極大地 提高集群系統的伸縮性。這種方法沒有IP隧道的開銷，對集群中的真實服務器也沒有必須支持IP隧道協議的要求，但是要求調度器與真實服務器都有一塊網卡連 在同一物理網段上。
三種IP負載均衡技術的優缺點比較:
雜項 VS/NAT VS/TUN VS/DR
服務器操作系統 任意 支持隧道 多數(支持Non-arp )
服務器網絡 私有網絡 局域網/廣域網 局域網
服務器數目(100M網絡) 10-20 100 多(100)
服務器網關 負載均衡器 自己的路由 自己的路由
效率 一般 高 最高
針對不同的網絡服務需求和服務器配置，IPVS調度器實現了如下八種負載調度算法：
輪叫（Round Robin）
調度器通過”輪叫”調度算法將外部請求按順序輪流分配到集群中的真實服務器上，它均等地對待每一台服務器，而不管服務器上實際的連接數和系統負載。
加權輪叫（Weighted Round Robin）
調度器通過”加權輪叫”調度算法根據真實服務器的不同處理能力來調度訪問請求。這樣可以保證處理能力強的服務器處理更多的訪問流量。調度器可以自動問詢真實服務器的負載情況，並動態地調整其權值。
最少鏈接（Least Connections）
調度器通過”最少連接”調度算法動態地將網絡請求調度到已建立的鏈接數最少的服務器上。如果集群系統的真實服務器具有相近的系統性能，采用”最小連接”調度算法可以較好地均衡負載。
加權最少鏈接（Weighted Least Connections）
在集群系統中的服務器性能差異較大的情況下，調度器采用”加權最少鏈接”調度算法優化負載均衡性能，具有較高權值的服務器將承受較大比例的活動連接負載。調度器可以自動問詢真實服務器的負載情況，並動態地調整其權值。
基於局部性的最少鏈接（Locality-Based Least Connections）
“基於局部性的最少鏈接” 調度算法是針對目標IP地址的負載均衡，目前主要用於Cache集群系統。該算法根據請求的目標IP地址找出該目標IP地址最近使用的服務器，若該服務器 是可用的且沒有超載，將請求發送到該服務器；若服務器不存在，或者該服務器超載且有服務器處於一半的工作負載，則用”最少鏈接”的原則選出一個可用的服務 器，將請求發送到該服務器。
帶復制的基於局部性最少鏈接（Locality-Based Least Connections with Replication）
“帶復制的基於局部性最少鏈接”調度算法也是針對目標IP地址的負載均衡，目前主要用於Cache集群系統。它與LBLC算法的不同之處是它要維護從一個 目標IP地址到一組服務器的映射，而LBLC算法維護從一個目標IP地址到一台服務器的映射。該算法根據請求的目標IP地址找出該目標IP地址對應的服務 器組，按”最小連接”原則從服務器組中選出一台服務器，若服務器沒有超載，將請求發送到該服務器，若服務器超載；則按”最小連接”原則從這個集群中選出一 台服務器，將該服務器加入到服務器組中，將請求發送到該服務器。同時，當該服務器組有一段時間沒有被修改，將最忙的服務器從服務器組中刪除，以降低復制的 程度。
目標地址散列（Destination Hashing）
“目標地址散列”調度算法根據請求的目標IP地址，作為散列鍵（Hash Key）從靜態分配的散列表找出對應的服務器，若該服務器是可用的且未超載，將請求發送到該服務器，否則返回空。
源地址散列（Source Hashing）
“源地址散列”調度算法根據請求的源IP地址，作為散列鍵（Hash Key）從靜態分配的散列表找出對應的服務器，若該服務器是可用的且未超載，將請求發送到該服務器，否則返回空。
3.實現VS/NAT
環境：LB：ipvsadm，RS：LAMP
ipvsadm可以到官網下載安裝：http://www.linuxvirtualserver.org/software/index.html；LAMP安裝省略，網上資料很多。
VIP:192.168.1.100
LB:10.3.37.100
RS:10.3.37.101
RS:10.3.37.102
RS:10.3.37.103
RS:10.3.37.104
LB配置：
外部地址為192.168.1.100 內部地址為10.3.37.100，LVS在VS/NAT、VS/DR和VS/TUN3種方式下均需要打開ip_forward功能。
vi /etc/sysctl.conf
#加入一行
net.ipv4.ip_forward = 1
#退出編輯，執行sysctl -p使配置生效。
sysctl -p
ipvs的腳本（ipvsadin詳解見下文）
#!/bin/sh
ipvsadm -C
ipvsadm -A -t 192.168.1.100:80 -s wlc
ipvsadm -a -t 192.168.1.100:80 -r 10.3.37.101:80 -m
ipvsadm -a -t 192.168.1.100:80 -r 10.3.37.102:80 -m
ipvsadm -a -t 192.168.1.100:80 -r 10.3.37.103:80 -m
ipvsadm -a -t 192.168.1.100:80 -r 10.3.37.104:80 -m
RealServer的配置（網關設置成BL內網IP:10.3.37.100）：
網關配置(/etc/sysconfig/network 文件的內容如下)
NETWORKING=yes
HOSTNAME=localhost.localdomain
GATEWAY=10.3.37.100
網卡配置文件(/etc/sysconfig/network-scripts/ifcfg-eth0的內容如下)
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=10.3.37.101
NETMASK=255.255.255.0
BROADCAST=10.3.37.255
4.實現VS/DR
只要知道了原理和ipvsadm基本使用，配置和VS/NAT沒多大差別，關鍵在於RS上要關閉arp。
RealServer的配置：
vi /etc/sysctl.conf
#加入一行
net.ipv4.ip_forward = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
#退出編輯，執行sysctl -p使配置生效。
sysctl -p
5.ipvsadm詳解
1 1，virtual-service-address:是指虛擬服務器的ip 地址 2 2，real-service-address:是指真實服務器的ip 地址 3 3，scheduler：調度方法 4 (lna@networksbase.com 翻譯 ipvsadm v1.21 2004 年4 月) 5 ipvsadm 的用法和格式如下： 6 ipvsadm -A|E -t|u|f virutal-service-address:port [-s scheduler] [-p 7 [timeout]] [-M netmask] 8 ipvsadm -D -t|u|f virtual-service-address 9 ipvsadm -C 10 ipvsadm -R 11 ipvsadm -S [-n] 12 ipvsadm -a|e -t|u|f service-address:port -r real-server-address:port 13 [-g|i|m] [-w weight] 14 ipvsadm -d -t|u|f service-address -r server-address 15 ipvsadm -L|l [options] 16 ipvsadm -Z [-t|u|f service-address] 17 ipvsadm --set tcp tcpfin udp 18 ipvsadm --start-daemon state [--mcast-interface interface] 19 ipvsadm --stop-daemon 20 ipvsadm -h 21 命令選項解釋： 22 有兩種命令選項格式，長的和短的，具有相同的意思。在實際使用時，兩種都可 23 以。 24 -A --add-service 在內核的虛擬服務器表中添加一條新的虛擬服務器記錄。也 25 就是增加一台新的虛擬服務器。 26 -E --edit-service 編輯內核虛擬服務器表中的一條虛擬服務器記錄。 27 -D --delete-service 刪除內核虛擬服務器表中的一條虛擬服務器記錄。 28 -C --clear 清除內核虛擬服務器表中的所有記錄。 29 -R --restore 恢復虛擬服務器規則 30 -S --save 保存虛擬服務器規則，輸出為-R 選項可讀的格式 31 -a --add-server 在內核虛擬服務器表的一條記錄里添加一條新的真實服務器 32 記錄。也就是在一個虛擬服務器中增加一台新的真實服務器 33 -e --edit-server 編輯一條虛擬服務器記錄中的某條真實服務器記錄 34 -d --delete-server 刪除一條虛擬服務器記錄中的某條真實服務器記錄 35 -L|-l --list 顯示內核虛擬服務器表 36 -Z --zero 虛擬服務表計數器清零（清空當前的連接數量等） 37 --set tcp tcpfin udp 設置連接超時值 38 --start-daemon 啟動同步守護進程。他后面可以是master 或backup，用來說 39 明LVS Router 是master 或是backup。在這個功能上也可以采用keepalived 的 40 VRRP 功能。 41 --stop-daemon 停止同步守護進程 42 -h --help 顯示幫助信息 43 其他的選項: 44 -t --tcp-service service-address 說明虛擬服務器提供的是tcp 的服務 45 [vip:port] or [real-server-ip:port] 46 -u --udp-service service-address 說明虛擬服務器提供的是udp 的服務 47 [vip:port] or [real-server-ip:port] 48 -f --fwmark-service fwmark 說明是經過iptables 標記過的服務類型。 49 -s --scheduler scheduler 使用的調度算法，有這樣幾個選項 50 rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq, 51 默認的調度算法是： wlc. 52 -p --persistent [timeout] 持久穩固的服務。這個選項的意思是來自同一個客 53 戶的多次請求，將被同一台真實的服務器處理。timeout 的默認值為300 秒。 54 -M --netmask netmask persistent granularity mask 55 -r --real-server server-address 真實的服務器[Real-Server:port] 56 -g --gatewaying 指定LVS 的工作模式為直接路由模式（也是LVS 默認的模式） 57 -i --ipip 指定LVS 的工作模式為隧道模式 58 -m --masquerading 指定LVS 的工作模式為NAT 模式 59 -w --weight weight 真實服務器的權值 60 --mcast-interface interface 指定組播的同步接口 61 -c --connection 顯示LVS 目前的連接 如：ipvsadm -L -c 62 --timeout 顯示tcp tcpfin udp 的timeout 值 如：ipvsadm -L --timeout 63 --daemon 顯示同步守護進程狀態 64 --stats 顯示統計信息 65 --rate 顯示速率信息 66 --sort 對虛擬服務器和真實服務器排序輸出 67 --numeric -n 輸出IP 地址和端口的數字形式
結束：
這里主要介紹LVS的基本原理和基本配置，實際使用時，是使用keepalived實現BL的HA和RS的可用性檢測。LVS更詳細的內容可以看參考資料里章文嵩博士的4篇論文：
參考資料：
http://www.linuxvirtualserver.org/zh/lvs1.html
http://www.linuxvirtualserver.org/zh/lvs2.html
http://www.linuxvirtualserver.org/zh/lvs3.html
http://www.linuxvirtualserver.org/zh/lvs4.html