LINUX網卡BOND的七種模式詳解


Samba、Nfs這種共享文件系統,網絡的吞吐量非常大,就造成網卡的壓力很大,網卡bond是通過把多個物理網卡綁定為一個邏輯網卡,實現本地網卡的冗余,帶寬擴容和負載均衡,具體的功能取決於采用的哪種模式。  

一、bond的七種模式介紹:

1、mode=0(balance-rr)(平衡輪詢環策略)

鏈路負載均衡,增加帶寬,支持容錯,一條鏈路故障會自動切換正常鏈路。交換機需要配置聚合口,思科叫port channel。
特點:傳輸數據包順序是依次傳輸(即:第1個包走eth0,下一個包就走eth1….一直循環下去,直到最后一個傳輸完畢),此模式提供負載平衡和容錯能力;但是我們知道如果一個連接
或者會話的數據包從不同的接口發出的話,中途再經過不同的鏈路,在客戶端很有可能會出現數據包無序到達的問題,而無序到達的數據包需要重新要求被發送,這樣網絡的吞吐量就會下降

2、mode=1(active-backup)(主-備份策略)

這個是主備模式,只有一塊網卡是active,另一塊是備用的standby,所有流量都在active鏈路上處理,交換機配置的是捆綁的話將不能工作,因為交換機往兩塊網卡發包,有一半包是丟棄的。
特點:只有一個設備處於活動狀態,當一個宕掉另一個馬上由備份轉換為主設備。mac地址是外部可見得,從外面看來,bond的MAC地址是唯一的,以避免switch(交換機)發生混亂。
此模式只提供了容錯能力;由此可見此算法的優點是可以提供高網絡連接的可用性,但是它的資源利用率較低,只有一個接口處於工作狀態,在有 N 個網絡接口的情況下,資源利用率為1/N

3、mode=2(balance-xor)(平衡策略)

表示XOR Hash負載分擔,和交換機的聚合強制不協商方式配合。(需要xmit_hash_policy,需要交換機配置port channel)特點:基於指定的傳輸HASH策略傳輸數據包。缺省的策略是:(源MAC地址 XOR 目標MAC地址) % slave數量。其他的傳輸策略可以通過xmit_hash_policy選項指定,此模式提供負載平衡和容錯能力

4、mode=3(broadcast)(廣播策略)

表示所有包從所有網絡接口發出,這個不均衡,只有冗余機制,但過於浪費資源。此模式適用於金融行業,因為他們需要高可靠性的網絡,不允許出現任何問題。需要和交換機的聚合強制不協商方式配合。
特點:在每個slave接口上傳輸每個數據包,此模式提供了容錯能力

5、mode=4(802.3ad)(IEEE 802.3ad 動態鏈接聚合)

表示支持802.3ad協議,和交換機的聚合LACP方式配合(需要xmit_hash_policy).標准要求所有設備在聚合操作時,要在同樣的速率和雙工模式,而且,和除了balance-rr模式外的其它bonding負載均衡模式一樣,任何連接都不能使用多於一個接口的帶寬。
特點:創建一個聚合組,它們共享同樣的速率和雙工設定。根據802.3ad規范將多個slave工作在同一個激活的聚合體下。
外出流量的slave選舉是基於傳輸hash策略,該策略可以通過xmit_hash_policy選項從缺省的XOR策略改變到其他策略。需要注意的 是,並不是所有的傳輸策略都是802.3ad適應的,
尤其考慮到在802.3ad標准43.2.4章節提及的包亂序問題。不同的實現可能會有不同的適應 性。
必要條件:
條件1:ethtool支持獲取每個slave的速率和雙工設定
條件2:switch(交換機)支持IEEE 802.3ad Dynamic link aggregation
條件3:大多數switch(交換機)需要經過特定配置才能支持802.3ad模式

6、mode=5(balance-tlb)(適配器傳輸負載均衡)

是根據每個slave的負載情況選擇slave進行發送,接收時使用當前輪到的slave。該模式要求slave接口的網絡設備驅動有某種ethtool支持;而且ARP監控不可用。
特點:不需要任何特別的switch(交換機)支持的通道bonding。在每個slave上根據當前的負載(根據速度計算)分配外出流量。如果正在接受數據的slave出故障了,另一個slave接管失敗的slave的MAC地址。
必要條件:
ethtool支持獲取每個slave的速率

7、mode=6(balance-alb)(適配器適應性負載均衡)

在5的tlb基礎上增加了rlb(接收負載均衡receive load balance).不需要任何switch(交換機)的支持。接收負載均衡是通過ARP協商實現的.
特點:該模式包含了balance-tlb模式,同時加上針對IPV4流量的接收負載均衡(receive load balance, rlb),而且不需要任何switch(交換機)的支持。接收負載均衡是通過ARP協商實現的。bonding驅動截獲本機發送的ARP應答,並把源硬件地址改寫為bond中某個slave的唯一硬件地址,從而使得不同的對端使用不同的硬件地址進行通信。
來自服務器端的接收流量也會被均衡。當本機發送ARP請求時,bonding驅動把對端的IP信息從ARP包中復制並保存下來。當ARP應答從對端到達 時,bonding驅動把它的硬件地址提取出來,並發起一個ARP應答給bond中的某個slave。
使用ARP協商進行負載均衡的一個問題是:每次廣播 ARP請求時都會使用bond的硬件地址,因此對端學習到這個硬件地址后,接收流量將會全部流向當前的slave。這個問題可以通過給所有的對端發送更新 (ARP應答)來解決,應答中包含他們獨一無二的硬件地址,從而導致流量重新分布。
當新的slave加入到bond中時,或者某個未激活的slave重新 激活時,接收流量也要重新分布。接收的負載被順序地分布(round robin)在bond中最高速的slave上
當某個鏈路被重新接上,或者一個新的slave加入到bond中,接收流量在所有當前激活的slave中全部重新分配,通過使用指定的MAC地址給每個 client發起ARP應答。下面介紹的updelay參數必須被設置為某個大於等於switch(交換機)轉發延時的值,從而保證發往對端的ARP應答 不會被switch(交換機)阻截。
必要條件:
條件1:ethtool支持獲取每個slave的速率;
條件2:底層驅動支持設置某個設備的硬件地址,從而使得總是有個slave(curr_active_slave)使用bond的硬件地址,同時保證每個bond 中的slave都有一個唯一的硬件地址。如果curr_active_slave出故障,它的硬件地址將會被新選出來的 curr_active_slave接管
其實mod=6與mod=0的區別:mod=6,先把eth0流量占滿,再占eth1,….ethX;而mod=0的話,會發現2個口的流量都很穩定,基本一樣的帶寬。而mod=6,會發現第一個口流量很高,第2個口只占了小部分流量。

 

mode5和mode6不需要交換機端的設置,網卡能自動聚合。mode4需要支持802.3ad。mode0,mode2和mode3理論上需要靜態聚合方式。
但實測中mode0可以通過mac地址欺騙的方式在交換機不設置的情況下不太均衡地進行接收。

二、bond的配置實例

1、首先要看linux是否支持bonding,大部分發行版都支持

1
2
3
4
5
6
7
8
9
# modinfo bonding |more
filename:       /lib/modules/2 .6.32-431.el6.x86_64 /kernel/drivers/net/bonding/bonding .ko
author:         Thomas Davis, tadavis@lbl.gov and many others
description:    Ethernet Channel Bonding Driver, v3.6.0
version:        3.6.0
license:        GPL
srcversion:     353B1DC123506708446C57B
depends:        8021q,ipv6
vermagic:       2.6.32-431.el6.x86_64 SMP mod_unload modversions
 

如輸出以上信息,則說明支持bonding,如果沒有,說明內核不支持bonding,需要重新編譯內核

2、網卡配置文件兩個物理網口分別是:eth0,eth1 綁定后的虛擬口是:bond0

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
[root@jacken ~] # cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
HWADDR=EC:F4:BB:DC:4C:0C
TYPE=Ethernet
UUID=669f0694-9c52-4792-bd67-22c9d2c17acb
ONBOOT= yes
NM_CONTROLLED=no
BOOTPROTO=none
MASTER=bond0
SLAVE= yes
[root@jacken ~] # cat /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
HWADDR=EC:F4:BB:DC:4C:0D
TYPE=Ethernet
UUID=1d2f30f4-b3f0-41a6-8c37-54f03115f7bd
ONBOOT= yes
NM_CONTROLLED=no
BOOTPROTO=none
MASTER=bond0
SLAVE= yes
[root@jacken ~] # cat /etc/sysconfig/network-scripts/ifcfg-bond0
DEVICE=bond0
NAME= 'System bond0'
TYPE=Ethernet
NM_CONTROLLED=no
USERCTL=no
ONBOOT= yes
BOOTPROTO=none
IPADDR=192.168.1.100
NETMASK=255.255.255.0
BONDING_OPTS= 'mode=1 miimon=100'
IPV6INIT=no
 

開機自動加載模塊到內核

1
2
3
#echo 'alias bond0 bonding' >> /etc/modprobe.d/dist.conf
#echo 'options bonding mode=0 miimon=200' >> /etc/modprobe.d/dist.conf
#echo 'ifenslave bond0 eth0 eth1' >>/etc/rc.local
 

miimon=100
每100毫秒 (即0.1秒) 監測一次路連接狀態,如果有一條線路不通就轉入另一條線路; Linux的多網卡綁定功能使用的是內核中的"bonding"模塊
如果修改為其它模式,只需要在BONDING_OPTS中指定mode=Number即可。USERCTL=no --是否允許非root用戶控制該設備

 

查看bond0狀態:可以看到調用的是哪幾個物理網卡
#cat /proc/net/bonding/bond0

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
[root@compute05 ~] #  cat /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
Bonding Mode: fault-tolerance (active-backup)
Primary Slave: None
Currently Active Slave: eth1
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0
Slave Interface: eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: ec:f4:bb: dc :4c:0c
Slave queue ID: 0
Slave Interface: eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: ec:f4:bb: dc :4c:0d
Slave queue ID: 0
 

三、擴展

 

上邊是兩個網卡(eth0、eth1)綁定成一個bond0,如果我們要設置多個bond口,比如物理網口eth0和eth1組成bond0,eth2和eth3組成bond1,那么網口設置文件的設置方法和上面
是一樣的,只是/etc/modprobe.d/dist.conf文件就不能疊加了。正確的設置方法有兩種:
1、第一種

 
1
2
3
alias  bond0 bonding
alias  bond1 bonding
options bonding max_bonds=2 miimon=200 mode=1
這樣所有的綁定只能使用一個mode了。
 

2、第二種

 
1
2
3
4
5
alias  bond0 bonding
options bond0 miimon=100 mode=1
install  bond1 /sbin/modprobe  bonding -o bond1 miimon=100 mode=0
install  bond2 /sbin/modprobe  bonding -o bond2 miimon=100 mode=1
install  bond3 /sbin/modprobe  bonding -o bond3 miimon=100 mode=0
 

這種方式不同的bond口可以設定為不同的mode,注意開機自動啟動/etc/rc.d/rc.local文件的設置

1
2
3
4
ifenslave bond0 eth0 eth1
ifenslave bond1 eth2 eth3
ifenslave bond2 eth4 eth5
ifenslave bond3 eth6 eth7
 

四、交換機側配置

bond mode 0,2,3交換機端配置靜態聚合

bond mode 4交換機端配置動態鏈路聚合

bond mode 1,5,6交換機端不做聚合配置。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM