網卡bonding簡介

網卡綁定就是把多張物理網卡通過軟件虛擬成一個虛擬的網卡,配置完畢后,所有的物理網卡的ip和mac將會變成相同的。多網卡同時工作可以提高網絡速度,還可以實現網卡的負載均衡、冗余。

 

bonding模式

1    round-robin(mode=0)

輪轉策略,輪流在每一個slave網卡上發送數據包,提供負載均衡和容錯能力。   

2    active-backup(mode=1)

主備策略,只有一個slave被激活,只有當active的slave的接口down時,才會激活其它slave接口。主備模式下發生一次故障切換,在新激活的slave接口上會發送一個或者多個gratuitous ARP。主salve接口上以及配置在接口上的所有VLAN接口都會發送gratuitous ARP,需要在這些接口上配置了至少一個IP地址。VLAN接口上發送的的gratuitous ARP將會附上適當的VLAN id。本模式提供容錯能力。

3    XOR(mode=2)

基於所選擇的hash策略,本模式也提供負載均衡和容錯能力。

4    broadcast(mode=3)

廣播策略,向所有的slave接口發送數據包,本模式提供容錯能力。

5    802.3ad(mode=4)

動態鏈路聚合,根據802.3ad標准利用所有的slave建立聚合鏈路。slave接口的出口取決於傳輸的hash策略,默認策略是簡單的XOR策略,而hash策略則可以通xmit_hash_policy選項配置。

前提:每個slave網卡支持ethtool獲取速率和雙工狀態

         交換機支持IEEE 802.3ad標准(可能需要配置啟用)

     IEEE 802.3ad 是執行鏈路聚合的標准方法。將多個以太網適配器聚集到單獨的虛擬適配器方面與“以太通道(EtherChannel)”的功能相同,能提供更高的帶寬防止發生故障。例如,eth0 和 eth1 可以聚集到稱作 eth3 的 IEEE 802.3ad鏈路聚合;然后用 IP 地址配置接口 eth3。系統將這些聚集的適配器作為一個適配器來考慮。因此,可以像在任何以太網適配器上一樣配置它們的 IP。

6    balance-tlb(mode=5)

自適應傳輸負載均衡:根據每個slave的負載(相對速度)決定從哪個接口發送數據包,從當前接口接收數據包。如果接收的slave接口故障,其它slave接口將接管它的mac地址繼續接收。

前提:每個slave網卡支持ethtool獲取速率。

7    balance-alb(mode=6)

自適應負載均衡:

前提:每個slave網卡支持ethtool獲取速率

          每個slave網卡支持啟用時重新設置硬件地址

 

小結:

  mode 1、5、6不需要交換機設置

  mode 0、2、3、4需要交換機設置

缺省使用mode 0

bonding驅動加載

cat /boot/config-2.6.32-431.el6.x86_64 | grep -i bonding  
CONFIG_BONDING=m          # 這里可以看出bonding驅動編譯成可以動態加載的內核模塊
[root@compute1 ~]# vim /etc/modprobe.d/bond.conf   # 開機自動加載bonding驅動
alias bond0 bonding
options bond0 miimon=100 mode=0   # miimon:多長時間檢查一次網絡,單位ms;

 

bonding模式0配置

vim /etc/sysconfig/network-scripts/ifcfg-bond0      # 建立虛擬網卡bond0
DEVICE=bond0
IPADDR=10.10.10.1
NETMASK=255.255.255.0
ONBOOT=yes
BOOTPROTO=none
USERCTL=no
GATEWAY=10.10.10.254 vim /etc/sysconfig/network-scripts/ifcfg-eth0 
DEVICE=eth0
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
MASTER=bond0
SLAVE=yes 

vim /etc/sysconfig/network-scripts/ifcfg-eth1
DEVICE=eth1
BOOTPROTO=none
ONBOOT=yes
USERCTL=no
MASTER=bond0
SLAVE=yes 

# 設置完成后,重啟網絡服務來使用bond0生效
 service network restart # bond模塊會自動加載
 cat /proc/net/bonding/bond0  # 查看目前bonding的狀態
modprobe -r bonding;service network restart   # 讓bond模式生效
 
  bonding模式1配置
具體操作步驟就下面這步不同,其它一致。

vim /etc/modprobe.d/bond.conf alias bond0 bonding options bond0 miimon=100 mode=1 # 模式1 vim /etc/rc.d/rc.local # eth0 eth1的工作順序(僅在主備模式下需要做這個設置,其他的模式不需要做這個設置) ifenslave bond0 eth0 eth1 注:在高可用的環境下,網卡配置bonding后,vip_nic要為bond0

 

bonding模式4配置

#  具體操作步驟就下面這步不同,其它一致。
vim /etc/modprobe.d/bond.conf  
alias bond0 bonding
options bond0 miimon=100 mode=4 lacp_rate=1    # 模式4

注意的是:交換機和服務器連接的那塊要配置動態的channel-group (需要配置交換機的動態鏈路聚合)

 

bond4下啟動vlan子接口

實例:未配置VLAN的mode4的網卡配置文件

# cat ifcfg-eth2
DEVICE=eth2
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
MASTER=bond0
SLAVE=yes

# cat ifcfg-eth3
DEVICE=eth3
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=no
BOOTPROTO=static
MASTER=bond0
SLAVE=yes

# cat ifcfg-bond0
DEVICE=bond0
TYPE=Ethernet
BOOTPROTO=static
ONBOOT=yes
IPADDR=10.20.42.3
NETMASK=255.255.255.0
GATEWAY=10.20.42.254

# cat /etc/modprobe.d/bonding.conf 
alias bond0 bonding
options bond0 miimon=100 mode=4

 

實例:配置了VLAN-tag的網卡bond文件

[root@sz02 network-scripts]# cat ifcfg-eth0 DEVICE=eth0 IPV6INIT=no MTU=1500 NM_CONTROLLED=no ONBOOT=yes MASTER=bond0 SLAVE=yes USERCTL=no BOOTPROTO=none [root@sz02 network-scripts]# cat ifcfg-eth1 DEVICE=eth1 IPV6INIT=no MTU=1500 NM_CONTROLLED=no ONBOOT=yes MASTER=bond0 SLAVE=yes USERCTL=no BOOTPROTO=none [root@sz02 network-scripts]# cat ifcfg-bond0 DEVICE=bond0 ONBOOT=yes TYPE=Ethernet BOOTPROTO=none BONDING_OPTS='mode=4 miimon=100' [root@sz02 network-scripts]# cat ifcfg-bond0.101 # 此時的VLAN 的tag就是 101 DEVICE=bond0.101 ONBOOT=yes TYPE=Ethernet BOOTPROTO=none IPADDR=10.101.1.7 NETMASK=255.255.255.0 VLAN=yes GATEWAY=10.101.1.254 [root@sz02 network-scripts]# cat /etc/modprobe.d/bond.conf # 開機時加載bond模塊 alias bond0 bonding [root@sz02 network-scripts]# lsmod |grep 8021q # 打了VLAN的,機器必需具備8021q模塊才可以配通IP 8021q 20362 0 garp 7152 1 8021q
VLAN是虛擬局域網的縮寫。 一個物理交換機上可以共存多個VLAN,這些交換機通過Linux軟件配置,而不是通過硬件接口(您仍然需要配置實際的硬件交換機)。

VLAN作為名稱建議一次組合多個LAN。 但是,VLAN的優點是什么? 
—高性能. 
—易於管理. 
—安全.

為了安全起見,VLAN為提供了划分LAN的能力。 
當將服務器計算機物理移動到另一個位置時,您不必配置任何硬件設備。

關於LAN硬件的注意事項 
1.為了能夠使用VLAN,需要在以太網上支持IEEE 802.1q標准的交換機。 
2.還需要一個與Linux兼容的NIC(網絡接口卡),並支持802.1q標准。
 # 永久加載8021q module

cat > /etc/sysconfig/modules/8021q.modules << EOF
\#\!/bin/sh
if [ ! `lsmod | grep 8021q` ] ; then
        exec /sbin/modprobe 8021q >/dev/null 2>&1
fi
EOF
modprobe 8021q # 加載模塊

vim /etc/sysconfig/network-scripts/ifcfg-bond0.110 # vlan子接口,發出去的包是帶有vlan tag 110的 DEVICE=bond0.110 # vlan子接口要“.”分隔 BOOTPROTO=none ONBOOT=yes USERCTL=no VLAN=yes # 寫配置文件,就不要安裝vconfig來配置vlan子接口 IPADDR=192.168.110.3 PREFIX=24

 

bond4結合OpenStack ovs flat vlan模式

1、 采用linux bridge
    brctl addbr br-bond
    brctl addif br-bond bond0
    ifconfig br-bond 192.168.1.4/24 # 這樣配置是可以通的 2、 采用openvswitch ovs-vsctl add-br br-bond ovs-vsctl add-port br-bond bond0 ifconfig br-bond 192.168.1.4/24 # 這樣配置是不通的 如果進行如下操作,網絡是可以通的 brctl addbr br-bond brctl addif br-bond bond0 ifconfig br-bond 192.168.1.4/24 # 管理ip地址配置linux bridge上,不是配置在br-data上 ovs-vsctl add-br br-data # 創建一個br-data ovs-vsctl add-port br-data br-bond # br-bond作為ovs bridge的一個port,不然計算節點下的虛擬機網絡不通 [root@sha-cloud002 ~]# cat /etc/sysconfig/network-scripts/ifcfg-br-bond # br-data配置文件如下 DEVICE=br-bond IPADDR=10.10.10.12 NETMASK=255.255.255.0 ONBOOT=yes NM_CONTROLLED="no" BOOTPROTO=none TYPE=Bridge DELAY=0 # prevent it waiting on interface start # 這里需要注意一下,如果是hp刀片服務器,網卡做bond后划vlan子接口才能 和上端交換機通信。這時候配置需要調整下 ovs-vsctl add-port br-data eth0.470(舉例vlan id:470) ovs-vsctl set Port eth0.470 tag=470(打了tag后相當於access口,access口出去的包是不帶vlan id的)

 

雖然上述操作也可以,但讓人覺得怪怪的,下面是OVS下設置lacp的正確方式

wKiom1em5jfhrvoeAAG5B-u1s6s860.png

 

按照紅帽官網的建議是不要使用基於ovs的lacp,可以考慮使用balance-slb

wKiom1em5zexXGCSAAFRafSr5-k832.png

詳情見:https://access.redhat.com/documentation/en/red-hat-openstack-platform/8/networking-guide/chapter-2-openstack-networking-concepts

 關於bond模式下網橋配置可以參考紅帽的官方文檔:https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/6/html/Deployment_Guide/s2-networkscripts-interfaces_network-bridge.html

 

參考鏈接

http://www.cnblogs.com/Skyar/p/3397072.html