基於 OpenvSwitch的OpenFlow實踐
Open vSwitch 概述
OpenvSwitch(簡稱OVS)是由NiciraNetworks主導的,運行在虛擬化平台(例如 KVM,Xen)上的虛擬交換機。在虛擬化平台上,OVS可以為動態變化的端點提供2層交換功能,很好的控制虛擬網絡中的訪問策略、網絡隔離、流量監控等等。OVS 遵循Apache 2.0許可證, 能同時支持多種標准的管理接口和協議。OVS也提供了對OpenFlow協議的支持,用戶可以使用任何支持OpenFlow協議的控制器對OVS進行遠程管理控制。
概念
**Bridge: **相當於以太網交換機(Switch),一個主機中可以創建一個或者多個Bridge設備
**Port: **與物理交換機的端口概念類似,每個Port都隸屬於一個Bridge。端口收到的數據包會經過流規則的處理,發往其他端口;也會把其他端口來的數據包發送出去,端口的主要類型有:
類型 | 說明 |
---|---|
Normal | 用戶可以把操作系統中的網卡綁定到ovs上,ovs會生成一個普通端口處理這塊網卡進出的數據包。 |
Internal | 端口類型為internal時,ovs會創建一塊虛擬網卡,虛擬網卡會與端口自動綁定。當ovs創建一個新網橋時,默認會創建一個與網橋同名的Internal Port。 |
Patch | 當機器中有多個ovs網橋時,可以使用Patch Port把兩個網橋連起來。Patch Port總是成對出現,分別連接在兩個網橋上,在兩個網橋之間交換數據。 |
Tunne | 隧道端口是一種虛擬端口,支持使用gre或vxlan等隧道技術與位於網絡上其他位置的遠程端口通訊。 |
**Interface: **連接到Port的網絡接口設備,在通常情況下,Port和Interface 是一對一的關系, 只有在配置Port為 bond 模式后,Port和Interface是一對多的關系
**Controller: **OpenFlow控制器,OVS可以同時接受一個或者多個OpenFlow控制器的管理
**datapath: **在OVS中datapath負責執行數據交換,也就是把從接收端口收到的數據包在流表中進行匹配,並執行匹配到的動作。
**Flow table: **每個datapath都和一個flow table關聯,當datapath接收到數據之后,OVS會在flow table中查找可以匹配的 flow,執行對應的操作, 例如轉發數據到另外的端口。
Open vSwitch 實驗環境配置
OVS可以安裝在主流的Linux操作系統中,用戶可以選擇直接安裝編譯好的軟件包,或者下載源碼進行編譯安裝。可參考https://blog.csdn.net/chenhaifeng2016/article/details/78674223
安裝完畢后,檢查OVS的運行情況:
$ ps -ea | grep ovs
12533 ? 00:00:00 ovs_workq
12549 ? 00:00:04 ovsdb-server
12565 ? 00:00:48 ovs-vswitchd
12566 ? 00:00:00 ovs-vswitchd
查看OVS的版本信息
$ ovs-appctl -V
ovs-appctl (Open vSwitch) 2.9.2
查看OVS支持的OpenFlow協議的版本
$ ovs-ofctl --version
ovs-ofctl (Open vSwitch) 2.9.2
OpenFlow versions 0x1:0x5
模塊介紹
- ovs-vswitchd 主要模塊,實現switch的daemon,包括一個支持流交換的Linux內核模塊
- ovsdb-server 輕量級數據庫服務器,提供ovs-vswitchd獲取配置信息
- ovs-brcompatd 讓ovs-vswitch替換Linuxbridge,包括獲取bridge ioctls的Linux內核模塊
- ovs-dpctl 用來配置switch內核模塊
- ovs-vsctl 查詢和更新ovs-vswitchd的配置
- ovs-appctl 發送命令消息,運行相關daemon
- ovs-openflowd:一個簡單的OpenFlow交換機
- ovs-controller:一個簡單的OpenFlow控制器
- ovs-ofctl 查詢和控制OpenFlow交換機和控制器
- ovs-pki :OpenFlow交換機創建和管理公鑰框架
基於OpenvSwitch的OpenFlow實踐
OpenFlow是用於管理交換機流表的協議,ovs-ofctl 則是 OVS 提供的命令行工具。在沒有配置OpenFlow控制器的模式下,用戶可以使用ovs-ofctl命令通過OpenFlow協議去連接OVS,創建、修改或刪除OVS中的流表項,並對OVS的運行狀況進行動態監控。
Flow 語法說明
在OpenFlow的白皮書中,Flow被定義為某個特定的網絡流量。例如,一個TCP連接就是一個Flow,或者從某個IP地址發出來的數據包,都可以被認為是一個Flow。支持OpenFlow協議的交換機應該包括一個或者多個流表,流表中的條目包含:數據包頭的信息、匹配成功后要執行的指令和統計信息。當數據包進入 OVS 后,會將數據包和流表中的流表項進行匹配,如果發現了匹配的流表項,則執行該流表項中的指令集。相反,如果數據包在流表中沒有發現任何匹配,OVS 會通過控制通道把數據包發到 OpenFlow 控制器中。
在OVS中,流表項作為ovs-ofctl的參數,采用如下的格式:字段=值。如果有多個字段,可以用逗號或者空格分開。一些常用的字段列舉如下:
字段名稱 | 說明 |
---|---|
in_port=port | 傳遞數據包的端口的OpenFlow端口編號 |
dl_vlan=vlan | 數據包的VLAN Tag值,范圍是0-4095,0xffff代表不包含VLAN Tag的數據包 |
dl_src=[MAC] dl_dst=[MAC] | 匹配源或者目標的MAC地址 01:00:00:00:00:00/01:00:00:00:00:00 代表廣播地址 00:00:00:00:00:00/01:00:00:00:00:00 代表單播地址 |
dl_type=ethertype | 匹配以太網協議類型,其中: dl_type=0x0800 代表 IPv4 協議 dl_type=0x086dd 代表 IPv6 協議 dl_type=0x0806 代表 ARP 協議 完整的的類型列表可以參見以太網協議類型列表 |
nw_src=ip[/netmask] nw_dst=ip[/netmask] | 當dl_typ=0x0800 時,匹配源或者目標的 IPv4 地址,可以使用IP地址或者域名 |
nw_proto=proto | 和dl_type 字段協同使用 當dl_type=0x0800時,匹配IP協議編號 當dl_type=0x086dd代表IPv6協議編號 |
table=number | 指定要使用的流表的編號,范圍是0-254。在不指定的情況下,默認值為0。 通過使用流表編號,可以創建或者修改多個Table中的Flow |
reg[idx]=value[/mask] | 交換機中的寄存器的值。當一個數據包進入交換機時,所有的寄存器都被清零,用戶可以通過 Action 的指令修改寄存器中的值 |
對於add-flow、add-flows、mod-flows這三個命令,還需要指定要執行的動作:actions=[target][,target...]
一個流規則中可能有多個動作,按照指定的先后順序執行。
常見的操作有:
output:port: 輸出數據包到指定的端口,port是指端口的OpenFlow端口編號
mod_vlan_vid: 修改數據包中的VLAN tag
**strip_vlan: **移除數據包中的VLAN tag
**mod_dl_src/mod_dl_dest: **修改源或者目標的MAC地址信息
**mod_nw_src/mod_nw_dst: **修改源或者目標的IPv4地址信息
**resubmit:port: **替換流表的in_port 字段,並重新進行匹配
**load:value->dst[start..end]: **寫數據到指定的字段
實踐操作OpenFlow命令
在本例中, 我們會創建一個不連接到任何控制器的OVS交換機,並演示如何使用ovs-ofctl命令操作OpenFlow流表
創建一個新的網橋br0
ovs-vsctl add-br ovs-switch
列出所有網橋
ovs-vsctl list-br
判斷網橋是否存在
ovs-vsctl br-exists br0
創建一個虛擬網卡p0,並將其添加到網橋br0中,設置OpenFlow中對應的編號為100,並將其設置為internal類型。如果在創建端口的時候沒有指定OpenFlow端口編號,OVS 會自動生成一個。
# 命令會報錯,不用理會
tunctl -t p0 -u root
ovs-vsctl add-port br0 p0 -- set Interface p0 ofport_request=100 type=internal
# 查看是否創建成功
ovs-vsctl list-ports br0
查看端口p0信息
ethtool -i p0
輸出結果
driver: openvswitch
version:
firmware-version:
expansion-rom-version:
bus-info:
supports-statistics: no
supports-test: no
supports-eeprom-access: no
supports-register-dump: no
supports-priv-flags: no
為了避免網絡接口上的地址和本機已有網絡地址沖突,我們可以創建一個虛擬網絡空間ns0,把p0接口移入網絡空間 ns0,並配置IP地址為 192.168.1.100
ip netns add ns0
ip link set p0 netns ns0
ip netns exec ns0 ip addr add 192.168.1.100/24 dev p0
ip netns exec ns0 ifconfig p0 promisc up # 設置網口為混雜模式
使用同樣的方法創建端口 p1、p2,創建的端口信息如下表所示(ip netns exec ns0 ifconfig查看)。
端口 | 說明 |
---|---|
p0 | 地址: 192.168.1.100/24 網絡名稱空間: ns0 網絡接口 MAC 地址: c6:79:2c:ed:b9:ae OpenFlow Port Number: 100 |
p1 | 地址: 192.168.1.101/24 網絡名稱空間: ns1 網絡接口 MAC 地址: 62:fd:8e:74:84:c7 OpenFlow Port Number: 101 |
p2 | 地址: 192.168.1.102/24, 網絡名稱空間: ns2 網絡接口 MAC 地址: 5e:e6:08:6a:34:87 OpenFlow Port Number: 102 創建所有的端口之后, 查看 OVS 交換機的信息 |
創建所有的端口之后, 查看 OVS 交換機的信息
ovs-vsctl show
輸出結果
f603c968-de28-4e16-8ce5-3ddc4df61544
Bridge "br0"
Port "p0"
Interface "p0"
type: internal
Port "p1"
Interface "p1"
type: internal
Port "p2"
Interface "p2"
type: internal
Port "br0"
Interface "br0"
type: internal
ovs_version: "2.9.2
使用ovs-ofctl創建並測試OpenFlow命令
查看OpenvSwitch中的端口信息。
從輸出結果中,可以獲得交換機對應的datapath ID(dpid),以及每個端口的 OpenFlow端口編號,端口名稱,當前狀態等等。
ovs-ofctl show br0
#輸出結果
OFPT_FEATURES_REPLY (xid=0x2): dpid:0000d28c3022414d
n_tables:254, n_buffers:0
capabilities: FLOW_STATS TABLE_STATS PORT_STATS QUEUE_STATS ARP_MATCH_IP
actions: output enqueue set_vlan_vid set_vlan_pcp strip_vlan mod_dl_src mod_dl_dst mod_nw_src mod_nw_dst mod_nw_tos mod_tp_src mod_tp_dst
100(p0): addr:00:00:00:00:00:00
config: PORT_DOWN
state: LINK_DOWN
speed: 0 Mbps now, 0 Mbps max
101(p1): addr:00:00:00:00:00:00
config: PORT_DOWN
state: LINK_DOWN
speed: 0 Mbps now, 0 Mbps max
102(p2): addr:00:00:00:00:00:00
config: PORT_DOWN
state: LINK_DOWN
speed: 0 Mbps now, 0 Mbps max
LOCAL(br0): addr:d2:8c:30:22:41:4d
config: PORT_DOWN
state: LINK_DOWN
speed: 0 Mbps now, 0 Mbps max
OFPT_GET_CONFIG_REPLY (xid=0x4): frags=normal miss_send_len=0
如果想獲得網絡接口的OpenFlow編號,也可以在OVS的數據庫中查詢
ovs-vsctl get Interface p0 ofport
查看datapath的信息
ovs-dpctl show
# 輸出結果
system@ovs-system:
lookups: hit:2021 missed:104 lost:0
flows: 0
masks: hit:2942 total:0 hit/pkt:1.38
port 0: ovs-system (internal)
port 1: br0 (internal)
port 2: p0 (internal)
port 3: p1 (internal)
port 4: p2 (internal)
屏蔽數據包
屏蔽所有進入 OVS 的以太網廣播數據包
ovs-ofctl add-flow br0 "table=0, dl_src=01:00:00:00:00:00/01:00:00:00:00:00, actions=drop"
屏蔽 STP 協議的廣播數據包
ovs-ofctl add-flow br0 "table=0, dl_dst=01:80:c2:00:00:00/ff:ff:ff:ff:ff:f0, actions=drop"
修改數據包
添加新的OpenFlow條目,修改從端口p0收到的數據包的源地址為 9.181.137.1
ovs-ofctl add-flow br0 "priority=1 idle_timeout=0, in_port=100, actions=mod_nw_src:9.181.137.1, normal"
從端口p0(192.168.1.100)ping端口p1(192.168.1.101)
ip netns exec ns0 ping 192.168.1.101
在接收端口 p1 監控數據,發現接收到的數據包的來源已經被修改為 9.181.137.1
ip netns exec ns1 tcpdump -i p1 icmp
輸出結果,只有發送沒有回包
listening on p1, link-type EN10MB (Ethernet), capture size 262144 bytes
11:26:04.845816 IP 9.181.137.1 > localhost.localdomain: ICMP echo request,id 50609,seq 6, length 64
11:26:05.847021 IP 9.181.137.1 > localhost.localdomain: ICMP echo request,id 50609,seq 7, length 64
11:26:06.848090 IP 9.181.137.1 > localhost.localdomain: ICMP echo request,id 50609,seq 8, length 64
11:26:07.849111 IP 9.181.137.1 > localhost.localdomain: ICMP echo request,id 50609,seq 9, length 64
重定向數據包
添加新的OpenFlow條目,重定向所有的ICMP數據包到端口p2
ovs-ofctl add-flow br0 idle_timeout=0,dl_type=0x0800,nw_proto=1,actions=output:102
從端口 p0 (192.168.1.100)發送ping數據到端口 p1(192.168.1.101)
ip netns exec ns0 ping 192.168.1.101
在端口 p2 上監控數據,發現數據包已被轉發到端口 p2
ip netns exec ns2 tcpdump -i p2 icmp
輸出結果
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on p2, link-type EN10MB (Ethernet), capture size 262144 bytes
11:33:06.739 IP 192.168.1.100 > localhost.localdomain: ICMP echo request,id 50621,seq 9,length 64
11:33:07.752 IP 192.168.1.100 > localhost.localdomain: ICMP echo request,id 50621,seq 10,length 64
11:33:08.767 IP 192.168.1.100 > localhost.localdomain: ICMP echo request,id 50621,seq 11,length 64
11:33:09.782 IP 192.168.1.100 > localhost.localdomain: ICMP echo request,id 50621,seq 12,length 64
修改數據包的 VLAN Tag
除了使用"ping"、"tcpdump"和"iperf" 等 Linux 命令以外,我們也可以使用 OVS提供的ovs-appctl ofproto/trace 工具來測試OVS對數據包的轉發狀況。ovs-appctl ofproto/trace可以用來生成測試用的模擬數據包,並一步步的展示OVS 對數據包的流處理過程。在以下的例子中,我們演示一下如何使用這個命令:
修改端口p1的VLAN tag為101,使端口p1成為一個隸屬於VLAN 101的端口
ovs-vsctl set port p1 tag=101
# 使用ovs-vsctl show可以看到設置的TAG
現在由於端口p0和p1屬於不同的VLAN(如果沒有給端口設置VLAN Tag,那么該端口默認屬於VLAN 0),它們之間無法進行數據交換。我們使用ovs-appctl ofproto/trace生成一個從端口p0發送到端口p1的數據包,這個數據包不包含任何 VLAN tag,並觀察 OVS 的處理過程
ovs-appctl ofproto/trace br0 in_port=100,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7 -generate
#輸出結果
Flow: in_port=100,vlan_tci=0x0000,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7,dl_type=0x0000
bridge("br0")
-------------
0. in_port=100, priority 1
mod_nw_src:9.181.137.1
NORMAL
-> learned that 66:4e:cc:ae:4d:20 is on port p0 in VLAN 0
-> no learned MAC for destination, flooding
Final flow: unchanged
Megaflow:recirc_id=0,eth,in_port=100,vlan_tci=0x0000/0x1fff,dl_src=66:4e:cc:ae:4d:20,dl_dst=46:54:8a:95:dd:f8,dl_type=0x0000
Datapath actions: 1,4
在輸出結果中:
對於橋br0學習到p0的MAC是c6:79:2c:ed:b9:ae,並且屬於VLAN0,但由於數據是去往VLAN101的,由於目前的配置不支持跨VLAN通信的功能,即使進行flooding了OVS也無法感知數據從那個port出。
創建一條新的Flow:對於於從端口p0進入交換機的數據包,如果它不包含任何VLAN tag,則自動為它添加VLAN tag 101。
ovs-ofctl add-flow br0 priority=3,in_port=100,dl_vlan=0xffff,actions=mod_vlan_vid:101,normal
再次嘗試從端口p0發送一個不包含任何VLAN tag的數據包,發現數據包進入端口p0之后, 會被加上VLAN tag101, 同時自動轉發到端口p1上。
# 先讓br0(port101端口)學習一下P1的MAC
ovs-appctl ofproto/trace br0 in_port=101,dl_src=62:fd:8e:74:84:c7,dl_dst=c6:79:2c:ed:b9:ae -generate
# 發送數據
ovs-appctl ofproto/trace br0 in_port=100,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7 -generate
# 輸出結果
Flow: in_port=100,vlan_tci=0x0000,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7,dl_type=0x0000
bridge("br0")
-------------
0. in_port=100,vlan_tci=0x0000, priority 3
mod_vlan_vid:101
NORMAL
-> forwarding to learned port
Final flow: in_port=100,dl_vlan=101,dl_vlan_pcp=0,vlan_tci1=0x0000,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7,dl_type=0x0000
Megaflow: recirc_id=0,eth,in_port=100,vlan_tci=0x0000,dl_src=c6:79:2c:ed:b9:ae,dl_dst=62:fd:8e:74:84:c7,dl_type=0x0000
Datapath actions: 3
從輸出結果上看交換機br0終於進行了數據轉發。
其他OpenFlow常用操作
查看交換機中的所有Table
ovs-ofctl dump-tables ovs-switch
查看交換機中的所有流表項
ovs-ofctl dump-flows ovs-switch
刪除編號為100的端口上的所有流表項
ovs-ofctl del-flows ovs-switch "in_port=100"
查看交換機上的端口信息
ovs-ofctl show ovs-switch
通過 Floodlight管理OVS
OpenFlow控制器可以通過OpenFlow協議連接到任何支持OpenFlow的交換機,控制器通過和交換機交換流表規則來控制數據流向。另一方面,OpenFlow控制器向用戶提供的界面或者接口,用戶可以通過界面對網絡架構進行動態的修改,修改交換機的流表規則等等。Floodlight是一個基於Apache協議,使用Java開發的企業級OpenFlow控制器。我們在下面的例子中演示如何安裝Floodlight,並連接管理OVS的過程。
git clone git://github.com/floodlight/floodlight.git
cd floodlight/
ant
java -jar target/floodlight.jar
為OVS配置控制器floodlight
ovs-vsctl set-controller ovs-switch tcp:IP地址:6633
參考
https://www.sdnlab.com/sdn-guide/14747.html
https://blog.csdn.net/x_i_y_u_e/article/details/56011074
https://blog.csdn.net/tantexian/article/details/46707175
ovs常用命令
https://www.ibm.com/developerworks/cn/cloud/library/1401_zhaoyi_openswitch/
OVS+KVM實踐
網絡虛擬化入門
CentOS7安裝KVM
vxlan實驗
vxlan實驗ping不同問題