碼上快樂

相關內容    簡體    繁體

virtio,macvtap,sriov

本文轉載自   查看原文   2017-12-14 10:21   1921    面試

本文轉自http://xiaoli110.blog.51cto.com/1724/1558984

 

一個完整的數據包從虛擬機到物理機的路徑是：

虛擬機--QEMU虛擬網卡--虛擬化層--內核網橋--物理網卡

KVM的網絡優化方案，總的來說，就是讓虛擬機訪問物理網卡的層數更少，直至對物理網卡的單獨占領，和物理機一樣的使用物理網卡，達到和物理機一樣的網絡性能。

方案一 全虛擬化網卡和virtio

Virtio與全虛擬化網卡區別    

全虛擬化網卡是虛擬化層完全模擬出來的網卡，半虛擬化網卡通過驅動對操作系統做了改造；    

viritio簡單的說，就是告訴虛擬機，hi 你就是在一個虛擬化平台上跑，咱們一起做一些改動，讓你在虛擬化平台上獲得更好的性能；

關於virtio的使用場景

因 為windows虛擬機使用viritio有網絡閃斷的情況發生，windows 虛擬機如果網絡壓力不高，建議使用e1000這樣的全虛擬化網卡，如果網絡壓力比較高，建議使用SRIVO或者PCI Device Assignment這樣的技術；viritio也在不斷的演進，希望windows的閃斷的問題越來越少。

KVM天生就是為linux系統設計的，linux系統請放心大膽的使用viritio驅動；

 

方案二 vhost_net macvtap技術

vhost_net使虛擬機的網絡通訊直接繞過用戶空間的虛擬化層，直接可以和內核通訊，從而提供虛擬機的網絡性能；

macvtap則是跳過內核的網橋；

使用vhost_net，必須使用virtio半虛擬化網卡；

vhost_net虛擬機xml文件配置，

  1. <interface type='bridge'> 
  2.      <mac address=''/> 
  3.      <source bridge='br0'/> 
  4.      <model type='virtio'/> 
  5. <driver name="vhost"/> 
  6.      <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/> 
  7.    </interface> 

如果不使用vhost_net，則為

  1. <driver name="qemu"/> 

macvtap 虛擬機xml配置

  1. <interface type='direct'> 
  2.       <mac address='00:16:3e:d5:d6:77'/> 
  3.       <source dev='lo' mode='bridge'/> 
  4.       <model type='e1000'/> 
  5.       <address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/> 
  6.     </interface> 

注意：macvtap在windows虛擬機上性能很差，不建議使用

vhost_net macvtap比較

macvlan的功能是給同一個物理網卡配置多個MAC地址，這樣可以在軟件商配置多個以太網口，屬於物理層的功能。

macvtap是用來替代TUN/TAP和Bridge內核模塊，macvtap是基於macvlan這個模塊，提供TUN/TAP中tap設備使用的接口，

使用macvtap以太網口的虛擬機能夠通過tap設備接口，直接將數據傳遞到內核中對應的macvtap以太網口。

vhost-net是對於virtio的優化，virtio本來是設計用於進行客戶系統的前端與VMM的后端通信，減少硬件虛擬化方式下根模式個非根模式的切換。

而是用vhost-net后，可以進一步進入CPU的根模式后，需要進入用戶態將數據發送到tap設備后再次切入內核態的開銷，而是進入內核態后不需要在進行內核態用戶態的切換，進一步減少這種特權級的切換，說vhost-net屬於哪個層不准確，而是屬於進行二層網絡數據傳遞的優化。

 

方案三 虛擬機網卡獨占

網卡passthrough在虛擬機的配置方法

1 使用lcpci 設備查看pci設備信息

  1. 04:00.0 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06) 
  2. 04:00.1 Ethernet controller: Intel Corporation 82571EB Gigabit Ethernet Controller (rev 06) 

也可以使用virsh nodedev-list –tree得到信息

  1. +- pci_0000_00_07_0 
  2. |   | 
  3. |   +- pci_0000_04_00_0 
  4. |   |   | 
  5. |   |   +- net_p1p1_00_1b_21_88_69_dc 
  6. |   |   
  7. |   +- pci_0000_04_00_1 
  8. |       | 
  9. |       +- net_p1p2_00_1b_21_88_69_dd 

2 使用virsh nodedev-dumxml pci_0000_04_00_0得到xml配置信息

  1. [root@]# virsh nodedev-dumpxml pci_0000_04_00_0  
  1. <device> 
  2. <name>pci_0000_04_00_0</name> 
  3. <parent>pci_0000_00_07_0</parent> 
  4. <driver> 
  5.    <name>e1000e</name> 
  6. </driver> 
  7. <capability type='pci'> 
  8.    <domain>0</domain> 
  9.    <bus>4</bus> 
  10.    <slot>0</slot> 
  11.    <function>0</function> 
  12.    <product id='0x105e'>82571EB Gigabit Ethernet Controller</product> 
  13.    <vendor id='0x8086'>Intel Corporation</vendor> 
  14. </capability> 
  15. </device>

3 編輯虛擬機xml文件，加入pci設備信息

  1. <hostdev mode='subsystem' type='pci' managed='yes'> 
  2.      <source> 
  3.        <address domain='0x0000' bus='0x04' slot='0x00' function='0x0'/> 
  4.      </source> 
  5. </hostdev> 

Domain bus slot function信息從dumpxml出的xml文件獲取，define虛擬機，然后開啟虛擬機就可以，注意以為附件上去的是物理設備，需要在系統里面安裝相應的驅動。

 

方案四 SR-IVO技術

SRIOV的原理    

SR-IVO 是the single root I/O virtualization 的簡寫，是一個將PCIe共享給虛擬機使用的標准，目前用在網絡設備上比較多，理論上也可以支持其他的PCI設備，SRIOV需要硬件的支持。

以下內容來自oracle網站，鏈接為   
http://docs.oracle.com/cd/E38902_01/html/E38873/glbzi.html

物理功能 (Physical Function, PF)

用 於支持 SR-IOV 功能的 PCI 功能，如 SR-IOV 規范中定義。PF 包含 SR-IOV 功能結構，用於管理 SR-IOV 功能。PF 是全功能的 PCIe 功能，可以像其他任何 PCIe 設備一樣進行發現、管理和處理。PF 擁有完全配置資源，可以用於配置或控制 PCIe 設備。

虛擬功能 (Virtual Function, VF)

與物理功能關聯的一種功能。VF 是一種輕量級 PCIe 功能，可以與物理功能以及與同一物理功能關聯的其他 VF 共享一個或多個物理資源。VF 僅允許擁有用於其自身行為的配置資源。

每 個 SR-IOV 設備都可有一個物理功能 (Physical Function, PF)，並且每個 PF 最多可有 64,000 個與其關聯的虛擬功能 (Virtual Function, VF)。PF 可以通過寄存器創建 VF，這些寄存器設計有專用於此目的的屬性。

一 旦在 PF 中啟用了 SR-IOV，就可以通過 PF 的總線、設備和功能編號（路由 ID）訪問各個 VF 的 PCI 配置空間。每個 VF 都具有一個 PCI 內存空間，用於映射其寄存器集。VF 設備驅動程序對寄存器集進行操作以啟用其功能，並且顯示為實際存在的 PCI 設備。創建 VF 后，可以直接將其指定給 IO 來賓域或各個應用程序（如裸機平台上的 Oracle Solaris Zones）。此功能使得虛擬功能可以共享物理設備，並在沒有 CPU 和虛擬機管理程序軟件開銷的情況下執行 I/O。

SR-IOV 的優點

SR-IOV 標准允許在 IO 來賓域之間高效共享 PCIe 設備。SR-IOV 設備可以具有數百個與某個物理功能 (Physical Function, PF) 關聯的虛擬功能 (Virtual Function, VF)。VF 的創建可由 PF 通過設計用來開啟 SR-IOV 功能的寄存器以動態方式進行控制。缺省情況下，SR-IOV 功能處於禁用狀態，PF 充當傳統 PCIe 設備。

具有 SR-IOV 功能的設備可以利用以下優點：

1.性能－從虛擬機環境直接訪問硬件。

2.成本降低－節省的資本和運營開銷包括：

  • 節能
  • 減少了適配器數量
  • 簡化了布線
  • 減少了交換機端口

SRIOV的使用

啟動SRIVO內核模塊

modprobe igb

激活虛擬功能VF

modprobe igb max_vfs=7

千兆網卡最多支持8個vf0-7,千兆網卡目前支持比較好的是INTEL I350， 82576S雖然也支持SRIOV但是只支持虛擬機是linux的情況，windows系統不支持；

萬兆網卡最多支持64個vg0-63，intel的新新一代萬兆網卡都支持SRIOV x520 x540等；

如果需要重新設置vf 可以刪除模塊在重新加載

modprobe -r igb

將配置永久寫入配置文件

echo "options igb max_vfs=7" >>/etc/modprobe.d/igb.conf

通過lspci命令可以看多主網卡和子網卡

  1. # lspci | grep 82576     
  2. 0b:00.0 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)     
  3. 0b:00.1 Ethernet controller: Intel Corporation 82576 Gigabit Network Connection (rev 01)     
  4. 0b:10.0 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  5. 0b:10.1 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  6. 0b:10.2 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  7. 0b:10.3 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  8. 0b:10.4 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  9. 0b:10.5 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  10. 0b:10.6 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  11. 0b:10.7 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  12. 0b:11.0 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  13. 0b:11.1 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  14. 0b:11.2 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  15. 0b:11.3 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  16. 0b:11.4 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01)     
  17. 0b:11.5 Ethernet controller: Intel Corporation 82576 Virtual Function (rev 01) 

虛擬機可以聽過pci網卡獨占的方式使用子網卡；   

  1. <interface type='hostdev' managed='yes'>     
  2.     <source>     
  3.       <address type='pci' domain='0' bus='11' slot='16' function='0'/>     
  4.     </source>     
  5.   </interface> 

 

方案五 網卡多隊列

centos 7開始支持virtio網卡多隊列，可以大大提高虛擬機網絡性能，配置方法如下：

虛擬機的xml網卡配置

  1. <interface type='network'> 
  2.      <source network='default'/>        <model type='virtio'/>         <driver name='vhost' queues='N'/>    </interface> 

N 1 - 8 最多支持8個隊列

在虛擬機上執行以下命令開啟多隊列網卡

  1. #ethtool -L eth0 combined M 

N 1 - 8 最多支持8個隊列

在虛擬機上執行以下命令開啟多隊列網卡

  1. #ethtool -L eth0 combined M 

KVM網絡優化方案個人認為以硬件為主，硬件上萬兆+SRIOV的方案會越來越普及，但是在線遷移的問題有待解決。

本文出自：http://xiaoli110.blog.51cto.com/1724/1558984


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 macvtap介紹 virtio 簡介 virtio介紹 macvtap與vhost-net技術 virtio簡介（四）—— 從零實現一個virtio設備 鯤鵬服務器sriov Virtio SCSI設備介紹 virtio-scsi驅動 virtio簡介（一）--框架分析 [轉]virtio之vring
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM