最近用到了一次qemu-kvm 網卡透傳的功能,在這里我要透傳的是25G網卡,記錄一下步驟:
1.修改BIOS setup,打開VT-d選項,VT-d是intel cpu支持硬件虛擬化的技術,通過它可以直接分配物理設備給客戶機,是透傳必需的設定。
2.在grub里添加intel_iommu=on選項,iommu即input/output memory management unit,IOMMU在虛擬化的支持主要兩個方面,一個DMA Remapping, 另外一個是Interrupt Remapping
3.開機后找到網卡的pci address, 這里是18:00.0和18:00.1
查看device ID
lspci -n -s 18:00.0
18:00.0 8086:158B
-n :show device number id
-s:select slot
4.驗證下是否支持iommu
[root@REDIS-Client ~]$dmesg |grep -i iommu|grep 18:00
[ 6.396220] pci 0000:18:00.0: Adding to iommu group 23
[ 6.396285] pci 0000:18:00.1: Adding to iommu group 24
或者
[root@REDIS-Client ~]$readlink /sys/bus/pci/devices/0000\:18\:00.0/iommu_group
../../../../kernel/iommu_groups/23
[root@REDIS-Client ~]$readlink /sys/bus/pci/devices/0000\:18\:00.1/iommu_group
../../../../kernel/iommu_groups/24
5.設置SR_IOV的 VF端口數量,1表示只有一個VF端口,一個VF端口只能同時給一個設備使用,用來控制是否多個虛擬機共享此設備的。
echo 1 > /sys/bus/pci/devices/0000:18:00.0/sriov_numvfs
echo 1 > /sys/bus/pci/devices/0000:18:00.1/sriov_numvfs
6.ubund form host device driver
echo "0000:18:00.0" > /sys/bus/pci/devices/0000\:18\:00.1/driver/unbind
echo "0000:18:00.1" > /sys/bus/pci/devices/0000\:18\:00.1/driver/unbind
7.bind to vfio-pci
modprobe vfio
modprobe vfio-pci
[root@REDIS-Client ~]$echo "8086 158b" > /sys/bus/pci/drivers/vfio-pci/new_id
[root@REDIS-Client ~]$ls /dev/vfio/
23 24 vfio
8.起guest時添加參數
-device vfio-pci,host=18:00.0,id=net0 -device vfio-pci,host=18:00.1,id=net1
*注意:由於網卡是直接由host分配給虛擬機的,所以這里不需要做任何bridge,直接配置IP就可以用的。