https://kernelgo.org/vtd_interrupt_remapping_code_analysis.html
本文中我们将一起来分析一下VT-d中断重映射的代码实现， 在看本文前建议先复习一下VT-d中断重映射的原理，可以参考VT-D Interrupt Remapping这篇文章。 看完中断重映射的原理我们必须明白：直通设备的中断是无法直接投递到Guest中的，需要先将其中断映射到host的某个中断上，然后再重定向（由VMM投递）到Guest内部．
我们将从
- 1.中断重映射Enable
- 2.中断重映射实现
- 3.中断重映射下中断处理流程
这3个层面去分析VT-d中断重映射的代码实现。
1.中断重映射Enable
当BIOS开启VT-d特性之后，操作系统初始化的时候会通过cpuid去检测硬件平台是否支持VT-d Interrupt Remapping能力， 然后做一些初始化工作后将操作系统的中断处理方式更改为Interrupt Remapping模式。
start_kernel --> late_time_init --> x86_late_time_init --> x86_init.irqs.intr_mode_init() --> apic_intr_mode_init --> default_setup_apic_routing --> enable_IR_x2apic --> irq_remapping_prepare # Step1:使能Interrupt Reampping --> intel_irq_remap_ops.prepare() --> remap_ops = &intel_irq_remap_ops --> irq_remapping_enable # Step2:做一些工作 --> remap_ops->enable() 从代码堆栈可以看到内核初始化的时候会初始化中断，在default_setup_apic_routing中会分2个阶段对Interrupt Remapping进行Enable。 这里涉及到一个关键的数据结构intel_irq_remap_ops，它是Intel提供的Intel CPU平台的中断重映射驱动方法集。
struct irq_remap_ops intel_irq_remap_ops = { .prepare = intel_prepare_irq_remapping, .enable = intel_enable_irq_remapping, .disable = disable_irq_remapping, .reenable = reenable_irq_remapping, .enable_faulting = enable_drhd_fault_handling, .get_ir_irq_domain = intel_get_ir_irq_domain, .get_irq_domain = intel_get_irq_domain, }; 阶段1调用intel_irq_remap_ops的prepare方法。该方法主要做的事情有：
- 调用了dmar_table_init从ACPI表中解析了DMAR Table关键信息。 关于VT-d相关的ACPI Table信息可以参考VT-D Spec Chapter 8 BIOS Consideration和Introduction to Intel IOMMU 这篇文章。
- 遍历每个iommu检查是否支持中断重映射功能（dmar_ir_support）。
- 调用intel_setup_irq_remapping为每个IOMMU分配中断重映射表（Interrupt Remapping Table）。
static int intel_setup_irq_remapping(struct intel_iommu *iommu) { ir_table = kzalloc(sizeof(struct ir_table), GFP_KERNEL); //为IOMMU申请一块内存，存放ir_table和对应的bitmap pages = alloc_pages_node(iommu->node, GFP_KERNEL | __GFP_ZERO, INTR_REMAP_PAGE_ORDER); bitmap = kcalloc(BITS_TO_LONGS(INTR_REMAP_TABLE_ENTRIES), sizeof(long), GFP_ATOMIC); // 创建ir_domain和ir_msi_domain iommu->ir_domain = irq_domain_create_hierarchy(arch_get_ir_parent_domain(), 0, INTR_REMAP_TABLE_ENTRIES, fn, &intel_ir_domain_ops, iommu); irq_domain_free_fwnode(fn); iommu->ir_msi_domain = arch_create_remap_msi_irq_domain(iommu->ir_domain, "INTEL-IR-MSI", iommu->seq_id); ir_table->base = page_address(pages); ir_table->bitmap = bitmap; iommu->ir_table = ir_table; iommu_set_irq_remapping //最后将ir_table地址写入到寄存器中并最后enable中断重映射能力 } 阶段2调用irq_remapping_enable中判断Interrupt Remapping是否Enable如果还没有就Enable一下，然后set_irq_posting_cap设置Posted Interrupt Capability等。
2.中断重映射实现
要使得直通设备的中断能够工作在Interrupt Remapping模式下VFIO中需要做很多的准备工作． 首先，QEMU会通过PCI配置空间向操作系统呈现直通设备的MSI/MSI-X Capability， 这样Guest OS加载设备驱动程序时候会尝试去Enable直通设备的MSI/MSI-X中断． 为了方便分析代码流程这里以MSI中断为例。 Guest OS设备驱动尝试写配置空间来Enable设备中断，这时候会访问设备PCI配置空间发生VM Exit被QEMU截获处理． 对于MSI中断Enable会调用vfio_msi_enable函数．
从PCI Local Bus Spec 可以知道MSI中断的PCI Capability为xxx
QEMU Code: static void vfio_msi_enable(VFIOPCIDevice *vdev) { int ret, i; vfio_disable_interrupts(vdev); #先disable设备中断 vdev->nr_vectors = msi_nr_vectors_allocated(&vdev->pdev); #从设备配置空间读取设备Enable的MSI中断数目 vdev->msi_vectors = g_new0(VFIOMSIVector, vdev->nr_vectors); for (i = 0; i < vdev->nr_vectors; i++) { VFIOMSIVector *vector = &vdev->msi_vectors[i]; vector->vdev = vdev; vector->virq = -1; vector->use = true; if (event_notifier_init(&vector->interrupt, 0)) { error_report("vfio: Error: event_notifier_init failed"); } qemu_set_fd_handler(event_notifier_get_fd(&vector->interrupt), // 绑定irqfd的处理函数 vfio_msi_interrupt, NULL, vector); // 将中断信息刷新到kvm irq routing table里，其实就是建立起gsi和irqfd的映射关系 vfio_add_kvm_msi_virq(vdev, vector, i, false); } /* Set interrupt type prior to possible interrupts */ vdev->interrupt = VFIO_INT_MSI; // 使能msi中断！！！重点分析 ret = vfio_enable_vectors(vdev, false); .... } vfio_msi_enable的主要流程是：从配置空间查询支持的中断数目 --> 对每个MSI中断进行初始化（分配一个irqfd） --> 将MSI gsi信息和irqfd绑定并刷新到中断路由表中 --> 使能中断（调用vfio-pci内核ioctl为MSI中断申请irte并刷新中断路由表表项）。
vfio_pci_write_config --> vfio_msi_enable --> vfio_add_kvm_msi_virq --> kvm_irqchip_add_msi_route #为MSI中断申请gsi，并更新irq routing table（QEMU里面有一份Copy） --> kvm_irqchip_commit_routes --> kvm_irqchip_add_irqfd_notifier_gsi #将irqfd和gsi映射信息注册到kvm内核模块中fd = kvm_interrupt, gsi=virq, flags=0, rfd=NULL --> kvm_vm_ioctl(s, KVM_IRQFD, &irqfd) --> vfio_enable_vectors --> ioctl(vdev->vbasedev.fd, VFIO_DEVICE_SET_IRQS, irq_set) #调用vfio-pci内核接口使能中断，重点分析！ kvm_irqchip_commit_routes的逻辑比较简单这里跳过，kvm_irqchip_add_irqfd_notifier_gsi的逻辑稍微有些复杂后面专门写一篇来分析， 只需要知道这里是将gsi和irqfd信息注册到内核模块中（KVM irqfd提供了一种中断注入机制）并且可以在这个fd上监听事件来达到中断注入的目的。 这里重点分析vfio_enable_vectors的代码流程。
Kernel Code: vfio_enable_vectors --> vfio_pci_ioctl // irq_set 传入了一个irqfd数组 --> vfio_pci_set_irqs_ioctl --> vfio_pci_set_msi_trigger --> vfio_msi_enable #Step1：为MSI中断申请Host IRQ，这里会一直调用到Interrupt Remapping框架分配IRTE --> pci_alloc_irq_vectors --> vfio_msi_set_block #Step2：这里绑定irqfd，建立好中断注入通道 --> vfio_msi_set_vector_signal vfio_pci_set_msi_trigger函数中主要有2个关键步骤。
vfio_msi_enable
vfio_msi_enable -> pci_alloc_irq_vectors -> pci_alloc_irq_vectors_affinity -> __pci_enable_msi_range -> msi_capability_init -> pci_msi_setup_msi_irqs -> arch_setup_msi_irqs -> x86_msi.setup_msi_irqs -> native_setup_msi_irqs -> msi_domain_alloc_irqs -> __irq_domain_alloc_irqs,irq_domain_activate_irq
这里内核调用栈比较深，我们只需要知道vfio_msi_enable最终调用到了__irq_domain_alloc_irqs -> intel_irq_remapping_alloc. 在intel_irq_remapping_alloc中申请这个中断对应的IRTE。这里先调用的alloc_irte函数返回irte在中断重映射表中的index号（即中断重映射表的索引号）， 再调用intel_irq_remapping_prepare_irte去填充irte。
static int intel_irq_remapping_alloc(struct irq_domain *domain, unsigned int virq, unsigned int nr_irqs, void *arg) { index = alloc_irte(iommu, virq, &data->irq_2_iommu, nr_irqs); #向Interrupt Remapping Table申请index for (i = 0; i < nr_irqs; i++) { irq_data = irq_domain_get_irq_data(domain, virq + i); irq_cfg = irqd_cfg(irq_data); irq_data->hwirq = (index << 16) + i; irq_data->chip_data = ird; irq_data->chip = &intel_ir_chip; intel_irq_remapping_prepare_irte(ird, irq_cfg, info, index, i); } } irq_domain_activate_irq最终会调用到：intel_irq_remapping_activate -> intel_ir_reconfigure_irte -> modify_irte 。 modify_irte中会将新的irte刷新到中断重定向表中。
vfio_msi_set_block
vfio_msi_set_block中调用vfio_msi_set_vector_signal为每个msi中断安排其Host IRQ的信号处理钩子，用来完成中断注入。 其内核调用栈为：
vfio_pci_ioctl vfio_pci_set_irqs_ioctl vfio_pci_set_msi_trigger vfio_msi_set_block irq_bypass_register_producer __connect kvm_arch_irq_bypass_add_producer vmx_update_pi_irte #在Posted Interrupt模式下在这里刷新irte为Posted Interrupt 模式 irq_set_vcpu_affinity intel_ir_set_vcpu_affinity modify_irte 再看下一vfio_msi_set_vector_signal的代码主要流程。 可以看出vfio_msi_set_vector_signal中为设备MSI中断申请了一个ISR，即vfio_msihandler， 然后注册了一个producer。
static int vfio_msi_set_vector_signal(struct vfio_pci_device *vdev, int vector, int fd, bool msix) { irq = pci_irq_vector(pdev, vector); #获得每个MSI中断的irq号， trigger = eventfd_ctx_fdget(fd); if (msix) { struct msi_msg msg; get_cached_msi_msg(irq, &msg); pci_write_msi_msg(irq, &msg); } #在host上申请中断处理函数 ret = request_irq(irq, vfio_msihandler, 0, vdev->ctx[vector].name, trigger); vdev->ctx[vector].producer.token = trigger; # irqfd对应的event_ctx vdev->ctx[vector].producer.irq = irq; ret = irq_bypass_register_producer(&vdev->ctx[vector].producer); vdev->ctx[vector].trigger = trigger; } 这样直通设备的中断会触发Host上的vfio_msihandler这个中断处理函数。在这个函数中向这个irqfd发送了一个信号通知中断到来， 如此一来KVM irqfd机制在poll这个irqfd的时候会受到这个事件，随后调用事件的处理函数注入中断。 irqfd_wakeup -> EPOLLIN -> schedule_work(&irqfd->inject) -> irqfd_inject -> kvm_set_irq这样就把中断注入到虚拟机了。
static irqreturn_t vfio_msihandler(int irq, void *arg) { struct eventfd_ctx *trigger = arg; eventfd_signal(trigger, 1); return IRQ_HANDLED; }
__u64 eventfd_signal(struct eventfd_ctx *ctx, __u64 n) { unsigned long flags; spin_lock_irqsave(&ctx->wqh.lock, flags); if (ULLONG_MAX - ctx->count < n) n = ULLONG_MAX - ctx->count; ctx->count += n; if (waitqueue_active(&ctx->wqh)) wake_up_locked_poll(&ctx->wqh, POLLIN); spin_unlock_irqrestore(&ctx->wqh.lock, flags); return n; }
思考一下：为什么触发这个irqfd的写事件后，直通设备的中断就能够被重映射到虚拟机内部呢？
原因在于，前面我们提到的直通设备MSI中断的GSI和irqfd是一对一绑定的， 所以直通设备在向Guest vCPU投递MSI中断的时候首先会被IOMMU截获， 中断被重定向到Host IRQ上，然后通过irqfd注入MSI中断到虚拟机内部。
3.中断重映射下中断处理流程
为了方便理解，我花了点时间画了下面这张图，方便读者理解中断重映射场景下直通设备的中断处理流程：
总结一下中断重映射Enable和处理流程：
QEMU向虚拟机呈现设备的PCI配置空间信息 -> 设备驱动加载，读写PCI配置空间Enable MSI -> VM Exit到QEMU中处理vfio_pci_write_config -> QEMU调用vfio_msi_enable使能MSI中断 -> kvm_set_irq_routing更新中断路由表PRT， kvm_irqfd_assign注册irqfd和gsi的映射关系， vfio_pci_set_msi_trigger分配Host irq并分配对应的IRTE和刷新中断重映射表， vfio_msi_set_vector_signal注册Host irq的中断处理函数vfio_msihandler -> vfio_msihandler写了irqfd这样就触发了EPOLLIN事件 -> irqfd接受到EPOLLIN事件，调用irqfd_wakeup -> kvm_arch_set_irq_inatomic 尝试直接注入中断，如果被BLOCK了（vCPU没有退出？）就调用 schedule_work(&irqfd->inject)，让kworker延后处理 -> irqfd_inject向虚拟机注入中断 -> 虚拟机退出的时候写对应VCPU的vAPIC Page IRR字段注入中断到Guest内部。 Done!