VDMA操作相关，VDMA实现流水线

 

1.CSDN 上的原文 -*----HLS图像处理系列——在ZEDBoard搭建DDR图像处理通路

ZYNQ芯片内包含一个丰富特性的基于双核ARM Cortex-A9的处理子系统（Processing System，PS）和Xilinx 28nm可编程逻辑（Programmable Logic，PL）。PS除了核心外还包括片上存储器、外部存储器接口以及大量外设连接接口。

利用ARM，我们可以做嵌入式操作系统相关的任务，如图形界面、用户输入、网络、DDR3控制等，由于ARM本身具有丰富的外设接口，而且支持多级流水线，处理这些事务游刃有余，但对于计算量较大的应用却捉襟见肘，因为ARM本身还是典型的串行处理器，不适合做大数据、实时性较高的处理任务。FPGA恰好弥补了这一点，利用可编程逻辑可以实现并行处理，只要逻辑资源够用，我们可以采用以空间换时间的策略，使多个计算单元同时进行，可大大缩短处理时间。

用ZYNQ进行图像处理具有架构上的优势，因此对于用ZYNQ做视频相关的开发人员，一套ZYNQ上的图像通路是必须的。本博文介绍的是一种摄像头+HLS图像处理+DDR存储+VGA显示的图像通路。该通路是本人和另外一位同事合作实现，本人负责摄像头的FPGA驱动、HLS图像处理IP的实现以及系统的后期优化。由于涉及公司项目，因此不能提供工程文件，只提供框架和思路。

系统框架如下：

 

重点模块介绍：

Camera：采用ov7725摄像头，帧率60fps，分辨率640*480。关于摄像头时序的详解，请参考本人博文《教程——在ZEDBoard实现图像通路（Block Ram版本）》

封装后的摄像头IP如下图：

VDMA：在本设计中，VDMA的地位和通常设计中的DMA相似。但是，和DMA不同的是，VDMA专门为视频流数据提供的高度存储访问模块。其通过AXI-Stream协议接收视频数据，而控制信号（比如帧缓冲的大小，DMA功能的开启和关闭，以及一些其他的设置）则通过AXI-Lite从其他接口访问。

VDMA拥有两条DMA通路，S2MM通路将输入的AXI4-Stream数据流映射到指定的帧缓冲，而MM2S则相反，将帧缓冲输出为AXI4-Stream类型的数据流。

VDMA的配置界面如图：

 

其中可以看到一些对于数据帧的配置信息，以及FrameBuffers数量的设置。FrameBuffers数量至少为3个，因为如果少于3个，那么会出现写入DDR与读取DDR的冲突，导致图像出现断层现象。在本设计中，FrameBuffers设置为3个。

Video In to AXI4-Stream 与 AXI4-Stream to Video Out：由于摄像头传入的信号使用的协议并非AXI4-Stream，而VDMA却需要接收AXI4-Stream类型的数据，所以需要有专门的IP核来进行两者之间的转换。

这两个IP核是：

Video In to AXI4-Stream,该IP将视频数据转化为AXI4-Stream类型。本工程中，视频数据来自于camera模块，只需要camera提供四路信号：行同步、场同步、24bit的像素、数据有效信号。

AXI4-Stream to Video Out，该IP将AXI4-Stream类型数据转化为视频数据。视频数据即为VGA信号，包含行同步、场同步、数据有效信号以及像素。该模块有一个timing的输入，在本系统中，来自于video timing control IP。video timing control模块给AXI4-Stream to Video Out IP提供一个640*480p的VGA时序信号。

下图为Video In to AXI4-Stream IP与AXI4-Stream to Video Out IP：

 

这两个IP核在本设计中处于桥梁地位，用于连接外部IO和VDMA。在这两个模块内部的视频数据都是AXI4-Stream类型，省去了地址，因此速度更快、更容易处理。一般而言，HLS硬件图像处理模块都会放在这两个IP核之间。

HLS图像处理模块：本设计中，构建了一个简单的Sobel图像处理模块，由HLS工具生成打包成IP。关于HLS工具不多介绍，可以参考本人博客《HLS图像处理系列——前言》来初步了解HLS。HLS生成的IP输入输出视频流都符合AXI4-Stream协议。

然后，附上vivado的工程截图：

在SDK工程，主要是进行HLS IP的初始化与VDMA的初始化。只有初始化之后，整个图像通路才能正确运行。HLS初始化源码短短几行，但也是折磨了我好久，因为需要关闭中断，好长时间内都没有发现这个问题。初始化重点源码如下：

 

1.  
   /************config hls ip********/
2.  
   void ConfigureHlsIP(XImgprocess_top *ImgProcess)
3.  
   {
4.  
   ImgProcess->Control_bus_BaseAddress = XPAR_IMGPROCESS_TOP_0_S_AXI_CONTROL_BUS_BASEADDR;
5.  
   ImgProcess->IsReady = XIL_COMPONENT_IS_READY;
6.  
    
7.  
   XImgprocess_top_EnableAutoRestart(ImgProcess);
8.  
   XImgprocess_top_SetRows(ImgProcess, 480);
9.  
   XImgprocess_top_SetCols(ImgProcess, 640);
10.  
     
11.  
    XImgprocess_top_InterruptDisable(ImgProcess, 0xFFFFFFFF);
12.  
    XImgprocess_top_InterruptGlobalDisable(ImgProcess);
13.  
    XImgprocess_top_Start(ImgProcess);
14.  
    }
15.  
     
16.  
    int main()
17.  
    {
18.  
    init_platform();
19.  
    usleep( 100000);
20.  
    print( "Hello World\n\r");
21.  
    ConfigureHlsIP(&ImgProcess);
22.  
    // MM2S
23.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x00, 0x008B); // enable run, circular_park, GenlockEn, GenlockSrc
24.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x5C, 0x01000000); // Start address of the 1st frame(3 frames in all)
25.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x60, 0x02000000); // Start address of the 2nd frame(3 frames in all)
26.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x64, 0x03000000); // Start address of the 3rd frame(3 frames in all)
27.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x58, 0x0780); // Stride number
28.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x54, 0x0780); // number of bytes per line(640 x 3)
29.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x50, 0x01E0); // number of lines per frame(480)
30.  
     
31.  
    //S2MM
32.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0x30, 0x108B); // enable run, circular_park
33.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xAC, 0x01000000); // Start address of the 1st frame(3 frames in all)
34.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xB0, 0x02000000); // Start address of the 2nd frame(3 frames in all)
35.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xB4, 0x03000000); // Start address of the 3rd frame(3 frames in all)
36.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xA8, 0x0780); // Stride number
37.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xA4, 0x0780); // number of bytes per line(640 x 3)
38.  
    Xil_Out32(XPAR_AXI_VDMA_0_BASEADDR + 0xA0, 0x01E0); // number of lines per frame(480)
39.  
     
40.  
    return 0;
41.  
    }

     

    2.对上位的注解如下：

    HSIZE为每行的点数，单位byte；如果是rgb格式的数据就要在每行的点数上*3；

    VDMA IP中设置帧buffer为3，在寄存器设置时，就对应设置三个start address，对应每帧buffer的起始起始地址；在这里是VDMA实现乒乓帧，流水线操作的关键；genlock mode circular mode  internal genlock

    stride number 单位byte； 每次行突发的步进值；这个值小于等于HSIZE；

     

    手册中这段文字，一是解析VDMA在处理S2MM/MM2S两端对DDR总线的带宽资源的占用是如何进行仲裁的。

    二是，在这里更加体现VDMA 的乒乓流水特性；