作者：董岩
來源：公眾號@3D視覺工坊
本文介紹了CVPR 2020中關於事件相機（Event Camera）的相關研究。所列舉的論文由CVPR錄取論文中通過關鍵字搜索得到，難免會有遺漏；同時由於涉及具體的方向較多，粗略學習可能理解不到位，難免產生錯誤。望閱讀推送的朋友能夠指出遺漏和錯誤。附原文打包下載，公眾號后台回復「CVPR2020_Event_Camera」，即可獲得網盤下載鏈接。1、降噪Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras使用"Event probability mask (EPM)"表述一個事件點是否為噪聲，是一個概率。同時提出了一個衡量事件相機降噪效果的指標：Relative Plausibility Measure of Denosing (RPMD)；同時提出了一個降噪網絡：Event Denosing CNN (EDnCNN)；同時給出了一個降噪數據集：DVSNOISE20。
2、去模糊與超分辨率2.1 Joint Filtering of Intensity Images and Neuromorphic Events for High-Resolution Noise-Robust Imaging文章提出了一個全新的優化框架，guided event filtering (GEF)。這個框架結合了普通相機和事件相機的數據，估計運動參數與導向濾波、超分辨率等任務，同時這個框架后續可以用於特征跟蹤等任務。其基本思想是事件相機積累圖的邊緣，和傳統圖像的梯度，理論上是相同的。文中同樣采用RPG提出的最大化對比度的方式進行運動參數估計，只是修正了目標函數，加入了灰度圖像的梯度，減小了事件噪聲的影響。
2.2 Learning Event-Based Motion Deblurring文章提出了一個新型的端到端的去運動模糊的架構，在兩大重要指標上達到了state-of-art；並提出一種方向性事件濾波方法，生成了更加清晰銳利的邊緣信息。
2.3 Learning to Super Resolve Intensity Images from Events
由於事件相機的分辨率相對較低，文章提出了第一個直接有事件相機數據重建超分辨率圖像的端到端的神經網絡。
2.4 EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning文章提出了一個網絡，用於將低分辨率的事件相機圖像，轉為高分辨率的數據。整個網絡具有三個階段：重建、修復和超分辨率處理。重建部分采用單事件相機數據，通過網絡得到圖像數據，之后對重建后的圖像進行修復、提升質量，在家通過超分辨率網絡進行放大。網絡在訓練的過程中沒有完整的圖像作為ground truth，是一個無監督的學習過程。
3. 光流與運動3.1 Single Image Optical Flow Estimation with an Event Camera文章通過一張圖片和對應的事件相機數據，對圖像中的場景進行光流估計。文章提出了基於事件的亮度一致性約束（event-based brightness constancy constraint）對光流和事件數據的關系進行編碼，同時提出圖像模糊模型，能夠處理模糊圖像下的光流估計問題。從結果上看，超過了現有的 PWC-Net, FlowNet, SelFlow 等方法。
3.2 Learning Visual Motion Segmentation using Event Surfaces文章提出了一個圖卷積神經網絡，用事件數據流對運動物體進行分割。首先將一段事件數據流生成物體的點雲圖，之后獲得速度、邊界等參數，從而能夠進行3D運動分割、運動物體跟蹤等任務。
4. 其他主題4.1 3D人體位姿捕捉EventCap: Monocular 3D Capture of High-Speed Human Motions using an Event Camera本文提出了EventCap——第一個使用單目事件相機捕捉人體3D運動的方法。方法輸入完整的圖像序列，和對應的事件相機的數據，通過異步混合運動捕捉階段，再進行細化，得到完整的人體3D位姿。
4.2 運動參數全局最優解Globally Optimal Contrast Maximisation for Event-based Motion EstimationRPG曾經提出了利用事件相機數據，估計相機運動參數的一個框架，這個框架采用最大化對比度或其他目標函數，來估計運動參數。然而這個框架中需要對運動參數有一個初步的估計，如果距離真值較遠，只能獲得局部最優解，而不是全局最優解。本文提出了計算全局最優解的方法，采用了branch-and-bound(BnB)思想。文章從數學角度推算了方法的邊界。這種方法的計算效率遠低於直接優化獲得局部最優解，但得到的質量還是不錯。
4.3 視頻流轉Events數據Video to Events: Recycling Video Datasets for Event CamerasRPG提出的一個將視頻轉成事件相機輸出的一個網絡，網絡可以將一段兒視頻轉成對應的DVS輸出，代碼已開源：https://github.com/uzh-rpg/rpg_vid2e。通過該網絡，可以將現有的大量視頻數據集，轉成對應的event數據，更好地方便learning。可以看出，RPG在learning的路上越走越遠，已經不滿足於模擬器、仿真器等這些相對低效的手段獲取數據，而是直接從現有數據集轉化。
本文僅做學術分享，如有侵權，請聯系刪文。