最新開源摳圖技術，實時快速高分辨率，4k(30fps)、現代GPU（60fps）

我愛計算機視覺

公眾號『我愛計算機視覺』關注算法，更關注思想的價值

4 人贊同了該文章

#摳圖#

Real-Time High-Resolution Background Matting

華盛頓大學學者提出一種實時的、高分辨率的背景替換技術，在4K分辨率下，該技術的運行速度為30fps，在現代GPU上，高清的運行速度為 60fps。技術是基於背景摳圖，其中一幀額外的背景被捕獲並用於恢復 alpha matte(前景蒙版)和前景層。

該技術主要的挑戰是計算高質量的 alpha matte(前景蒙版)，保留 strand-level 頭發細節，同時實時處理高分辨率圖像。

為了實現這一目標，作者采用兩個神經網絡；一個基礎網絡計算一個低分辨率的結果，結果由第二個網絡在高分辨率下對選定的補丁進行完善。還引入兩個大規模的視頻和圖像摳圖數據集：VideoMatte240K 和 PhotoMatte13K/85。

與先前最先進的摳圖方法相比，該方法可以獲得更高質量的結果，同時在速度和分辨率上都有顯著提升。

作者稱本項工作的目的是通過視頻通話中的背景替換，實現創造性的應用，給用戶提供更多的隱私選擇。對於被用在不法之處，可以通過水印和其他安全技術來緩解。

authors | Shanchuan Lin, Andrey Ryabtsev, Soumyadip Sengupta, Brian Curless, Steve Seitz, Ira Kemelmacher-Shlizerman

units | 華盛頓大學

paper | Real-Time High-Resolution Background Matting

github | PeterL1n/BackgroundMattingV2

home | Real-Time High-Resolution Background Matting

Background Matting V2

我愛計算機視覺的視頻

 · 7  播放

 

發布於 3 小時前

圖像處理

摳圖Matting

實時快速高分辨率