D-Unet: A Dual-encoder U-Net for Image Splicing Forgery Detection and Localization


題目:D-Unet: A Dual-encoder U-Net for Image Splicing
Forgery Detection and Localization

出處:arxiv 2020.12.3

作者:Snipaste_2020-12-14_14-58-11

Department of Computer Science and Technology,

Chongqing University of Posts and Telecommunications

摘要:存在問題1. 多數檢測方法關注於local patches或者local objects。實際上拼接檢測是一個全局二分類任務。2. 一些特定的圖像內容在基於CNN的方法中很難保留。

解決問題:本文提出一個雙編碼器U-net(D-unet),包括一個unfixed encoder自動學習image fingerprints,一個fixed encoder提供方向信息。雙編碼器之后是一個spatial pyramid global-feature extraction module,擴展全局視野。本文方法使用少量訓練樣本。

網絡結構

Snipaste_2020-12-14_15-07-26

unfixed encoder

作者通過實驗選擇網絡深度和下采樣方式(最大池化maxpooling、步長為2的卷積下采樣)

casia用750張訓練,100張測試

columbia使用135張訓練,45張測試

用了評價指標和可視化來解釋實驗

unet-N-C/M 里的N是操作數量,M是最大池化,C是步長為2的卷積

Snipaste_2020-12-14_15-12-04

Snipaste_2020-12-14_15-12-14

實驗證明使用 unet-4-C (使用4個步長為2的卷積下采樣操作)效果最好

fixed encoder

設計了SRM編碼器和DWT編碼器(哈爾小波變換),兩個編碼器的特征融合方式有SF簡單融合,HF分級融合。

Snipaste_2020-12-14_15-21-01

Snipaste_2020-12-14_15-21-42

SF是把最后輸出拼接,HF是在每一層對應拼接

Snipaste_2020-12-14_15-24-36

作者用實驗選擇結構,包括可視化和評價指標。

Snipaste_2020-12-14_15-25-14

Snipaste_2020-12-14_15-25-45

根據實驗結果,選擇DWT編碼器,使用分層融合方式。

空間金字塔全局特征提取模塊

Snipaste_2020-12-14_15-27-28

使用3,5,7的卷積,從全局視角提取特征。

Unet-4-C是使用4個步長為2的卷積

Unet-4-C-S是使用SPGFE

Unet-4-C-HF-FE是DWT編碼器加unet4c加HF融合方式

Unet-4-C-HF-FE-S是本文結構

用實驗證明結構有效,使用可視化、評價指標

Snipaste_2020-12-14_15-31-38

對比試驗

自己設置數據集划分

casia挑選拼接圖像715,35,100分別做訓練,驗證,測試

columbia划分125,10,45做訓練,驗證,測試

nist挑出184,12,50做訓練,驗證,測試

Snipaste_2020-12-14_15-36-05

下圖是自己從三個數據集共選了195張做測試

Snipaste_2020-12-14_15-34-43

魯棒性實驗

做了對比方法在噪聲 ,jpeg壓縮,縮放的實驗

Snipaste_2020-12-14_15-37-13

結論

提出了端到端的結構。D-Unet有global insight。不需大量的訓練數據或預處理過程。表現達到SOTA,魯棒性好


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM