題目:D-Unet: A Dual-encoder U-Net for Image Splicing
Forgery Detection and Localization
出處:arxiv 2020.12.3
作者:
Department of Computer Science and Technology,
Chongqing University of Posts and Telecommunications
摘要:存在問題1. 多數檢測方法關注於local patches或者local objects。實際上拼接檢測是一個全局二分類任務。2. 一些特定的圖像內容在基於CNN的方法中很難保留。
解決問題:本文提出一個雙編碼器U-net(D-unet),包括一個unfixed encoder自動學習image fingerprints,一個fixed encoder提供方向信息。雙編碼器之后是一個spatial pyramid global-feature extraction module,擴展全局視野。本文方法使用少量訓練樣本。
網絡結構
unfixed encoder
作者通過實驗選擇網絡深度和下采樣方式(最大池化maxpooling、步長為2的卷積下采樣)
casia用750張訓練,100張測試
columbia使用135張訓練,45張測試
用了評價指標和可視化來解釋實驗
unet-N-C/M 里的N是操作數量,M是最大池化,C是步長為2的卷積
實驗證明使用 unet-4-C (使用4個步長為2的卷積下采樣操作)效果最好
fixed encoder
設計了SRM編碼器和DWT編碼器(哈爾小波變換),兩個編碼器的特征融合方式有SF簡單融合,HF分級融合。
SF是把最后輸出拼接,HF是在每一層對應拼接
作者用實驗選擇結構,包括可視化和評價指標。
根據實驗結果,選擇DWT編碼器,使用分層融合方式。
空間金字塔全局特征提取模塊
使用3,5,7的卷積,從全局視角提取特征。
Unet-4-C是使用4個步長為2的卷積
Unet-4-C-S是使用SPGFE
Unet-4-C-HF-FE是DWT編碼器加unet4c加HF融合方式
Unet-4-C-HF-FE-S是本文結構
用實驗證明結構有效,使用可視化、評價指標
對比試驗
自己設置數據集划分
casia挑選拼接圖像715,35,100分別做訓練,驗證,測試
columbia划分125,10,45做訓練,驗證,測試
nist挑出184,12,50做訓練,驗證,測試
下圖是自己從三個數據集共選了195張做測試
魯棒性實驗
做了對比方法在噪聲 ,jpeg壓縮,縮放的實驗
結論
提出了端到端的結構。D-Unet有global insight。不需大量的訓練數據或預處理過程。表現達到SOTA,魯棒性好