题目:D-Unet: A Dual-encoder U-Net for Image Splicing
Forgery Detection and Localization
出处:arxiv 2020.12.3
作者:
Department of Computer Science and Technology,
Chongqing University of Posts and Telecommunications
摘要:存在问题1. 多数检测方法关注于local patches或者local objects。实际上拼接检测是一个全局二分类任务。2. 一些特定的图像内容在基于CNN的方法中很难保留。
解决问题:本文提出一个双编码器U-net(D-unet),包括一个unfixed encoder自动学习image fingerprints,一个fixed encoder提供方向信息。双编码器之后是一个spatial pyramid global-feature extraction module,扩展全局视野。本文方法使用少量训练样本。
网络结构
unfixed encoder
作者通过实验选择网络深度和下采样方式(最大池化maxpooling、步长为2的卷积下采样)
casia用750张训练,100张测试
columbia使用135张训练,45张测试
用了评价指标和可视化来解释实验
unet-N-C/M 里的N是操作数量,M是最大池化,C是步长为2的卷积
实验证明使用 unet-4-C (使用4个步长为2的卷积下采样操作)效果最好
fixed encoder
设计了SRM编码器和DWT编码器(哈尔小波变换),两个编码器的特征融合方式有SF简单融合,HF分级融合。
SF是把最后输出拼接,HF是在每一层对应拼接
作者用实验选择结构,包括可视化和评价指标。
根据实验结果,选择DWT编码器,使用分层融合方式。
空间金字塔全局特征提取模块
使用3,5,7的卷积,从全局视角提取特征。
Unet-4-C是使用4个步长为2的卷积
Unet-4-C-S是使用SPGFE
Unet-4-C-HF-FE是DWT编码器加unet4c加HF融合方式
Unet-4-C-HF-FE-S是本文结构
用实验证明结构有效,使用可视化、评价指标
对比试验
自己设置数据集划分
casia挑选拼接图像715,35,100分别做训练,验证,测试
columbia划分125,10,45做训练,验证,测试
nist挑出184,12,50做训练,验证,测试
下图是自己从三个数据集共选了195张做测试
鲁棒性实验
做了对比方法在噪声 ,jpeg压缩,缩放的实验
结论
提出了端到端的结构。D-Unet有global insight。不需大量的训练数据或预处理过程。表现达到SOTA,鲁棒性好