Defect-GAN: High-Fidelity Defect Synthesis for Automated Defect Inspection~WACV2021
單位：
一、下載
paper:
https://openaccess.thecvf.com/content/WACV2021/papers/Zhang_Defect-GAN_High-Fidelity_Defect_Synthesis_for_Automated_Defect_Inspection_WACV_2021_paper.pdf
code:
二、文章解讀
思路：
缺陷檢測實驗中，基於學習的缺陷檢測算法，受困於缺陷樣本少。
缺陷樣本為什么少呢？
原因一：實際生產時間中，真實產生的缺陷樣本少，缺陷類型不確定（誰也不知道下一個缺陷樣品展示的缺陷類型）。
原因二：圖像PS的方法制作缺陷樣本圖像，難以cover所有未知的缺陷，且需要昂貴的人力、財力。
原因三：人為破壞樣品，獲得缺陷樣本，進而獲得缺陷樣本圖像用於算法研究。得到的缺陷多樣性不足，且代價較大。
論文的想法：
提出一個網絡，依賴正常樣本圖像，生成各種各樣的缺陷圖像。混合正常樣本和缺陷樣本，訓練分類網絡，實現缺陷檢測的目的。
采用生成的方式獲得缺陷圖像，多樣性得到了滿足，且花費的代價比較小。
論文的做法：
采用的生成器Generation結構：
網絡結構中的重點部件作用：
1、兩個Encoder-Decoder是權值共享的。
2、Adaptive Noise Insertion為了使得生成的缺陷多樣化，更好模擬真實缺陷。（注：缺陷制造部分這樣做可以理解，缺陷修復這樣做就理解不了了。修復過程又不知道Noise應該長啥樣子。如果和缺陷制造過程的一致，那我隨意拿一個真實場景的缺陷樣本，不就不能做 修復嗎）
3、Spatial & Categorical Control Map是控制生成的缺陷位於Normal Sample什么位置，缺陷是什么類型的。
4、Layer-Wise Composition 保證Defect圖和Normal圖有相同的風格和外觀。
5、實際的訓練過程中，訓練了two cycles。一個是上圖的Normal-Defect-Normal，一個是下圖的Defect-Normal-Defect結構。
采用的判別器Discrimination結構：
采用和StarGAN相同的判別器結構。
缺陷樣本和正常樣本的分類：Resnet和Desnet
論文的實驗：
實驗數據集：
CODEBRIM：混凝土橋梁缺陷檢測，包含crack, spallation, efflorescence, exposed bars, corrosion and normal samples共6個類別。
數據集下載：https://doi.org/10.5281/zenodo.2620293（論文提供的，沒有嘗試下載）
Defect-GAN的輸入：128*128 image patch。Adam，Discriminator更新5次，Generator更新1次。
Batch size=4,learning rate=0.0002~0.000001，NVIDIA 2080ti,訓練迭代500，000次
論文的結論：
1、FID越低，生成的缺陷樣本越真實。論文方法和其它方法比較：
2、FID越低，生成的缺陷樣本越真實。論文方法的消容實驗：
3、缺陷檢測的准確率，越高越好。
