Spectral Normalized Markovian Discriminator(SNPatchGAN)[光譜歸一化馬爾科夫判別器]


馬爾可夫判別器(PatchGAN)

概念

  • 馬爾可夫判別器是判別模型的一種。
  • 基於CNN的分類模型有很多種,很多網絡都是在最后引入了一個全連接層,然后將判別的結果輸出(輸出結點)。
  • 馬爾可夫判別器則是不一樣,直觀來看,它完全由卷積層構成,最后輸出的是一個n*n的矩陣,最后取輸出矩陣的均值作為True/False的輸出。
  • 事實上,輸出矩陣中的每一個輸出,代表着原圖中一個感受野,對應了原圖的一片(patch),而具有這樣結構的GAN被稱為PatchGAN

優點應用

  • 目前來看,在圖像風格遷移領域中,我們這里沿用Gatys論文中關於風格遷移的想法,即風格遷移分為兩部分:內容部分和紋理部分。

  • 內容部分是指生成圖像和原圖像在內容(語義)上的相似性;

    • 紋理部分是指生成圖像和目標圖像在紋理上的相似性。
    • 馬爾可夫判別器對於風格遷移中的超高分辨率、圖片清晰化有一定的高分辨率、高細節的保持。
  • 目前,馬爾可夫判別器用於Pix2PixCycleGAN等GAN網絡中。


感受域計算

  • 每一層感受域的計算公式為:
    • input_size = (output_size-1)*k_stride+k_size
      • 感受域:輸出結點(輸出網絡中的每個結點)對輸入網絡的感受野的范圍(可以從輸出網絡大小反推感受野的大小);
      • input_size:為輸出結點感受域的大小;
      • k_stride:卷積核的移動步長;
      • k_size:輸入輸出之間卷積核的大小;
  • 以之前分析的CycleGAN代碼中的馬爾可夫判別器為例:
    • YMsljI.png
    • last_conv輸出(k_stride=1)
      • 假設其中一個節點,即output_size=1,計算得到CK4的大小(input_size)4
      • 同理,假設CK4_size = 4,則CK3_size = (4-1)*2+4=10
      • 同理,CK2_size = (10-1)*2+4=22
      • 同理,CK1_size = (22-1)*2+4=46
      • 同理,input = (46-1)*2+4=46,即 input的感受域大小為94
  • 參考博客:博客1博客2博客3包括實現代碼、更具體

光譜歸一化馬爾科夫判別器

待整理


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM