論文理解Diversified Arbitrary Style Transfer via Deep Feature Perturbation


1、提出了一種利用正交隨機噪聲矩陣對WCT的過程進行修改的方法,從而能夠讓風格遷移更具有多樣性

方法

  • 核心思想是在加入正交噪聲矩陣豐富多樣性的基礎上,保證WCT過程中style紋理,也就是Gram矩陣不變。也就是說即使用正交噪聲矩陣擾動前后feature map和原先不同了,但是Gram Matrix(style 紋理)不變。
    Gram Matrix計算:
    在這里插入圖片描述
    在這里插入圖片描述

  • 在這里插入圖片描述
    這個噪聲擾動的方法能夠保證style圖的Gram Matrix和擾動后的圖的Gram Matrix完全相同,即上面的計算結果為0.

  • 原始的WCT計算公式如下:
    在這里插入圖片描述
    在這里插入圖片描述

  • 加入擾動正交噪聲矩陣Z:
    在這里插入圖片描述
    證明加入擾動正交噪聲矩陣Z之后還是和style圖一樣的style紋理(相同的Gram Matrix)
    在這里插入圖片描述

在這里插入圖片描述

實驗以及消融分析

    • 作者發現只直接采用擾動后的結果進行輸出,會對內容結構有很大的破壞,風格化的結果並不好,所以加入了兩個權重平衡這個影響(分別為diversity 超參數 和 stylization 超參數),但是對於colosed-form方法影響很小(WCT以及MST影響都很大),推測可能是由於其考慮了內容架構的損失也最優。
      在這里插入圖片描述
      在這里插入圖片描述

    • 多層級的擾動,結果會糟糕;單層級的擾動而言,擾動的層級越低,最后結果越糟糕,質量越低。所以多層級的擾動沒有必要
      在這里插入圖片描述

    • 擾動噪聲矩陣的采樣的分布類型(正態或者均勻分布)以及其相關參數對結果影響不大,但是采用隨機噪聲矩陣而不采用正交噪聲矩陣對結果影響很大,隨機噪聲的話結果很差,會淹沒內容架構。

    • 擾動矩陣Z可以放在多個位置,放在中間時計算量最小,因為其對應的矩陣維度最小。

    • 過大的diversity超參數會讓內容架構很大程度破壞,這時就需要較小的stylization超參數來均衡了,才能保證一個不錯的風格化結果。

    • 通過正交噪聲矩陣的插入確實能夠增加風格化的多樣性
      在這里插入圖片描述


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM