1、提出了一種利用正交隨機噪聲矩陣對WCT的過程進行修改的方法,從而能夠讓風格遷移更具有多樣性
方法
-
核心思想是在加入正交噪聲矩陣豐富多樣性的基礎上,保證WCT過程中style紋理,也就是Gram矩陣不變。也就是說即使用正交噪聲矩陣擾動前后feature map和原先不同了,但是Gram Matrix(style 紋理)不變。
Gram Matrix計算: -
這個噪聲擾動的方法能夠保證style圖的Gram Matrix和擾動后的圖的Gram Matrix完全相同,即上面的計算結果為0. -
原始的WCT計算公式如下:
-
加入擾動正交噪聲矩陣Z:
證明加入擾動正交噪聲矩陣Z之后還是和style圖一樣的style紋理(相同的Gram Matrix)
實驗以及消融分析
-
作者發現只直接采用擾動后的結果進行輸出,會對內容結構有很大的破壞,風格化的結果並不好,所以加入了兩個權重平衡這個影響(分別為diversity 超參數 和 stylization 超參數),但是對於colosed-form方法影響很小(WCT以及MST影響都很大),推測可能是由於其考慮了內容架構的損失也最優。
-
多層級的擾動,結果會糟糕;單層級的擾動而言,擾動的層級越低,最后結果越糟糕,質量越低。所以多層級的擾動沒有必要
-
擾動噪聲矩陣的采樣的分布類型(正態或者均勻分布)以及其相關參數對結果影響不大,但是采用隨機噪聲矩陣而不采用正交噪聲矩陣對結果影響很大,隨機噪聲的話結果很差,會淹沒內容架構。
-
擾動矩陣Z可以放在多個位置,放在中間時計算量最小,因為其對應的矩陣維度最小。
-
過大的diversity超參數會讓內容架構很大程度破壞,這時就需要較小的stylization超參數來均衡了,才能保證一個不錯的風格化結果。
-
通過正交噪聲矩陣的插入確實能夠增加風格化的多樣性