AdaIN 解讀


論文題目:Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization 【ICCV 2017】

AdaIN 的公式如下:

\[\textrm{AdaIn}(x,y) = \sigma(y)\left(\frac{x-\mu(x)}{\sigma(x)}\right)+\mu(y) \]

其中, \(x\)\(y\) 分別是內容圖片和風格圖片 encode 以后的特征圖,\(\sigma\)\(\mu\) 分別是均值和標准差,該公式將內容圖片的均值和標准差與風格圖片對齊。

可以這樣理解 ,首先內容圖\(x\) 歸一化后均值為0,標准差為1,然后乘以風格的標准差再加上均值,結果就將原來內容圖的均值與標准差和風格圖一致了。

上圖是該算法的流程圖,VGG 和 AdaIN 是不需要訓練的,真正需要訓練的只有解碼器。兩張 feature map 輸入,調整內容圖的均值和標准差以適應風格的 feature map。解碼器根據變換后的 feature map 重建圖像,通過訓練解碼器,使重建出來的圖像接近真實圖像。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM