漸進結構—條件生成對抗網絡(PSGAN)


 

  • Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks,即用PSGAN生成高分辨率的全身動畫。據了解,DeNA的業務涵蓋社交游戲、電子商務等領域,此前公司推出的手游《忍者天下》也在中國市場取得了驕人的成績。昔日忍者化身換裝暖暖,DeNA想用GAN做些什么呢?

摘要

本文提出了一種漸進結構—條件生成對抗網絡(PSGAN),它是一個能基於姿態信息生成全身的高分辨率圖像的新框架。

近年來,許多人都研究過用深度生成模型自動生成圖像和視頻,這項技術對媒體創建工具來說很有幫助,它可以被用來進行圖片編輯、動畫制作甚至是電影制作。

就動漫產業角度看,一個能自動生成動畫角色的神經網絡不僅能為創作者帶來諸多靈感,它還能為整個產業節省作畫上巨額開支。現在我們已經有了能生成人物臉部圖像的GAN,但還沒有能生成角色全身圖的工具。而且就這些生成臉部圖像的神經網絡來說,它們的圖像質量還達不到工業級作畫標准。

因此,開發一個既能生成全身圖像,又能生成高質量姿態的GAN將對制作新角色、繪制新動漫大有裨益。但達成這個目標還有兩大難點:(1)生成高分辨率圖像;(2)用特定的姿態序列生成圖像。

為了解決上述問題,我們引入PSGAN,它能根據結構信息,在訓練過程中逐步提高生成圖像的分辨率,以此細化圖像在結構上的細節特征,如生成對象的全身圖。同時,我們也在網絡上添加了任意的潛在變量和結構條件,讓它能基於目標姿勢序列生成多樣化和可控制的動作視頻。

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM