- Full-body High-resolution Anime Generation with Progressive Structure-conditional Generative Adversarial Networks,即用PSGAN生成高分辨率的全身動畫。據了解,DeNA的業務涵蓋社交游戲、電子商務等領域,此前公司推出的手游《忍者天下》也在中國市場取得了驕人的成績。昔日忍者化身換裝暖暖,DeNA想用GAN做些什么呢?
摘要
本文提出了一種漸進結構—條件生成對抗網絡(PSGAN),它是一個能基於姿態信息生成全身的高分辨率圖像的新框架。
近年來,許多人都研究過用深度生成模型自動生成圖像和視頻,這項技術對媒體創建工具來說很有幫助,它可以被用來進行圖片編輯、動畫制作甚至是電影制作。
就動漫產業角度看,一個能自動生成動畫角色的神經網絡不僅能為創作者帶來諸多靈感,它還能為整個產業節省作畫上巨額開支。現在我們已經有了能生成人物臉部圖像的GAN,但還沒有能生成角色全身圖的工具。而且就這些生成臉部圖像的神經網絡來說,它們的圖像質量還達不到工業級作畫標准。
因此,開發一個既能生成全身圖像,又能生成高質量姿態的GAN將對制作新角色、繪制新動漫大有裨益。但達成這個目標還有兩大難點:(1)生成高分辨率圖像;(2)用特定的姿態序列生成圖像。
為了解決上述問題,我們引入PSGAN,它能根據結構信息,在訓練過程中逐步提高生成圖像的分辨率,以此細化圖像在結構上的細節特征,如生成對象的全身圖。同時,我們也在網絡上添加了任意的潛在變量和結構條件,讓它能基於目標姿勢序列生成多樣化和可控制的動作視頻。