給手繪圖着色（添加顏色或色彩）：CVPR2020論文點評
Learning to Shade Hand-drawn Sketches
論文鏈接：https://arxiv.org/pdf/2002.11812.pdf
摘要
本文提出了一種全自動的方法來產生詳細和准確的藝術陰影對線素描和照明方向。本文還提供了一個新的數據集，其中包含1000個用燈光方向標記的線條和陰影對示例。值得注意的是，生成的陰影可以快速傳達草圖場景的底層三維結構。因此，本文的方法產生的陰影可以直接使用或作為藝術家的一個極好的起點。本文證明了本文提出的深度學習網絡采用手繪草圖，在潛在空間建立三維模型，並渲染產生的陰影。生成的陰影尊重手繪線和底層三維空間，並包含復雜和准確的細節，如自陰影效果。此外，生成的陰影包含藝術效果，如邊緣照明或從背光出現的光暈，這是可以通過傳統的三維渲染方法實現的。
1. Introduction
本文的工作使用深度學習方法來學習一個非線性函數，該函數“理解”二維草圖所隱含的三維空間關系，並呈現二元陰影（圖1top）。本文的神經網絡的原始輸出是二值陰影，藝術家可以根據線條圖在單獨的圖層上修改二值陰影。不需要額外的后處理，本文中的圖像是原始網絡輸出和輸入線性部分的簡單組合。如果需要軟陰影，藝術家可以使用本文網絡的第二方輸出（圖2 S2）。本文的網絡也會從不斷變化的照明方向產生一致的陰影（第4.3節），即使本文是從一組稀疏的照明方向訓練。
本文工作的主要貢獻：
•本文創建了一個新的數據集，其中包含1160個手繪線條圖和標記有照明方向的陰影。
•本文提議建立一個網絡，該網絡“理解”線條圖所隱含的結構和三維空間關系，並產生高度詳細和准確的陰影。
•端到端應用程序，可根據給定的二維線條圖和指定的照明方向，從任意照明方向生成二進制或軟陰影。
2. Related Work
Non-photo realistic rendering in Computer Graphics
計算機圖形學中cel動畫的風格化陰影[23，3]以前的工作集中在cel動畫中的陰影渲染和對陰影應用藝術外觀。這些論文強調陰影在人對cel動畫的感知中起着重要的作用。
Image translation and colorization
近年來，對圖像翻譯中生成性對抗網絡的研究[6，21]產生了令人印象深刻的合成圖像，這些圖像被認為是與原作相同的。Pix2pix[13]在其生成器網絡中部署了U-net[25]體系結構，並演示了在圖像轉換應用中，當包含跳過連接時，U-net的性能得到了提高。CycleGAN[41]介紹了一種在沒有成對示例的情況下學習從輸入圖像到樣式化輸出圖像的映射的方法。對真實灰度圖像着色的研究[2,39,12,40]證明了用GANs和U-net[25]結構對圖像着色的可行性。
Deep learning in line drawings
研究者認為線條畫包括線條藝術色彩化[36，15，38，5，4]、素描簡化[28，26]、智能墨水機[27]、線條提取[17]、線條樣式化[18]和從素描計算普通地圖[29，20]。
Relighting
深度學習也被應用於現實場景的重新照明。Xu等人 [35]提出了一種在給定來自五個不同方向光源的圖像的情況下，從任意方向光重新照明的方法。Sun等人 [30]提出了一種在給定單一輸入（如選擇）的情況下重新照亮人像的方法。訓練數據集由多攝像機設備捕獲。這部研究與本文的不同之處在於，他們側重於重新塑造富有特色的現實主義形象，而本文則側重於手繪草圖的藝術陰影。
Line drawings to normal maps
Sketch2normal[29]和deep normal[20]使用深度學習從線條圖計算法線貼圖。他們的訓練數據集是用真實感渲染從三維模型中渲染出來的。Sketch2帶有一些注釋的四條腿動物在線圖的正常訓練。DeepNormal使用對象的遮罩作為輸入線圖形。他們解決了一個不同的，可以說更難的問題。但是，計算出的法線貼圖可用於渲染陰影，本文將此方法與第4節中的直接陰影計算進行比較。
3. Learning Where to Draw Shadows
3.1. Data Preparation and Data Augmentation
本文觀察到，藝術家傾向於從一組相對較小的特定照明方向中進行選擇，特別是在漫畫和日本動畫中。為此，本文在圖1中定義了由2×2立方體形成的26個照明方向。本文發現，用戶可以直觀地從圍繞2D對象順時針的八個照明方向和指定光源的三個深度（前、平面內和后）中的一個方向進行選擇。
3.2. Network Architecture
本文的發電機包含以下模塊：剩余塊[7][8]、薄膜塊[22]和擠壓和激勵（SE）塊[10]。本文的生成器的總體架構遵循具有跳過連接的U-net架構[25，13]。本文的鑒別器使用殘差塊。詳細信息如圖2所示。
本文還提取了兩個監控端輸出，s1和s2，以便於反向傳播。本文的渲染網絡的早期階段生成連續的、柔和的陰影圖像。在最終階段，網絡將這些圖像轉換為二值陰影。側邊輸出s1和s2中的軟陰影質量如圖2所示。本文再次注意到，本文的輸出不需要任何后期處理來生成二值陰影；本文中的圖像是將本文的生成器的輸出與輸入草圖合成的直接結果。
本文的鑒別器的基本模塊包括降尺度殘差塊和殘差塊。由於不同陰影的許多局部特征彼此相似，本文部署了自我注意層，使本文的鑒別器對遠處的特征敏感。在圖2中，最后一個鑒別器由全局平均池化、0.3概率的退出和256個濾波器的完全連接層組成。因為產生陰影比辨別假陰影和真陰影更困難，所以一個簡單的辨別器就是充分和簡單的訓練。
3.3. Loss Function
4. Experiments and Evaluation
如圖3、4、6、5、7所示，本文的工作表現良好。例如，在兩個人和多人的線條圖（圖3第二行）上，本文的工作能夠陰影每個字符，但是，DeepNormal和Sketch2Normal將多個人視為一個對象。值得注意的是，本文的工作在生成非常詳細的陰影方面非常出色，例如在女孩的頭發和裙子上。
就草圖的復雜性，盡管本文的訓練數據集有中等程度的細節，但是本文的網絡在復雜的草圖上表現良好，如圖3所示。本文也可以在不需要遮罩的情況下，在物體邊界之外表現出色。此外，當光源改變深度時，本文的工作會產生更精確的細節。如圖4所示，DeepNormal[20]中的陰影幾乎覆蓋了整個圖像，因此看起來好像光線在物體后面。但是，在這些圖像中，光源與對象位於同一平面上，從而產生側照明。
在圖6中，本文通過與3D測試模型的比較，解釋了當光線位於物體平面時，DeepNormal[20]表現不佳的原因。特別是，使用本文的技術，兔子頭上和腿上的陰影更接近地面的真實情況，並顯示自我陰影。
如圖4所示，由於256×256塊的多重平均值，DeepNormal的法線貼圖具有低方差（請參閱DeepNormal的第3.4節）。這種低方差導致前照燈看起來像側照燈，側照燈看起來像后照燈。Sketch2Normal生成的一些圖像有一些偽影，因為預測的法線貼圖有一些空白區域。因為它是在簡單草圖上訓練的，草圖2通常是在復雜草圖上訓練的。
最后，本文注意到，本文的方法產生藝術邊緣高光從背光。請參閱圖3和更多比較圖中的普通地圖的補充材料。與在本文的數據集上訓練的Pix2pix和U-net相比，本文的架構在質量上也表現良好（圖7）。一般來說，U-net在精確的軟陰影中生成，這與本文的二元陰影目標相去甚遠。Pix2pix在對象邊界之外生成陰影，並忽略草圖中的幾何信息。在本文早期的研究中，本文使用了帶有跳躍連接的殘差塊自動編碼器，它產生了軟陰影。為了達到二值陰影的目的，本文增加了一個鑒別器，並采用了一個更深層次的渲染網絡。如果藝術家想要柔和的陰影，可以使用側面輸出s2。
雖然本文網絡的最終輸出是二進制陰影，但是如果一個藝術家想要軟陰影，可以使用側面輸出s2，如圖2所示。本文的工作是對先前草圖自動着色工作的補充[36，15，38，5，4]。圖8展示了本文的陰影可以與這些着色方法相結合。雖然大多數先前的彩色化工作結合了陰影和陰影效果，但將這些效果分離為獨立的圖像層以進行進一步的藝術編輯將是有趣的。
用戶接受了一個簡短的培訓，展示了來自本文的數據集的15個地面真實陰影草圖，並強調了前照燈和側照燈之間的差異。本文還要求用戶將自己的繪畫體驗分為“專業”、“一般”、“初學者”或“0體驗”。本文在網上分發了調查結果，共收到60份。有繪畫經驗者40人，其中專業畫家13人，一般水平11人，初學者16人。結果見表1。本文的方法表現良好，幾乎與藝術家創造的地面真實陰影相匹配。本文進行了單因素方差分析來分析利克特得分。結果證明，本文的結果在數量上與groundtruth相似（p=0.24），優於其他方法（p<0.05）。
本文進行了7項消融研究，如圖10和9所示。為了定量比較，本文計算了Frchet起始距離（FID）[9]每4000次迭代本文的工作和消融研究使用整個數據集。圖9顯示本文的工作具有最低和最穩定的FID。這說明本文提出的每一個特征都是必要的，而全變分正則化是至關重要的。圖10定性地表明，如果沒有本文提出的元素，網絡性能就會下降：邊界會變得模糊，並且會出現陰影。在所有消融研究中，“無自我注意”的影響最小，如圖10（b）和圖9中的FID所示。設置總變化正則化器的系數大於5倍或移除正則化器對整體性能的影響最大，並破壞陰影的平滑度。相應的FID也強調了全變正則化的重要性。在圖10中，所有圖像使用相同的照明方向“810”。一般情況下，當去除自關注層時，網絡的細節表現不佳，陰影塊內有微小的偽影；如果沒有坐標通道或膠片塊，輸出會有不真實的陰影邊界和物體邊界外的陰影；如果沒有SE塊，會有暗影“粉刺”，整體外觀看起來凌亂；如果沒有兩個深監督輸出（λ1=.9，λ2=λ3=0，λ4=.4），輸出會有網格狀的點偽影，精度較低；如果網絡中電視正則化器的權重增加5倍或缺少電視正則化器，則網絡收斂速度過快陷入局部極小值。
5. Future Works
在不同大小的輸入圖像上，網絡性能是不不變的。大部分320×320輸入具有最好的性能，因為本文的網絡是在320×320大小的輸入上訓練的。480×480的輸入圖像也有很好的性能。盡管本文在用戶研究中幾乎與地面真實相匹配，但是本文生成的陰影並沒有地面真實那么詳細，特別是在硬表面物體上。另外，如果輸入線圖的本地部分，則網絡無法產生正確的陰影。作為未來的工作，本文將開發一個網絡，可以輸出各種圖像大小，以滿足高分辨率的繪畫要求。
6. Conclusions
本文的條件生成對抗網絡學習一個非真實感渲染器，可以自動從手繪草圖生成陰影。本文是第一個嘗試通過深入學習從草圖直接生成陰影的人。與現有技術相比，本文的結果更為有利，現有技術可以在簡單和復雜的圖像上渲染草圖的法線貼圖。本文還證明，本文的網絡架構能夠“理解”二維線圖所隱含的三維空間關系，足以生成詳細和准確的陰影。