作者：LongwayDate：2020-05-02來源： 基於圖像的單目三維網格重建
代碼地址：https://github.com/ShichenLiu/SoftRas
論文題目：Soft Rasterizer: A Differentiable Renderer for Image-based 3DReasoning(CVPR2019)
概述渲染通過模擬圖像形成的物理過程來縮小二維視覺和三維場景之間的差距，通過反轉這種渲染器，人們可以得到一種從二維圖像中推斷三維信息的學習方法。然而，光柵化阻止了渲染過程變成一個可微操作。與目前最先進的可微渲染器不同，作者提出了一種真正可微的渲染框架，它可以直接使用可微函數渲染着色網格，並將有效的監督信號從不同的圖像表示形式（包括輪廓、陰影和彩色圖像）反向傳播到網格頂點及其屬性。該框架的關鍵是一個新的公式，它將渲染視為一個聚合函數，將所有網格三角形關於渲染像素的概率貢獻融合在一起並且使得框架能夠將梯度流到被遮擋的和遠距離的頂點，這是以前的技術所無法實現的。結果表明，利用該渲染器可以在質量和數量上對三維無監督單視圖重建進行顯著的改進。簡介從二維圖像中理解和重建三維場景和結構是計算機視覺的基本目標之一。基於圖像的三維推理關鍵在於找到從像素到三維屬性的足夠監督。為了獲得圖像到三維的相關性，先驗方法主要依賴於基於二維關鍵點/輪廓或形狀/外觀的匹配損失。但是這些方法要么只適用於特定領域，要么只能提供弱監督。作者發現，通過反轉渲染器，就可以獲得對通用3D推理任務的密集像素級監督，這是傳統方法無法實現的。但是在傳統的圖形通道中，渲染過程不是可微的。尤其是標准的網格渲染器中包含一個叫做光柵化的離散采樣操作，該操作阻止了梯度流入網格頂點。最近的進展只是用手工制作的函數逼近后向梯度，而在前向過程中直接使用標准圖形渲染器，這會導致不受控制的優化行為和對其他三維推理任務的有限泛化能力。作者提出了一個真正可微的渲染框架，它能夠在前向過程中渲染彩色網格，如下圖所示：
該框架（上）將渲染描述為一個可微的聚合過程A(·)，以“軟”概率的方式融合每個三角形貢獻Di。這個方法還解決了標准光柵化器的核心問題，即由於離散采樣操作，標准光柵化器無法將梯度從像素流到幾何體（下）。與標准光柵化器只選擇觀察方向上最接近的三角形的顏色不同，作者提出所有三角形對每個渲染像素都有概率貢獻，這可以在屏幕空間上建模為概率圖。由於其概率公式，這個框架除了能夠流動梯度到所有的網格三角形，而且將監督信號從像素傳播到遠距離三角形。作者把這個框架叫做“Soft Rasterizer (SoftRas)”，因為它“軟化”離散光柵化以實現可微性。SoftRas能夠提供高質量的梯度流，用於監督基於圖像的3D推理的各種任務，下圖是SoftRas的一些表現：
由SoftRas生成的各種渲染效果，通過分別調整γ和σ，可以獲得不同程度的透明度和模糊度
基於單圖像的三維無監督網格重建由於SoftRas僅僅基於渲染損失向網格生成器提供強錯誤信號，因此可以從單個圖像中實現網格重建，而無需任何3D監督。
通過流動梯度到被遮擋的三角形來擬合目標圖像的三維姿勢對於基於圖像的形狀擬合任務，證明了該方法能夠使用考慮所有三角形概率貢獻的聚集機制來處理遮擋；與其他可微渲染器相比，該方法有更平滑的效果，通過使用平滑渲染避免了局部極小值。相關工作1.可微渲染：最近存在很多渲染器的派生物，比如Kato提出用手工函數來逼近光柵化的后向梯度，以實現可微渲染，Li引入可微光線跟蹤器來實現二次渲染效果的可微性等。但是，這些渲染器通常都是為特殊目的而設計的，因此不能推廣到其他應用中。在這篇文章中，作者主要研究一個通用的可微繪制框架，它能夠直接使用可微函數來繪制給定的網格，而不僅僅是逼近后向梯度。2.基於圖像的三維推理：二維圖像被廣泛地用作三維屬性推理的媒介，特別是基於圖像的重建技術受到了廣泛的關注。傳統的方法僅限於多視圖提供的覆蓋范圍，隨着大規模三維形狀數據集的可用性，基於學習的方法能夠考慮單個或少數圖像，這得益於先前從數據中學習到的形狀。軟光柵器1.可微渲染通道：下圖展示了標准渲染管道（上分支）與本文的渲染框架（下分支）之間的比較，作者定義了環境設置的外部變量（相機P和照明條件L）和描述模型特定屬性的內部屬性（三角形網格M和頂點外觀A，包括顏色、材質等）。
2.概率圖計算：利用概率圖Dj模擬三角fj對圖像平面的影響。為了估計像素Pi處Dj的概率，函數需要同時考慮Pi與Dj之間的相對位置和距離。為此，在像素Pi處定義Dj如下所示：
其中σ是控制概率分布銳度的正標量，而δij是符號指示器，δij={+1，if Pi∈fi；-1，otherwise}，d(i,j)是Pi到fj邊緣的最近距離。下圖用歐幾里德距離表示不同σ的三角形的概率圖Dj：
(a)像素到三角形距離的定義；(b)-(d)不同σ生成的概率圖3.聚合函數:對於每個網格三角形fj，通過使用重心坐標插值頂點顏色，在圖像平面上的像素Pi處定義其顏色映射Cj。然后，使用聚合函數A(·)合並顏色映射Cj，以獲得基於概率圖Dj和相對深度Zj的渲染輸出I，最后定義聚合函數如下：
其中Cb是背景色，權重wj滿足=1，定義為：
其中zij表示fi上3D點的標准化反深度，其2D投影為Pi；ε是一個小常數以啟用背景色，而γ控制聚合函數的銳度作者進一步探討了輪廓的聚合函數，其中，對象的輪廓與其顏色和深度圖無關。因此，提出了一個基於二進制占有率的輪廓專用聚合函數AO：
直觀地說，上述公式將輪廓建模為至少有一個三角形覆蓋像素pi的概率4.與以往工作的比較：
在梯度流方面的比較由於OpenDR和NMR都在前向過程中使用標准圖形渲染器，因此它們無法控制中間渲染過程，並且無法將梯度流到最終渲染圖像中被遮擋的三角形中。與此相反，該方法完全控制了內部變量，並且能夠通過聚合函數將梯度流到不可見三角形中。由於連續概率公式，屏幕空間中像素Pj的梯度可以流向所有遠處的頂點。然而，對於OpenDR，由於局部過濾操作，頂點只能從近距離內的相鄰像素接收梯度。對於NMR，沒有從白色區域內的像素定義相對於三角形頂點的梯度。基於圖像的三維推理1.單視圖網格重建：從圖像像素到形狀和顏色生成器的直接梯度使作者能夠實現三維無監督網格重建，下圖展示了本文的框架：
給定一個輸入圖像，形狀和顏色生成器生成一個三角形網格M及其對應的顏色C，然后將其輸入到軟光柵化器中。SoftRas層同時渲染輪廓Is和彩色圖像Ic，並通過與真實值的比較提供基於渲染的錯誤信號。上面的框架定義了三個損失函數，分別是輪廓損失Ls，顏色損失Lc和幾何損失Lg（沒有提供），如下所示：
最后的損失是三項損失的加權和：
2.基於圖像的形狀擬合：基於圖像的形狀擬合在姿態估計、形狀對齊、基於模型的重建等方面有着重要的作用，傳統的方法必須依賴於粗糙的對應關系，例如2D關節或特征點，以獲得用於優化的監控信號。相反，SoftRas可以直接將像素級的誤差反向傳播到3D屬性，從而實現密集的圖像到3D的對應，進而實現高質量的形狀擬合。然而，可微渲染器必須解決兩個難題，遮擋和遠距離影響，以便易於應用。作者的方法同時處理了這些問題。這篇文章定義的聚合函數融合了所有三角形的概率圖，使得梯度流到所有頂點，包括被遮擋的頂點，基於概率分布的軟近似允許梯度傳播到遠端，同時可以很好地控制接收場的大小。為此，作者提出的這個方法可以通過最小化下面的目標函數來准確地解決基於圖像的形狀擬合問題：
其中R(·)是從網格M生成渲染圖像I的渲染函數，該渲染函數由其姿態θ、平移t和非剛性變形參數ρ參數化結果展示
