1.文章做出了哪些成果?:
在本文中,我們提出了一種有效的方法,使用簡單的基於補丁的背景層和雨層的先驗信息。這些先驗是基於高斯混合模型的,能夠適應雨帶的多個方向和尺度。這種簡單的方法比現有的定性和定量方法更好地去除雨紋。
2.前人成果有什么?改變了什么?改進的地方是什么?
解決不適定問題的現有的圖像分解方法要么采用字典學習方法,要么在雨條紋的出現上施加低秩結構。雖然這些方法可以提高整體可見性,但它們往往會在背景圖像中留下過多的雨痕或使背景圖像過於平滑(平滑的定義見筆記)
Kang等人提出了一種將輸入圖像分解為低頻分量(結構層)和高頻分量(紋理層)的方法。高頻分量包含背景對象的雨痕和邊緣。該方法試圖通過基於稀疏編碼的HoG特征字典學習從高頻層中分離出雨痕頻率,通過將低頻層和處理過的高頻層合並得到輸出。
改進點:
文章作者在圖像分解的基礎上,也是將輸入圖像分為背景層和雨紋層,不過作者在使用了背景層和雨紋層的先驗來幫助圖像分解,並且這些先驗是居於GMMs模型的。(所以作者第對圖像層施加的約束條件不同)
3.文章的創新之處?
①本文是第一篇用高斯混合模型補丁先驗去除雨水的論文。
②在圖像分解是,背景層和雨條紋層都加上了一定的約束條件(這樣保證得出的結果不會太偏離預期)
4. 框架
核心算法如下:
算法1 利用層先驗(優先級)去除雨痕
輸入:輸入圖像O;兩層GMMs:GB和GR;
初始化: B ← O; R ← 0; ω ← ω◦;
Repeat(repeat即使迭代工作)
update H using Eq. 8; (代表公式8)
solve {B, R} by Eq. 9;
solve {gBi ,gRi } by Eq. 10;
ω = 2 ∗ ω;
until 直到收斂或最大迭代次數
輸出:B層和R層的估計;
大致思路如下:
為了使問題得到很好的解決,我們在背景和雨組成部分上都采用了層優先級(即層先驗)。更具體地說,使用基於補丁的先驗思想是受Zoran和Weiss[29]的啟發,他們使用高斯函數混合模型(GMMs)對圖像塊進行建模。這種方法比現有的先驗模型(根據以往的經驗得到的模型)更容易計算,如FE(19)或Weiss Freeman先驗(25)。Shih等人最近的作品。[21]顯示了在解決反射消除問題時使用GMMs作為優先級的優越性[14]。在我們的雨水去除方法中,為了建立背景斑塊(即背景的小塊)先驗模型,我們使用基於自然圖像的斑塊訓練的GMM。附加的梯度稀疏性約束可以進一步調整背景。至於雨層,我們也這樣做,即通過收集位於無紋理背景(如天空 牆壁等)上的雨條紋(即雨痕)的圖像塊。
5. 存在問題或者可以改進的地方:
諸如估計GMMs的最佳補丁大小和位置、如何處理飽和降雨像素以及輸出中剩余的降雨偽影等問題仍然是有待解決的問題
思考有沒有更好的對背景層和雨條紋層的約束條件,或者找找是否有比Em算法更好的解決GMM參數的算法,思考解決圖像不適定問題還有沒有其他方法、解決非凸優化有沒有更好的方案?
需要原文或者代碼包可在下方評論並給出郵箱地址。