基於模型的優化方法(model-based optimization method): 小波變換、卡爾曼濾波、中值濾波、均值濾波；
優點：對於處理不同的逆問題都非常靈活；缺點：為了更好的效果而采用各種復雜的先驗，非常地費時
基於判別式學習方式(discriminative learning method)： 訓練成對的圖像
優點：快速測試； 針對特定的任務，所以有一定的限制；
Deep Plug-and-Play Super-Resolution for Arbitrary Blur Kernels：
一旦退化模型被定義，下一步就是使用公式表示能量函數(energy function，也可以稱為目標函數).通過MAP(Maximum A Posterriori) probability， 能量函數能夠被給出：
$min_{x}\frac{1}{2\sigma^{2}}||\textbf{y} - (x\downarrow_{s})\otimes \textbf{k}||^{2} + \lambda \Phi(x)$
其中$\frac{1}{2\sigma^{2}}||\textbf{y} - (x\downarrow_{s})\otimes \textbf{k}||^{2}$ 是數據保真項或似然項，它由退化函數決定，$\Phi(x)$是一個正則化項或先驗項，其中$\lambda$是正則化系數；
對於判別學習方法(discriminative learning method) ,前向傳播模型恰恰對應了一個能量函數，退化模型被訓練成對的高分辨率和低分辨率的圖像對隱式的定義。這解釋了為什么現在DNN-based SISR方法訓練在雙三次退化對於真實圖像表現很差。
為了求出上面的式子，我們首先采用變量分割技術引入一個輔助變量$\textbf{z}$,得到下式這個相等的優化公式：
$\hat{x} = argmin_{x} \frac{1}{2\sigma^{2}}||\textbf{y} - \textbf{z} \otimes \textbf{k}||^{2} + \lambda \Phi(x)$
$subject to \textbf{z} = \textbf{x}\downarrow_{s}$
我們處理上式使用半二次分割(half quadratic splitting, HQS)算法，注意其他算法比如ADMM也能夠被使用。
一般的，HQS最小化這個涉及一個增加的半二次懲罰項問題，來處理上式。目標函數寫為：
$L_{\mu}(\textbf{x},\textbf{z}) = \frac{1}{2\sigma^{2}}||\textbf{y} - \textbf{z} \otimes \textbf{k}||^{2} + \lambda \Phi(x) + \frac{\mu}{2}||\textbf{z} - \textbf{x}\downarrow_{s}||^{2} $
其中 $\mu$ 是一個懲罰參數，一個非常大的$\mu$會強迫$\textbf{z}$近似相等於$\textbf{x}\downarrow_{s}$，通常，$\mu$在接下來的迭代求解過程中以非下降階(non-descending order)的形式變化。
$z$和$x$ 可以看作是一個交替最小化問題，使用下面兩個公式表示:
$\textbf{z}_{k+1} =$ argmin$_{\textbf{z}}||y - \textbf{z} \otimes \textbf{k}||^{2} + \mu\sigma^{2}||\textbf{z} - \textbf{x}_{k}\downarrow_{s}||^{2}$(7)
$\textbf{x}_{k+1}$ = argmin$_{\textbf{x}} \frac{\mu}{2}|| \textbf{z}_{k+1} - \textbf{x}\downarrow_{s} ||^{2} + \lambda \Phi(x)$
特別地，通過假設卷積是在圓形邊界條件下進行的，Eqn(7)具有快速閉合形式的解法:
$\textbf{z}_{k+1} = \textit{F}^{-1} (\frac{\bar{\textit{F}(\textbf{k})}\textit{F}(\textbf{y}) + \mu\sigma^{2} \textit{F}(x_{k}\downarrow_{s})}{\bar{\textit{F}(\textbf{k})}\textit{F}(\textbf{k}) + \mu \sigma^{2}})$
Learning Deep CNN Denoiser Prior for Image Restoration：
Method：
--可以幫助噪聲先驗(denoiser prior),which作為基於模型的最優化方法的其中一個模塊來解決這些逆問題(e.g., deblurring).
--噪聲先驗通過判別式學習方法(discriminative learning method)獲得;
So, 結合上面兩點，==》通過CNN訓練一個噪聲器，加入到基於模型的最優化方法來解決其他的逆問題;
在變量分離技術的幫助下，我們可以同時使用兩種方法的各自優點;
變量分割技術(variable spitting techniques):
變量分離技術(variable splitting technique)，如ADMM(alternating direction method of multipliers )，HQS(half quadratic splitting)方法，使得可以分別處理保真項(fidelity term)和正則項(regularization term)，其中正則項僅對應於去噪的子問題。因此，可以在基於模型的優化方法中使用discriminative denoisers,本文的目標在於訓練一系列快速高效的discriminative denoisers，並把它們用於基於模型優化的方法中，解決求逆問題。不使用MAP相關方法，而是使用CNN學習denoisers。
(也可以理解為基於模型的方法一般需要反復迭代去解這個公式，而基於判別學習的方法則通過損失函數去學習先驗參數。這里可以將兩者進行結合，正則項可以對應於一個去噪的子問題，這個子問題可以通過判別式學習的去噪器去獲得，從而帶來圖像先驗，使得基於模型的方法可以快速工作)
貢獻：
-訓練出一系列CNN denoisers。使用變量分離技術，強大的denoisers可以為基於模型的優化方法帶來圖像先驗。
-學習到的CNN denoisers被作為一個模塊部分插入基於模型的優化方法中，解決其他的求逆問題。
半二次方分裂 Half Quadratic Splitting (HQS)
$\hat{x}=\left. arg \text{ }min \right|_{x} \frac{1}{2}|| y-H x||^{2}+\lambda \Phi(x) \text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(2)$
引入輔助變量$z, z = x$,HQS嘗試最小化下面的成本函數:
$L_{\mu}(x,z)=\frac{1}{2}|| y-H x||^{2}+\lambda\Phi(z)+\frac{\mu}{2}||z-x||^{2}\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(5)$
$\mu$ 懲罰參數，在接下來的迭代求解過程中以非下降階(non-descending order)的形式變化;
等式(5)可以被下面兩個迭代的式子所解決：變量分割技術，
$x_{k+1}=\left. arg\text{ }min \right|_{x}|| y-H x||^{2}+\mu||x-z_k||^{2}\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(6a)$
$z_{k+1}=\left. arg\text{ } min \right|_{z}\frac{\mu}{2} ||z-x_{k+1}||+\lambda\Phi(z)\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(6b)$
可以看到保真項與正則化項被分開到兩個子問題中
等式(6a)保真項在二次正則化最小二乘問題，有很多針對不同的退化矩陣的快速解法,最簡單的解法是
$x_{k+1}=(H^{T}H+\mu I)^{-1}(H^{T}y+\mu z_{k}) \text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(7)$
正則化項涉及在6(a)中，可以重寫為(8)
$z_{k+1}=\left. arg\text{ } min \right|_{z} \frac{1}{2(\sqrt{\lambda / \mu})^2} ||x_{k+1}-z||^2+\Phi(z)\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(8)$
通過貝葉斯概率公式，等式(8)可以看做是對應於一個去噪任務，噪聲水平為$\sqrt{\lambda / \mu}$，所以可以通過去噪器實現求出$z_{k+1}$.
以噪聲水平$\sqrt{\lambda / \mu}$高斯去噪器的去噪圖像$x_{k+1}$.去噪器可以作為(2)的模塊，為了強調這個，重寫(8)
$z_{k+1}=Denoiser(x_{k+1},\sqrt{\lambda / \mu})\text{ }\text{ }\text{ }\text{ }\text{ }\text{ }(9)$
值得注意的是圖像先驗$\Phi$可以間接被去噪先驗替代，這種解法有一些優點：
-- 他允許使用各種灰度和彩色降噪器去解決各種inverse 問題；
-- 求解Eqn2時，顯式圖像先驗$\Phi(\cdot)$是未知的;
-- 利用多個互補(complementary)的去噪器，利用不同的圖像先驗，可以共同解決一個特定的問題;