不適定的反問題
在學習過程中，涉及到了數學物理中的反演問題，【正問題】一般可簡化為輸入，輸出和轉換系統，即
其中，\(\mathbf{F}\) 表示轉換關系（一般為算子或積分，已知），\(x\) 為輸入參數，\(y\) 為輸出數據，\(\mathbf{X}\) 和 \(\mathbf{Y}\) 為對應的賦范空間。從【反問題】的角度來考慮，求解問題變為
即已知輸出數據，反求出輸入參數。經常說問題的適定性對求解存在很大的影響，先從適定性的定義出發，假設問題\(\eqref{eq2}\)是適定（well-posedness）的，則全部滿足[1]：
- \(C_{1}\)：\(\forall \ y \in \mathbf{Y}\)，\(\exists \ x \in \mathbf{X}\)，使得\(\eqref{eq2}\)成立；
- \(C_{2}\)：\(\eqref{eq2}\)的解 \(x\) 是唯一的；
- \(C_{3}\)：\(\eqref{eq2}\)的解 \(x\) 連續依賴於 \(y\)
要求問題\(\eqref{eq2}\)適定的條件下，等同於要求 \(\mathbf{F}^{-1}\) 存在且連續，然而很多問題都是不滿足這個條件的，也就是說不適定 --- (如熱傳導問題中，對於給定的邊界條件，能夠得到唯一的一組溫度數據；但是一組溫度數據不一定對應唯一的一組邊界條件)。
許多反問題都是不適定的，普遍存在 \(x\) 不連續依賴於 \(y\) ，並且 \(y\) 的微小擾動會使 \(x\) 產生劇烈波動的問題，也即病態問題，這時我們所求的反問題的解通常是最小二乘意義下的解 \(x^* \in \mathbf{X}\)，即
注：不可將適定性與病態性視作一種概念，並且它們沒有從屬關系，要理解需從各自的定義出發，可大致參考[知乎]，[Exchange]
病態（ill-conditioned）問題：當一個問題的輸入受到微小的擾動即可引發輸出解的劇烈變化時，也即問題的解對輸入參數非常敏感，便稱它是病態問題
反問題與不適定的聯系主要表現在兩個方面[2]：1、由於客觀條件的限制，反問題中的數據往往是欠定或者過定的，這就導致解的不唯一性或者是解的不存在性；2、反問題的解對數據往往不具有連續依賴性，並且通常這種不連續這是導致反問題病態的原因。在\(\mathbf{F}^{-1}\) 的連續性不滿足的情況下，即條件 \(C_3\) 不滿足的情況，如何通過一組帶有誤差的數據穩定求出滿足精度的結果，顯然非常重要。
例1：考慮一個一維階躍函數
\[{F}(x) = [x] \ (x \in R^1) \tag{4} \label{eq4} \]顯然 \(\eqref{eq4}\) 並不連續，考慮 \({F}(3.001) = 3\) ，若存在誤差 \(\delta\)，\(3.001+\delta = 2.999\)，那么 \({F}(2.999) = 2\)，顯然一個很小的誤差 \(\delta = -0.002\) 對求解帶來了很大的影響，這也表明問題 \(\eqref{eq4}\) 是病態的。
例1合理性待確定，想通過這例子直觀的反映出我對這部分內容的理解，如有不合理處或更好的舉例還望不吝指教
為獲得最小二乘意義下的解 \(x^*\) ，需要利用一種算法來求解無約束最小化問題 \(\eqref{eq3}\) ，這些算法有：演化類算法，梯度類算法等。這些算法都用各自的搜索方法尋求目標函數的極小值，並且這些算法的搜索效率和准確度在應用中各有優劣。在存在測量誤差的情況下，對於適定非病態問題，這些算法大都能很好的求解，但對於不適定病態問題，這些算法就無法足夠穩定准確地求解，因此人們發展了正則化方法來處理這些不適定病態問題。
正則化
regularization: (n.) 規范化；正則；規則化；調整
正則化（regularization）這個名詞聽着總讓人摸不着頭腦，從中文詞義上更是找不出含義。從英文名詞的角度看，有添加約束，增加條件的含義。
在實際反問題中，由於測量誤差的無法避免，精確數據 \(y\) 無法得到，只有包含誤差的數據 \(y_{\delta} = y + \delta\) ，這時相當於求解問題：
然而這通常是不可解並且極不穩定的，同時 \(\mathbf{F}^{-1}\) 也不可求，因為包含誤差的 \(y_{\delta}\) 很有可能不在空間 \(\mathbf{Y}\) 中，又或者解對輸入數據非常敏感，使得 \(x_\delta\) 與精確解相差甚遠，這時候構造一個正則算子 \(\mathbf{R}(\alpha)\) ，並且滿足
這時
其中 \(x^{r}_{\delta}\) 表示誤差數據 \(y_{\delta}\) 在正則算子下的解，並且 \(x^{r}_{\delta}\) 足夠接近精確解 \(x\) 。其中 \(\alpha\) 與解的穩定性和准確性密切相關，一般來說 \(\alpha\) 越大穩定性越好，而 \(\alpha\) 越小解的准確度更高，因此選擇一個依賴誤差水平的正則化參數 \(\alpha(\delta)\) 來合適地平衡穩定性和准確性正是正則化的精妙所在。
例2：考慮一個 Heaviside 函數
\[H(x)= \begin{cases} 1 & x>0 \\ 0 & x \le 0 \end{cases} \tag{8} \label{eq8} \]與 \(\eqref{eq4}\) 性質類似，因此 \(\eqref{eq8}\) 還有一個正則化的形式
\[H_r(x)= \begin{cases} 1 & x>{\alpha} \\ -{\frac{3}{4}}({\frac{x}{\alpha}}-{\frac{x^3}{3\alpha^3}})+{\frac{1}{2}} & -\alpha \le x \le \alpha \\ 0 & x < -{\alpha} \end{cases} \tag{9} \label{eq9} \]函數圖如下（ 圖中 \(\alpha = 0.1\) ）
\(H(0.001)=1\) 加上誤差后 \(H(-0.001)=0\) ，而 \(H_r(-0.001)=0.4925\) ，可以發現正則化后離精確解的准確度明顯提高，並且准確度隨着 \(\alpha\) 的減小而增加，相應的穩定性卻降低了，反之同理。
通過例2可以看出，正則化在某種程度上可以看作是構造另外一個算子，與原算子性質大體一致，卻更加穩定，光滑連續。
為不同的問題選擇合適的正則化方法對求解也同樣重要，即正則算子 \(\mathbf{R}(\alpha)\) 的選擇。這里我只是具體化地闡述了正則化的概念，並沒有具體到正則化方法的推導和使用，介紹正則化方法（如經典的Tikhonov正則化）也應該會在另一篇文章里頭了吧。
參考文獻
[1] 王彥飛. 反演問題的計算方法及其應用 [M]. 北京: 高等教育出版社, 2007.
[2] 鄭恩希. 幾種不適定問題的正則化方法及其數值實現 [D]. 吉林: 吉林大學, 2009.
最后更新於 2021年1月4日 --- 最初發表於 2020年4月20日
原創作者：LitBro
關於作者：咕咕咕
本文鏈接: [https://www.cnblogs.com/LitBro/p/12735745.html]
版權聲明：本文采用 BY-NC-SA協議，轉載或引用請注明出處!
關於后續：礙於學業不精，如有描述不當，還請見諒並非常感謝指出