在求解反問題時,正則化技術的作用非常大。對於大多數優化問題,基本都使用了正則化方法。但是什么是正則化?卻沒有一個概念性的定義。
解釋性的定義如下:
對於線性方程Ax=b,當解x不存在或者解不唯一時,就是所謂的病態問題(ill-posed problem). 但是在很多時候,我們需要對病態問題求解,那怎么做?
對於解不存在的情況,解決辦法是增加一些條件找一個近似解;對於解不唯一的情況,解決辦法是增加一些限制縮小解的范圍。這種通過增加條件或限制要求求解病態問題的方法就是正則化方法。
正則化的英文是regularization,即規則化,調整。通過一些調整或者其他辦法,使病態問題也能得到唯一解。在這個調整的過程中,使用的技術就是正則化技術,所用的方法就是正則化方法。
求解線性方程的標准方法是最小二乘法,即求解min||Ax-b||2,對於病態的線性方程,吉洪諾夫提出使用方法,
叫做吉洪諾夫矩陣(Tikhonov matrix).