作者：桂。
時間：2017-04-04 08:13:14
鏈接：http://www.cnblogs.com/xingshansi/p/6664288.html
聲明：歡迎被轉載，不過記得注明出處哦~
【讀書筆記11】
前言
西蒙.赫金的《自適應濾波器原理》第四版第八章：最小二乘法。全文主要包括：
1）矩陣方程問題描述；
2）最小二乘法；
3）最小二乘與最大似然的關系；
4）最小二乘與梯度下降的關系；
內容為自己的學習記錄，其中有借鑒他人的地方，最后一並給出鏈接。
一、矩陣方程問題描述
A-基本問題描述
許多問題都可以建模成矩陣方程：
${\bf{Ax}} = {\bf{b}}$
其中根據向量
和矩陣
的不同，矩陣方程的求解主要分為以下三類問題：
1）超定矩陣方程；m>n，$\bf{b}$和$\bf{A}$均已知，其中之一或二者可能存在觀測誤差、干擾；
2）盲矩陣方程：僅向量$\bf{b}$已知，矩陣$\bf{A}$未知；
3）欠定稀疏矩陣方程：m<n，$\bf{b}$和$\bf{A}$均已知.
每一類問題，都有對應的方法：如對於超定矩陣方程，觀測結果足夠多，方程個數大於未知數個數，對應矩陣通常列滿秩（不絕對），可以利用最小二乘得到唯一確定解；對於欠定矩陣方程，方程個數小於未知數個數，得出的解有多種可能，所以通常需要添加約束——例如稀疏性，雖然解有多種，最稀疏的可能只用一種，這要就得到了唯一確定解。給出問題與對應求解的示意圖：
多說一句，例如對於欠定系數矩陣求解，核心問題為：
這也是稀疏表示和壓縮感知的核心問題，由於不免帶有噪聲，問題通常松弛為：
B-最小二乘問題
最小二乘根據噪聲類型的不同，可以分為：普通最小二乘、數據最小二乘、總體最小二乘。
- 普通最小二乘（Ordinary least squares, OLS）
此時，向量$\bf{b}$（觀測向量）帶有誤差，對應的問題是：
- 數據最小二乘（Data least squares，DLS）
此時，數據矩陣$\bf{A}$帶有誤差，對應的問題是：
- 總體最小二乘（Total least squares, TLS）
此時，數據矩陣$\bf{A}$和數據矩陣$\bf{A}$都帶有誤差，對應的問題是：
本文僅分析超定方程情況，且只討論普通最小二乘（OLS）問題。
二、普通最小二乘求解
普通最小二乘也常被簡稱為：最小二乘法，但細化問題后其實有些亂，這里仍打算采用普通最小二乘這一說法。
問題描述：
求偏導：
這下就熟悉啦，直接走你，就得到常見的表達式：
怎么錯了？這里只是超定方程（m>n），並沒有說列一定滿秩，所以分兩種情況討論：
情況1：列滿秩，rank($\bf(A) $) = n
此時 $\left( {{{\bf{A}}^T}{\bf{A}}} \right)$可逆，對應的解唯一，從而有：
情況2：秩虧缺，rank($\bf(A) $) < n
這種情況下，需要借助Moore-Penrose進行廣義逆求解，Moore-Penrose求逆的方法在前文已有介紹，從而有：
秩虧缺情況下，得到的解不再是唯一的，但基於Moore-Penrose的解是唯一的，這就不免有一個問題——它是增加了何種約束？這里直接給出結論：此時的解為最小范數最小二乘解（minimum norm least squares solution），或者說此時向量對應歐式距離最短.證明可參考：張賢達《矩陣分析與應用第2版》p67.
三、普通最小二乘與最大似然
給出數學模型（以多項式擬合為例，N次擬合，共M組樣本點）：
普通最小二乘准則函數：
最大似然准則：
假設誤差均服從(0,$\delta^2$)的正態分布，則有似然函數：
求對數之后，最大似然准則函數等價於：
二者等價。
四、最小二乘與梯度下降
上文一個大前提就是方程可以轉化為線性變換：
${\bf{Ax}} = {\bf{b}}$
但很多時候不能實現問題的轉化，非線性沒有閉式解，這個時候仍然可以借助梯度下降求解，梯度下降在前文有分析。梯度下降是迭代的方式去逼近最優解，雖然可能是局部最優；而最小二乘是利用矩陣的形式直接得出結果。
參考：
- 張賢達《矩陣分析與應用》.