【線性回歸】最小二乘與嶺回歸的概率論解釋

背景：

考慮一個多項式擬合問題，如下圖，綠線的方程是sin(2πx)sin⁡(2πx)，藍點是由綠線並加上噪音（這些噪音是默認符合正態分布的）生成。已知條件是由NN個點構成的訓練集x=(x1,...xN)Tx=(x1,...xN)T，以及這些點對應的目標值t=(t1,...tN)Tt=(t1,...tN)T。現在的目標是：根據藍點來擬合一條曲線，而綠線就是我們要最終擬合的效果。

問題：
假設我們最終要擬合的曲線是下面這個MM階方程，方程如下：
y(x,w)=w0+w1x+w2x2+...+wMxM=∑j=0Mwjxj（方程1）
y(x,w)=w0+w1x+w2x2+...+wMxM=∑j=0Mwjxj（方程1）

其中ww是該方程的系數，也是我們最終要求的對象；
通常我們會使用最小二乘法來做誤差函數（error function，其是一種狹義的損失函數loss function），其公式如下：
E(w)=12∑i=1N{y(xn,w)−tn}2（方程2）
E(w)=12∑i=1N{y(xn,w)−tn}2（方程2）

其中tntn是這些點真實的數值，即上圖中的藍點，我們的目標就是求得一組ww使E(w)E(w)的值最小；
這似乎是一個天經地義的事情，但它是否是正確的？為什么正確？為什么不能直接將殘差累加或是殘差的絕對值來作為損失函數，如下式？
E(w)=12∑i=1N|y(xn,w)−tn|
E(w)=12∑i=1N|y(xn,w)−tn|

在使用最小二乘作為誤差函數的時候，我們缺乏一個對公式的解釋，下面本文就從概率論的角度來解釋最小二乘背后的原因。
概率論解釋最小二乘法：
這里有個假設：一個點的觀測值符合以其真實值為均值，方差為β−1β−1(β−1=σ2β−1=σ2)的高斯分布；即是默認我們的誤差是屬於高斯分布的，寫成數學表達式即：
p(t|x,w,β)=N(t|y(x,w),β−1)（方程3）
p(t|x,w,β)=N(t|y(x,w),β−1)（方程3）

如果每個xx都是獨立同分布的，那么對於觀測值tt的最大似然函數，即：
p(t|x,w,β)=∏n=1NN(tn|y(xn,w),β−1)（方程4）
p(t|x,w,β)=∏n=1NN(tn|y(xn,w),β−1)（方程4）

取對數似然函數，即：
lnp(t|x,w,β)=∑n=1NlnN(tn|y(xn,w),β−1)
ln⁡p(t|x,w,β)=∑n=1NlnN(tn|y(xn,w),β−1)

即：
lnp(t|x,w,β)=−β2∑n=1N{y(xn,w)−tn}2+N2lnβ−N2ln(2π)（方程5）
ln⁡p(t|x,w,β)=−β2∑n=1N{y(xn,w)−tn}2+N2ln⁡β−N2ln⁡(2π)（方程5）

目標是求方程5的最大值，因為最終要求的是ww，因此最終就成了求公式6的最小值，即：
∑n=1N{y(xn,w)−tn}2（公式6）
∑n=1N{y(xn,w)−tn}2（公式6）
這個竟然就是一開始的最小二乘法！
總結1：
利用最小二乘法求解本質上是求解似然函數的最大值，並且默認殘差屬於高斯分布。

概率論解釋嶺回歸：
我們在上面的基礎上增加一個先驗概率：擬合函數的參數ww屬於一個均值為0的多元高斯分布，本質是在限制ww中的各項相差不能太大，即：
p(w|α)=N(w|0,α−1I)=(α2π)(M+1)/2exp{−α2wTw}（公式7）
p(w|α)=N(w|0,α−1I)=(α2π)(M+1)/2exp{−α2wTw}（公式7）
對公式7求對數，即：
lnp(w|α)=M+12lnα2π−α2WTW（公式8）
lnp(w|α)=M+12lnα2π−α2WTW（公式8）
由於（這是貝葉斯函數的另一種表達方式）：
后驗概率=先驗概率∗似然函數（公式9）
后驗概率=先驗概率∗似然函數（公式9）
因此：
p(w|x,t,α,β)正比於p(t|x,w,β)p(w|α)（公式10）
p(w|x,t,α,β)正比於p(t|x,w,β)p(w|α)（公式10）
現在我們可以通過已知條件，通過后驗概率來求出最有可能的ww，即求公式10的最大值。取公式10左式的負對數，並將公式5和公式8帶入，求公式10的最大值可等價於求下式的最小值，即：
β2∑n=1N{y(xn,w)−tn}2+α2wTw
β2∑n=1N{y(xn,w)−tn}2+α2wTw
總結2：
嶺回歸本質上是求解后驗概率的最大值，並且添加的先驗條件是參數ww符合多元高斯分布。

極大似然估計(MLE)和極大后驗估計(MAP)：
在用概率論解釋最小二乘法的時候，我們使用的是MLE，即求出似然函數的最大值；在用概率論解釋嶺回歸時，我們使用的是MAP，即求出后驗概率的最大值。

參考：

https://blog.csdn.net/liu_sn/article/details/79591146

https://blog.csdn.net/freedom098/article/details/56489238