線性回歸與梯度下降算法
作者：上品物語
轉載自：線性回歸與梯度下降算法講解
知識點：
- 線性回歸概念
- 梯度下降算法
l 批量梯度下降算法
l 隨機梯度下降算法
l 算法收斂判斷方法
1.1 線性回歸
在統計學中，線性回歸(Linear Regression)是利用稱為線性回歸方程的最小平方函數對一個或多個自變量和因變量之間關系進行建模的一種回歸分析。這種函數是一個或多個稱為回歸系數的模型參數的線性組合。
回歸分析中，只包括一個自變量和一個因變量，且二者的關系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個或兩個以上的自變量，且因變量和自變量之間是線性關系，則稱為多元線性回歸分析。
下面我們來舉例何為一元線性回歸分析，圖1為某地區的房屋面積(feet)與價格($)的一個數據集，在該數據集中，只有一個自變量面積(feet)，和一個因變量價格($)，所以我們可以將數據集呈現在二維空間上，如圖2所示。利用該數據集，我們的目的是訓練一個線性方程，無限逼近所有數據點，然后利用該方程與給定的某一自變量（本例中為面積），可以預測因變量（本例中為房價）。本例中，訓練所得的線性方程如圖3所示。
圖1、房價與面積對應數據集
圖2、二維空間上的房價與面積對應圖
圖3、線性逼近
同時，分析得到的線性方程為：
接下來還是該案例，舉一個多元線性回歸的例子。如果增添了一個自變量：房間數，那么數據集可以如下所示：
圖4、房價與面積、房間數對應數據集
那么，分析得到的線性方程應如下所示：
因此，無論是一元線性方程還是多元線性方程，可統一寫成如下的格式：
上式中x0=1，而求線性方程則演變成了求方程的參數ΘT。
線性回歸假設特征和結果滿足線性關系。其實線性關系的表達能力非常強大，每個特征對結果的影響強弱可以有前面的參數體現，而且每個特征變量可以首先映射到一個函數，然后再參與線性計算，這樣就可以表達特征與結果之間的非線性關系。
1.2 梯度下降算法
為了得到目標線性方程，我們只需確定公式（3）中的ΘT，同時為了確定所選定的的ΘT效果好壞，通常情況下，我們使用一個損失函數(loss function)或者說是錯誤函數(error function)來評估h(x)函數的好壞。該錯誤函數如公式(4)所示。
如何調整ΘT以使得J(Θ)取得最小值有很多方法，其中有完全用數學描述的最小二乘法(min square)和梯度下降法。
1.2.1 批量梯度下降算法
由之前所述，求ΘT的問題演變成了求J(Θ)的極小值問題，這里使用梯度下降法。而梯度下降法中的梯度方向由J(Θ)對Θ的偏導數確定，由於求的是極小值，因此梯度方向是偏導數的反方向。
公式(5)中α為學習速率，當α過大時，有可能越過最小值，而α當過小時，容易造成迭代次數較多，收斂速度較慢。假如數據集中只有一條樣本，那么樣本數量，所以公式(5)中
所以公式(5)就演變成：
當樣本數量m不為1時，將公式(5)中
由公式(4)帶入求偏導，那么每個參數沿梯度方向的變化值由公式(7)求得。
初始時ΘT可設為
，然后迭代使用公式(7)計算ΘT中的每個參數，直至收斂為止。由於每次迭代計算ΘT時，都使用了整個樣本集，因此我們稱該梯度下降算法為批量梯度下降算法(batch gradient descent)。
1.2.2 隨機梯度下降算法
當樣本集數據量m很大時，批量梯度下降算法每迭代一次的復雜度為O(mn),復雜度很高。因此，為了減少復雜度，當m很大時，我們更多時候使用隨機梯度下降算法(stochastic gradient descent),算法如下所示：
即每讀取一條樣本，就迭代對ΘT進行更新，然后判斷其是否收斂，若沒收斂，則繼續讀取樣本進行處理，如果所有樣本都讀取完畢了，則循環重新從頭開始讀取樣本進行處理。
這樣迭代一次的算法復雜度為O(n)。對於大數據集，很有可能只需讀取一小部分數據，函數J(Θ)就收斂了。比如樣本集數據量為100萬，有可能讀取幾千條或幾萬條時，函數就達到了收斂值。所以當數據量很大時，更傾向於選擇隨機梯度下降算法。
但是，相較於批量梯度下降算法而言，隨機梯度下降算法使得J(Θ)趨近於最小值的速度更快，但是有可能造成永遠不可能收斂於最小值，有可能一直會在最小值周圍震盪，但是實踐中，大部分值都能夠接近於最小值，效果也都還不錯。
1.2.3 算法收斂判斷方法
- 參數ΘT的變化距離為0，或者說變化距離小於某一閾值（ΘT中每個參數的變化絕對值都小於一個閾值）。為減少計算復雜度，該方法更為推薦使用。
- J(Θ)不再變化，或者說變化程度小於某一閾值。計算復雜度較高，但是如果為了精確程度，那么該方法更為推薦使用。
梯度下降算法的優缺點
第一種，遍歷全部數據集算一次損失函數，然后算函數對各個參數的梯度，更新梯度。這種方法每更新一次參數都要把數據集里的所有樣本都看一遍，計算量開銷大，計算速度慢，不支持在線學習，這稱為Batch gradient descent，批梯度下降。
另一種，每看一個數據就算一下損失函數，然后求梯度更新參數，這個稱為隨機梯度下降，stochastic gradient descent。這個方法速度比較快，但是收斂性能不太好，可能在最優點附近晃來晃去，hit不到最優點。兩次參數的更新也有可能互相抵消掉，造成目標函數震盪的比較劇烈。
為了克服兩種方法的缺點，現在一般采用的是一種折中手段，mini-batch gradient decent，小批的梯度下降，這種方法把數據分為若干個批，按批來更新參數，這樣，一個批中的一組數據共同決定了本次梯度的方向，下降起來就不容易跑偏，減少了隨機性。另一方面因為批的樣本數與整個數據集相比小了很多，計算量也不是很大。