線性回歸：是利用數理統計中回歸分析，來確定兩種或兩種以上變量間相互依賴的定量關系的一種統計分析方法。
梯度下降，http://www.cnblogs.com/hgl0417/p/5893930.html
最小二乘：
對於一般訓練集：
參數系統為：
線性模型為：
線性回歸的目的為最小化損失函數J(θ)，即：
相關知識：Tr(A)：矩陣A主對角線乘積。
最小二乘的推導：(吳恩達)
由於
所以
其中
最小化損失函數J(θ)等價與一階導數等於0，所以有
由於上式為實數
又因為
所以有：
整理后，對於一般線性系統：
其中
為θ的估計值
線性回歸的概率解釋(Probabilistic interpretaion)[1]：
假設：
其中，
為誤差(error)，由許多原因引起，一般情況下服從正太分布(也有特殊情況，但是比較少見，引起誤差的原因很多，每種原因相互獨立，由中心極限可知，對於大多數問題，使用線性系統，嘗試測量誤差，誤差一般服從正太分布，所以假設誤差是正態分布是很好的假設)。所以：
由於
，可以得到：
可以理解為
服從均值為
，方差為
的正太分布，即
，可以得到：
其中，
中不把θ作為隨機變量。
可以理解為
服從
對於θ的高斯分布。
對於每一個
是獨立同分布的(Independently Identically Dstributed, IID)，所以有：
這里取值越貼近
的概率越大，所以選擇θ使L(θ)最大，為了數學上的便利，將L(θ)轉換為log 的形式，因為log 的形式不改變L(θ)的單調性，所以有：
所以最大化l(θ)等價於最小化函數：
得到了線性回歸的目標函數。
[1] 網易公開課——斯坦福大學機器學習
**轉載請注明出處！