線性回歸（矩陣形式）

假設樣本數為m個，特征為n個。

預測模型：

,其中,為權重,為特征

向量寫法（默認向量為列向量）：

 

損失函數：

損失函數的矩陣形式：

其中，,

或者：

對w進行求導：

 令此式為零可得w：

表示是w的一個最佳估計。

 注意：公式中包含,此過程需要對矩陣求逆，因此這個方程只有在逆矩陣存在的時候可以使用。

需要可逆才能求出權重w，此時使用嶺回歸，在上加一個使得矩陣非奇異，進而對求逆。

是一個的單位矩陣，此時的權重為：

到此線性回歸模型建立完成。