线性回归（矩阵形式）

假设样本数为m个，特征为n个。

预测模型：

,其中,为权重,为特征

向量写法（默认向量为列向量）：

 

损失函数：

损失函数的矩阵形式：

其中，,

或者：

对w进行求导：

 令此式为零可得w：

表示是w的一个最佳估计。

 注意：公式中包含,此过程需要对矩阵求逆，因此这个方程只有在逆矩阵存在的时候可以使用。

需要可逆才能求出权重w，此时使用岭回归，在上加一个使得矩阵非奇异，进而对求逆。

是一个的单位矩阵，此时的权重为：

到此线性回归模型建立完成。