當我們在求解梯度下降算法的時候，經常會用到正規方程來求解w的值，這個時候就用到正規方程來求解是最快的方法，但是正規方程又是怎么來的呢？我們來看看：首先我們設我們的損失函數為 MSE train，那么這個時候我們只需要對其求解偏導就好了，於是我們有∇ w MSE train = 0 。具體推導過程如下如圖所示，這里只做字母的解說，括號里的(train)代表的是訓練集：
我們可以看到第一步我們首先把 MSE train替換成我們的損失函數：並利用范數來表示這是在二維空間當中求解訓練集和真實值之間的絕對值（下標為2表示的是二維空間，求解的是歐式距離）。第二步把我們預測出來的y hat替換成我們的x和w權重相加得到的值。第三步由於我們用到了兩個矩陣的相乘，因此將其轉置，轉置之后兩個矩陣才可以進行相乘，或者說相乘更加方便一些。后面就是一些化簡的步驟了，也沒有什么難度。最后就可以得到我們正規方程的解啦！！