轉載來自：http://blog.csdn.net/acdreamers/article/details/44662633
關於最小二乘問題的求解，之前已有梯度下降法，還有比較快速的牛頓迭代。今天來介紹一種方法，是基於矩陣求導來計算的，它的計算方式更加簡潔高效，不需要大量迭代，只需解一個正規方程組。在開始之前，首先來認識一個概念和一些用到的定理。矩陣的跡定義如下
一個
的矩陣
的跡是指
的主對角線上各元素的總和，記作
。即
好了，有了上述7個定理，就可以來求最小二乘解了。設
那么進一步得到
接下來會涉及到矩陣求導，因為
那么進一步利用矩陣求導並利用上述定理，得到
我們知道在極值點處梯度值為零，即
上述得到的方程組叫做正規方程組，那么最終得到
這樣最小二乘問題只需解一個線性方程組即可，不再需要像梯度下降那樣迭代了。
既然說到了正規方程組，在介紹一種方程組，叫做超定方程組，它的定義為：把方程個數大於未知量個數的方
程組叫做超定方程組。通常來說，對於一個超定方程組
來說，求最小二乘解只需要兩邊同時乘
的轉
置，然后得到正規方程組
，然后解這個方程就得到了最小二乘解。