梯度下降與正規方程的比較

本文轉載自查看原文 2021-03-31 16:32 497

梯度下降與正規方程的比較：

梯度下降：需要選擇學習率α，需要多次迭代，當特征數量n大時也能較好適用，適用於各種類型的模型

正規方程：不需要選擇學習率α，一次計算得出，需要計算 ${{\left( {{X}^{T}}X \right)}^{-1}}$ ，如果特征數量n較大則運算代價大，因為矩陣逆的計算時間復雜度為 $O(n3)$ ，通常來說當 $n$ 小於10000 時還是可以接受的，只適用於線性模型，不適合邏輯回歸模型等其他模型

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 Matlab梯度下降及正規方程實現多變量的線性回歸邏輯回歸&線性回歸&梯度下降&正規方程梯度下降算法之方程求解梯度下降法和牛頓法的總結與比較線性回歸與梯度下降法[二]——優化與比較梯度下降法與牛頓法的比較正規方程 Normal Equation 梯度下降與隨機梯度下降正規方程推導詳解機器學習中梯度下降法和牛頓法的比較