梯度下降与正规方程的比较

本文转载自查看原文 2021-03-31 16:32 497

梯度下降与正规方程的比较：

梯度下降：需要选择学习率α，需要多次迭代，当特征数量n大时也能较好适用，适用于各种类型的模型

正规方程：不需要选择学习率α，一次计算得出，需要计算 ${{\left( {{X}^{T}}X \right)}^{-1}}$ ，如果特征数量n较大则运算代价大，因为矩阵逆的计算时间复杂度为 $O(n3)$ ，通常来说当 $n$ 小于10000 时还是可以接受的，只适用于线性模型，不适合逻辑回归模型等其他模型

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 Matlab梯度下降及正规方程实现多变量的线性回归梯度下降算法之方程求解正规方程 Normal Equation 【stanford】梯度、梯度下降，随机梯度下降梯度上升与梯度下降梯度算法之梯度上升和梯度下降随机梯度下降法线性回归——梯度下降随机梯度下降实现随机梯度下降算法