在機器學習中，常看到線性回歸有 最小二乘法 和 梯度下降法。
線性回歸——最小二乘法 參見之前的博客：線性回歸——最小二乘法小結
線性回歸——梯度下降法 參見之前的兩個博客：
1) 機器學習簡介，單變量線性回歸——梯度下降法
2) 多變量線性回歸——梯度下降法
那么梯度下降法 和 最小二乘法的區別呢，其實二者主要在求解找到最優解時存在一些區別。
二者區別：
1 最小二乘法：
1) 一次計算即可得到最優解(全局最優解)，但極小值為全局最小值；
2) 當特征數量 大於10000時，因計算矩陣逆的時間復雜度( )會很大；
3) 只適用於線性模型，不適用於邏輯回歸等其他模型。
2 梯度下降法：
1) 需要選擇學習率 ，需要多次迭代找到最優解(局部最優解)，極小值為局部最小值；
2) 當特征數量 大於10000時，也可以進行計算；
3) 適用於各種類型的模型。
總的來說，在機器學習中，最小二乘法只適用於線性模型(這里一般指線性回歸)；而梯度下降適用性極強，一般而言，只要是凸函數，都可以通過梯度下降法得到全局最優值(對於非凸函數，能夠得到局部最優解)。梯度下降法只要保證目標函數存在一階連續偏導，就可以使用。
————————————————
版權聲明：本文為CSDN博主「TechArtisan6」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/zaishuiyifangxym/article/details/93787233