1) 廣義上的最小二乘法
最小二乘准則：是一種目標：基於均方誤差最小化來進行模型求解。
2) 狹義上的最小二乘法
最小二乘算法：正規方程( Normal Equation)，線性假設下的一種有閉式解的參數求解方法，最終結果為全局最優
3) 梯度下降
是假設條件更為廣泛無約束的，一種通過迭代更新來逐步進行的參數優化方法。針對凸問題可以得到全局最優解。而對於非凸問題可能會陷入到局部最優解
4) 總結
線性最小二乘求解可以使用最小二乘算法和梯度下降方法
非線性最小二乘求解可以使用梯度下降方法和牛頓法等方法