1) 广义上的最小二乘法
最小二乘准则：是一种目标：基于均方误差最小化来进行模型求解。
2) 狭义上的最小二乘法
最小二乘算法：正规方程( Normal Equation)，线性假设下的一种有闭式解的参数求解方法，最终结果为全局最优
3) 梯度下降
是假设条件更为广泛无约束的，一种通过迭代更新来逐步进行的参数优化方法。针对凸问题可以得到全局最优解。而对于非凸问题可能会陷入到局部最优解
4) 总结
线性最小二乘求解可以使用最小二乘算法和梯度下降方法
非线性最小二乘求解可以使用梯度下降方法和牛顿法等方法