常見的：
1.梯度下降：全批度下降，隨機梯度下降（SGD），小批量梯度下降（batch SGD）
2.牛頓法：優化函數的二階導數信息，海森矩陣求解困難，還有海森矩陣的逆。
3.擬牛頓法：擬牛頓法的本質思想是改善牛頓法每次需要求解復雜的Hessian矩陣的逆矩陣的缺陷，它使用正定矩陣來近似Hessian矩陣的逆，從而簡化了運算的復雜度。
4.共軛梯度法：共軛梯度法是介於梯度下降法（最速下降法）與牛頓法之間的一個方法，它僅需利用一階導數信息，但克服了梯度下降法收斂慢的缺點，又避免了牛頓法 需要存儲和計算Hessian矩陣並求逆的缺點，共軛梯度法不僅是解決大型線性方程組最有用的方法之一，也是解大型非線性最優化最有效的算法之一。在 各種優化算法中，共軛梯度法是非常重要的一種。其優點是所需存儲量小，具有逐步收斂性，穩定性高，而且不需要任何外來參數。