from：https://blog.csdn.net/fangqingan_java/article/details/48951191
概述
數值優化對於最優化問題提供了一種迭代算法思路，通過迭代逐漸接近最優解，分別對無約束最優化問題和帶約束最優化問題進行求解。
該系列教程可以參考的資料有
1. 《Numerical Optimization 2nd》–Jorge Nocedal Stephen J. Wright
2. 《凸優化》–Stephen Boyd
3. 《非線性最優化基礎》–Masao Fukushima（林貴華譯） 在·
4. 《非線性最優化理論與方法》–王宜舉
5. 凸優化在線課程
學習鏈接
最優化問題概述
*介紹最優化問題分類以及求解思路
線搜索方法
*基於線搜索方法，包括最速下降、牛頓方法以及步長計算等
信賴域方法
*介紹信賴域求解最優化問題的思路
共軛梯度方法
*介紹共軛方法的思路
擬牛頓方法
*介紹擬牛頓方法，用一階梯度近似Hessian矩陣方法
大規模無約束最優化方法
*大規模無約束問題，LBFGS等
梯度計算
*復雜函數梯度近似方法
無梯度最優化方法
*不計算梯度情況下，如何進行最優化
最小二乘問題
*最優化方法應用，求解最小二乘問題
非線性方程
*最優化方法應用，求解非線性方程問題
有約束最優化問題
*介紹等式、非等式約束最優化問題以及最優化條件，包括KKT條件、對偶等
線性規划問題
*線性規划常見求解算法
非線性約束最優化問題
*介紹非線性約束的最優化問題求解思路
二次規划問題
*目標函數是二次函數的特殊最優化問題，是SQP、內點等方法的基礎
懲罰和增廣拉格朗日方法
*求解帶約束最優化問題常用方法
序列二次規划和內點法
*SQP和IP方法對於求解大規模約束最優化問題提供方案
說明
該系列文章是個人學習總結，由於非數學專業和時間關系，可能會有錯誤和紕漏，歡迎大家批評指正。
另外文章每一行都是個人一字一字敲進去的，轉載請注明出處，謝謝。