在最優化算法研究中按時間先后順序出現了許多算法包括如下幾種，這里介紹下他們的全稱和英文名稱：
1、最速下降法（Gradient descent）
2、牛頓法（Newton method）
3、 共軛梯度法(Conjugate Gradient)
4、擬牛頓法（Quasi-Newton），其有很多變種：
（1）DFP（Davidon、Fletcher、Powell三人的首字母）
（2）BFGS（布羅依丹(Broy-den,C. G.)以及弗萊徹(Fletcher , R. ) ,戈德福布(Goldforb,D. )、香諾(Shanno, D. F.)四個人名首字母）
（3）L-BFGS（large BFGS）
參考：
【1】https://baike.baidu.com/item/BFGS%E7%AE%97%E6%B3%95/19134399?fr=aladdin
【2】http://blog.sina.com.cn/s/blog_eb3aea990101gflj.html