Scipy優化算法--scipy.optimize.fmin_tnc()/minimize()

scipy中的optimize子包中提供了常用的最優化算法函數實現，我們可以直接調用這些函數完成我們的優化問題。

scipy.optimize包提供了幾種常用的優化算法。 該模塊包含以下幾個方面 

• 使用各種算法(例如BFGS，Nelder-Mead單純形，牛頓共軛梯度，COBYLA或SLSQP)的無約束和約束最小化多元標量函數(minimize())
• 全局(蠻力)優化程序(例如，anneal()，basinhopping())
• 最小二乘最小化(leastsq())和曲線擬合(curve_fit())算法
• 標量單變量函數最小化(minim_scalar())和根查找(newton())
• 使用多種算法(例如，Powell，Levenberg-Marquardt混合或Newton-Krylov等大規模方法)的多元方程系統求解

在用python實現邏輯回歸和線性回歸時，使用梯度下降法最小化cost function，用到了fmin_tnc()和minimize()。

一、fmin_tnc()

有約束的多元函數問題，提供梯度信息，使用截斷牛頓法。

調用：

scipy.optimize.fmin_tnc(func, x0, fprime=None, args=(), approx_grad=0, bounds=None, epsilon=1e-08, scale=None, offset=None, messages=15, maxCGit=-1, maxfun=None, eta=-1, stepmx=0, accuracy=0, fmin=0, ftol=-1, xtol=-1, pgtol=-1, rescale=-1, disp=None, callback=None)

最常使用的參數：

func：優化的目標函數

x0：初值

fprime：提供優化函數func的梯度函數，不然優化函數func必須返回函數值和梯度，或者設置approx_grad=True

approx_grad :如果設置為True，會給出近似梯度

args：元組，是傳遞給優化函數的參數

返回：

x ： 數組，返回的優化問題目標值

nfeval ： 整數，function evaluations的數目

在進行優化的時候，每當目標優化函數被調用一次，就算一個function evaluation。在一次迭代過程中會有多次function evaluation。這個參數不等同於迭代次數，而往往大於迭代次數。

rc ： int,Return code, see below 

例子：

result = opt.fmin_tnc(func=costf_reg,x0=theta,args=(X,y,1),fprime=gredient_reg)

(array([ 1.27271026,  1.18111686,  0.62529965, -1.43166928, -0.91743189, -2.01987399, -0.17516292, -0.35725404, -0.36553118, 0.12393227, -1.19271299, -0.27469165, -0.61558556, -0.05098418, -1.45817009, -0.45645981, -0.29539513, -0.27778949, -0.04466178, -0.206033 , -0.2421784 , -0.92467487, -0.1438915 , -0.32742405, 0.0155576 , -0.29244868, 0.02779373, -1.04319154]), 32, 1)

二、minimize()

調用：

scipy.optimize.minimize(fun, x0, args=(), method=None, jac=None, hess=None, hessp=None, bounds=None, constraints=(), tol=None, callback=None, options=None)

參數：

fun ：優化的目標函數

x0 ：初值，一維數組，shape (n,)

args ： 元組，可選，額外傳遞給優化函數的參數

method：求解的算法，選擇TNC則和fmin_tnc()類似

jac：返回梯度向量的函數

返回：

返回優化結果對象，x：優化問題的目標數組。success: True表示成功與否，不成功會給出失敗信息。

例子：

result = opt.minimize(fun=costf_reg, x0=theta, args=(X,y,2), method='TNC')
print(result)


     fun: 0.5740215331747713
     jac: array([-1.11983756e-03, -3.17176285e-03,  1.66888725e-04, -3.80251386e-04,
        5.17319521e-04,  5.48006085e-05, -1.71642700e-03, -9.40103551e-04,
        2.54840593e-04,  1.63347114e-04, -4.23616697e-04,  9.04154529e-04,
       -7.58726415e-05,  3.3874014……])
 message: 'Converged (|f_n-f_(n-1)| ~= 0)'
    nfev: 192
     nit: 20
  status: 1
 success: True
       x: array([ 0.89832911,  0.72816704,  0.32672603, -0.8722403 , -0.49704549,
       -1.37221312, -0.16553916, -0.29805388, -0.18577737,  0.02011522,
       -0.78541694, -0.0979966 ,…… ])

 

 參考：https://docs.scipy.org/doc/scipy-1.2.1/reference/generated/scipy.optimize.minimize.html#scipy.optimize.minimize