最優化局部極小點的條件（二）

本文轉載自查看原文 2015-12-28 04:57 2951 凸優化(convex optimization)

回憶一下關於 $\large n$ 元實值函數的 $\large f:R^{n}\rightarrow R$ 的求導問題，函數 $\large f$ 的一階導數 $\large Df$ 為

$\large Df\triangleq \begin{bmatrix} \frac{\partial f}{\partial x_{1}},&\frac{\partial f}{\partial x_{2}}, &\cdots, & \frac{\partial f}{\partial x_{n}} \end{bmatrix}$

函數 $\large f$ 的梯度 $\large \triangledown f$ 正好是導數 $\large Df$ 的轉置，即 $\large \triangledown f=(Df)^{T}$ ；函數 $\large f$ 的二階導數，也稱為hessian矩陣，可表示為：

$\large H(x)\triangleq D^{2}f(x)=\begin{bmatrix} \frac{\partial^2 f}{\partial x_{1}^2}& \cdots & \frac{\partial^2 f}{\partial x_{n}\partial x_{1}} \\ \vdots & & \vdots \\ \frac{\partial^2 f}{\partial x_{1}\partial x_{n}}&\cdots &\frac{\partial^2 f}{\partial x_{n}^2} \end{bmatrix}$

對於向量 $\large d\in R^{n}$ , $\large d\neq 0$ 和約束集中的某個點 $\large x\in \Omega$ ，如果存在一個實數

This is the rendered form of the equation. You can not edit this directly. Right click will give you the option to save the image, and in most browsers you can drag the image onto your desktop or another program.

使得對於所有 $\large a\in [0,a_{0}]$ ， $\large x+ad$ 仍然在約束集內，即 $\large x+ad\in \Omega$ ，則稱 $\large d$ 為 $\large x$ 處的可行方向！

$\large d$ 為 $\large n$ 元實值函數 $\large f:R^{n}\rightarrow R$ 在 $\large x\in \Omega$ 處的可行方向，則函數 $\large f$ 沿方向 $\large d$ 的方向導數 $\large \partial f/\partial d$ 可表示為

$\large \frac{\partial f}{\partial d}(x)=\lim_{a\rightarrow 0}\frac{f(x+ad)-f(x)}{a}$

這也是一個實值函數，如果 $\large \left \| d \right \|=1$ ，那么方向導數 $\large \partial f/\partial d$ 表示的是函數 $\large f$ 的值在 $\large x$ 處沿方向 $\large d$ 的增長率。為了計算方向導數，假定 $\large x$ 和 $\large d$ 已知，這樣 $\large f(x+ad)$ 就變成了關於 $\large a$ 的函數，有

$\large \frac{\partial f}{\partial d}(x) =\left.\dfrac{d}{da}f(x+ad)\right|_{a=0}$

應用鏈式法則，可得

$\large \frac{\partial f}{\partial d}(x) =\left.\dfrac{d}{da}f(x+ad)\right|_{a=0}=\triangledown f(x)^{T}d=\left \langle \triangledown f(x),d \right \rangle=d^{T}\triangledown f(x)$

由此可見，當 $\large d$ 是一個單位向量( $\large \left \| d \right \|=1$ )時，函數f的值在 $\large x$ 處沿方向 $\large d$ 的增長率可以用內積 $\large \left \langle \triangledown f(x),d \right \rangle$ 表示。

一階必要條件：多元實值函數 $\large f$ 在約束集 $\large \Omega$ 上一階連續可微，即 $\large f\in C^{1}$ ，約束集 $\large \Omega$ 是 $\large R^{n}$ 的子集。如果 $\large x^{*}$ 是函數 $\large f$ 在 $\large \Omega$ 上的局部極小點，則對於 $\large x^{*}$ 處的任意可行方向 $\large d$ ，都有

$\large d^{T}\triangledown f(x^{*})\geqslant 0$

成立。

推論：局部極小點位於約束集內部時的一階必要條件：多元實值函數 $\large f$ 在約束集 $\large \Omega$ 上一階連續可微，即 $\large f\in C^{1}$ ，約束集 $\large \Omega$ 是 $\large R^{n}$ 的子集，如果 $\large x^{*}$ 是函數 $\large f$ 在 $\large \Omega$ 上的局部極小點，且是 $\large \Omega$ 的內點，則有

$\large \triangledown f(x^{*})=0$

成立。

局部極小點的二階必要條件：多元實值函數 $\large f$ 在約束集 $\large \Omega$ 上二階連續可微，即 $\large f\in C^{2}$ ，約束集 $\large \Omega$ 是 $\large R^{n}$ 的子集，如果 $\large x^{*}$ 是函數 $\large f$ 在 $\large \Omega$ 上的局部極小點， $\large d$ 是 $\large x^{*}$ 處的一個可行方向，且 $\large \triangledown f(x^{*})=0$ ，則有

$\large d^{T}H(x^{*})d\geqslant 0$

其中，H為函數f的hessian矩陣。

推論：局部極小點位於約束集內部時的二階必要條件：多元實值函數 $\large f$ 在約束集 $\large \Omega$ 上二階連續可微，即 $\large f\in C^{2}$ ，約束集 $\large \Omega$ 是 $\large R^{n}$ 的子集，如果 $\large x^{*}$ 是函數 $\large f$ 在 $\large \Omega$ 上的局部極小點，且是 $\large \Omega$ 的內點，則有

$\large \triangledown f(x^{*})=0$

hessian矩陣 $\large H(x^{*})$ 半正定，也就是說，對於所有的向量 $\large d\in R^{n}$ ，都有

$\large d^{T}H(x^{*})d\geqslant 0$

局部極小點的二階充分條件（局部極小點為內點）：多元實值函數 $\large f$ 在約束集上二階連續可微，即 $\large f\in C^{2}$ ， $\large x^{*}$ 是約束集的一個內點，如果同時滿足

1 $\large \triangledown f(x^{*})=0$

2

則 $\large x^{*}$ 是函數 $\large f$ 的一個嚴格局部極小點

-------------------------------------------------------------------------------

轉載請注明出處博客園刺蝟的溫馴

本文鏈接 http://www.cnblogs.com/chenying99/p/5081426.html

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 最優化 KKT條件局部最優解【最優化】整數規划最優化——阻尼牛頓法最優化-KT點的求解最優化理論與凸優化的用處最優化之凸優化之Bregman算法 MySQL優化——or條件優化無約束最優化的常用方法 0.618法（最優化方法）Python實現