現在我們對於任意一個優化問題(不一定是凸優化問題):
\begin{split}\text{min}\quad & f_{0}(x) \newline \text{subject to:}\quad & f_{i}(x)\leq 0, i=1,...,m \newline & h_{i}(x)=0, i=1,...,p\end{split}
如果所有的出現的函數均為一階可微函數,並且假設\(x^{\ast}\), \((\lambda^{\ast},\nu^{\ast})\)分別為()問題和其對偶問題的最優解,gap 為0,那么我們很自然的有如下的條件:
\begin{split}f_{i}(x^{\ast})&\leq 0, i=1,...m; \newline h_{i}(x^{\ast})&=0, i=1,...,p \newline \lambda_{i}^{\ast}&\geq 0, i=1...m \newline \lambda_{i}^{\ast}f_{i}(x^{\ast})&=0, i=1,...m\newline \nabla f_{0}(x^{\ast})+\sum_{i=1}^{m}\lambda_{i}^{\ast}\nabla f_{i}(x^{\ast})+\sum_{i=1}^{p}\nu_{i}^{\ast}\nabla h_{i}(x^{\ast})&=0,\end{split}
現在我們考慮一下凸優化問題的情況,這個時候,我們也容易得到如下的逆命題成立:
定理 如果對於優化問題(),\(f_{i}\)(i=0,1,...,m) 均為一階可微凸函數,\(h_{i}\)(i=1,...,p) 均為仿射函數,\(\tilde{x}\in D\), \(\tilde{\lambda}\in \mathbb{R}^{m}\), \(\tilde{\nu}\in \mathbb{R}^{p}\) 滿足KKT 條件:
\begin{split}f_{i}(\tilde{x})&\leq 0, i=1,...m; \newline h_{i}(\tilde{x})&=0, i=1,...,p \newline \tilde{\lambda_{i}}&\geq 0, i=1...m \newline \tilde{\lambda_{i}}f_{i}(\tilde{x})&=0, i=1,...m\newline \nabla f_{0}(\tilde{x})+\sum_{i=1}^{m}\tilde{\lambda_{i}}\nabla f_{i}(\tilde{x})+\sum_{i=1}^{p}\tilde{\nu_{i}}\nabla h_{i}(\tilde{x})&=0,\end{split}
則\(\tilde{x}\), \((\tilde{\lambda},\tilde{\nu})\)分別是原始優化問題,對偶問題的解。
證明:
考察 Lagrange 函數:$$L: D \times\mathbb{R}^{m}\times\mathbb{R}^{p}\rightarrow \mathbb{R},$$
\(L(x,\lambda,\nu)=f_{0}(x)+\sum_{i=1}^{m}\lambda_{i}f_{i}(x)+\sum_{i=1}^{p}\nu_{i}h_{i}(x)\).
為方便起見,我們使用之前一樣的記號,記:\(p^{\ast}=\inf_{x\in D(f,h)}f_{0}\), \(g(\tilde{\lambda},\tilde{\nu})=\inf_{x\in D}L(x,\lambda,\nu)\)。
現在固定\(\lambda=\tilde{\lambda}\), \(\nu=\tilde{\nu}\), 由於 \(\tilde{\lambda_{i}}\geq 0\), \(h_{i}\) 是仿射函數,容易知道 \(L(x,\tilde{\lambda},\tilde{\nu})\)是關於\(x\)的凸函數,所有這時\(\nabla_{x} L(\tilde{x},\tilde{\lambda},\tilde{\nu})=0\) 保證了 \(L(x,\tilde{\lambda},\tilde{\nu})\) 在\(x=\tilde{x}\)除取極小值,所以這時候,對於任意的 \(x\in D\), 我們有:
\begin{split}L(x,\tilde{\lambda},\tilde{\nu})&\geq L(\tilde{x},\tilde{\lambda},\tilde{\nu})\newline &=f_{0}(\tilde{x})\end{split}
注意到由KKT條件,上式中的等號是顯然成立的。這時候對上式兩邊取下確界,對\(x\in D\), 我們自然有: