等式約束優化（可行點）

目錄

• 策略一 消除等式約束
• 策略二 Newton方向
  • 另外一種解釋
  • Newton減量——停止准則
  • 可行下降方法的算法
  • Newton方法和消除法

《Convex Optimization》

之前，講的下降方法以及Newton方法都是在無約束條件的前提下的。這里討論的是在等式約束（線性方程）的前提下討論的。我們研究的是下面的凸優化問題：

\[\begin{array}{ll} minimize & f(x) \\ s.t. & Ax=b \end{array} \]

其中\(f:\mathbb{R}^n \rightarrow \mathbb{R}, A \in \mathbb{R}^{p\times n}, rank A = p<n\)
請不要懷疑\(rank A = p<n\)條件的可靠性，否則，只需找出其線性無關組即可。而且，顯然，如果\(Ax=b\)如果無解，那么優化問題同樣無解。
通過對對偶問題，及KKT條件的分析，可以知道，該優化問題存在最優解的充要條件是，存在\(v^* \in \mathbb{R}^p\)滿足：

\[Ax^*=b, \quad \nabla f(x^*) + A^Tv^*=0 \]

策略一 消除等式約束

我們首先確定矩陣\(F \in \mathbb{R}^{n \times (n-p)}\)和向量\(\hat{x} \in \mathbb{R}^n\)，用以參數化可行集：

\[\{x|Ax=b\} = \{Fz+\hat{x}|z \in \mathbb{R}^{n-p} \} \]

只需，\(\hat{x}\)為\(Ax=b\)的一個特解即可。\(F\)是值域為\(A\)的零空間的任何矩陣（滿足\(A(Fz)=0\)，即\(Fz\)可以取得所有\(Ax=0\)的解）。於是等式約束問題就可以變為無約束問題：

\[minimize \quad \widetilde{f}(z) = f(Fz+\hat{x}) \]

我們也可以為等式約束構造一個最優的對偶變量\(v^*\):

\[v^*=-(AA^T)^{-1}A\nabla f(x^*) \]

另外需要注意的是，如果\(F\)是一個消除矩陣，那么任意的\(FT\)同樣也是合適的消除矩陣，其中\(T \in \mathbb{R}^{(n-p) \times (n-p)}\)是非奇異的。

策略二 Newton方向

我們希望導出等式約束問題：

\[\begin{array}{ll} minimize & f(x) \\ s.t. & Ax=b \end{array} \]

在可行點\(x\)處䣌Newton方向\(\Delta x_{nt}\)，將目標函數換成在x附近的二階泰勒近似：

\[\begin{array}{ll} minimize & \hat{f}(x+v)=f(x)+\nabla f(x)^{T}v + \frac{1}{2}v^T\nabla^2 f(x) v \\ s.t. & A(x+v)=b \end{array} \]

注意上述問題時關於\(v\)的優化問題。
根據我們在文章開頭提到的最優性條件，可以得到：

其中\(\Delta x_{nt}\)表示Newton方向，\(w\)是該二次問題的最優對偶變量。

另外一種解釋

我們可以將Newton方向\(\Delta x_{nt}\)及其相關向量\(w\)解釋為最優性條件

\[Ax^*=b, \quad \nabla f(x^*) + A^Tv^*=0 \]

的線性近似方程組的解。
我們用\(x + \Delta x_{nt}\)代替\(x^*\)，用\(w\)代替\(v^*\)，並將第二個方程中的梯度項換成其在\(x\)附近的線性近似，從而得到：

\[A(x + \Delta x_{nt})=b, \quad \nabla f(x+\Delta x_{nt})+A^Tw\approx \nabla f(x) + \nabla^2 f(x) \Delta x_{nt} + A^Tw = 0 \]

利用\(Ax = b\)，以上方程變成：

\[A\Delta x_{nt}=0, \quad \nabla^2 f(x) \Delta x_{nt} + A^Tw = -\nabla f(x) \]

這上面定義的一樣。

Newton減量——停止准則

我們將等式約束問題的Newton減量定義為：

\[\lambda (x) = (\Delta x_{nt}^T \nabla^2 f(x) \Delta x_{nt})^{1/2} \]

這和無約束情況表示的是一樣的，因此也可以進行同樣的解釋。
\(f\)在\(x\)處的二階泰勒近似為：

\[\hat{f}(x+v) = f(x) + \nabla f(x)^T v + (1/2) v^T \nabla^2 f(x) v \]

\(f(x)\)與二次模型之間的差值滿足：

\[f(x) - \inf \{\hat{f}(x+v) | A(x+v) = b\} = \lambda (x)^2/2 \]

從上面可以看出，\(\lambda^2(x)/2\)對\(x\)處的\(f(x) - p^*\)給出了基於二次模型的一個估計，這可以作為設計好的停止准則的基礎。

可行下降方法的算法

注意，下面的算法初始點為可行點。

Newton方法和消除法

對原始問題采用Newton方法的迭代過程和對利用消除法簡化后采用Newton方法過程完全一致，證明翻閱《凸優化》。