引言
本篇文章將詳解帶有約束條件的最優化問題，約束條件分為等式約束與不等式約束，對於等式約束的優化問題，可以直接應用拉格朗日乘子法去求取最優值；對於含有不等式約束的優化問題，可以轉化為在滿足 KKT 約束條件下應用拉格朗日乘子法求解。拉格朗日求得的並不一定是最優解，只有在凸優化的情況下，才能保證得到的是最優解，所以本文稱拉格朗日乘子法得到的為可行解，其實就是局部極小值，接下來從無約束優化開始一一講解。
無約束優化
首先考慮一個不帶任何約束的優化問題，對於變量 $ x \in \mathbb{R}^N $ 的函數 $f(x)$ ,無約束優化問題如下:
\[\min_x f(x) \]
該問題很好解，根據 Fermat 定理，直接找到使目標函數得 0 的點即可 即 $\nabla_xf(x) = 0$ ，如果沒有解析解的話，可以使用梯度下降或牛頓方法等迭代的手段來使 $x$ 沿負梯度方向逐步逼近極小值點。
等式約束優化
當目標函數加上約束條件之后，問題就變成如下形式：
\begin{aligned}
&\min_{x } \ f(x) \\
&s.t. \ \ \ h_i(x) = 0 , i = 1,2,...,m \\
\end{aligned}
約束條件會將解的范圍限定在一個可行域，此時不一定能找到使得 $\nabla_xf(x)$ 為 0 的點，只需找到在可行域內使得 $f(x)$ 最小的值即可，常用的方法即為拉格朗日乘子法，該方法首先引入 Lagrange Multiplier $\alpha \in \mathbb{R}^m$ ，構建 Lagrangian 如下：
\[L(x,\alpha) = f(x) + \sum_{i=1}^m \alpha_i h_i(x)\]
求解方法如下：首先對 Lagrangian 關於 $\alpha$ 與 $x$ 求 ：
\[\left \{
\begin{aligned}
\nabla_x L(x,\alpha)= 0 \\
\nabla_{ \alpha } L(x,\alpha)= 0
\end{aligned} \right.\]
令導數為 0 ，求得 $x$ 、$\alpha$ 的值后，將 $x$ 帶入 $f(x)$ 即為在約束條件 $h_i(x)$ 下的可行解。這樣做的意義是什么呢? 接下來看一個直觀的示例，對於二維情況下的目標函數是 $f(x, y)$，在平面中畫出 $f(x, y)$ 的等高線，如下圖的虛線所示， 並只給出一個約束等式 $h(x,y) = 0$ ，如下圖的綠線所示，目標函數 $f(x,y)$ 與約束 $g(x,y)$ 只有三種情況，相交、相切或者沒有交集，沒交集肯定不是解,只有相交或者相切可能是解，但相交得到的一定不是最優值，因為相交意味着肯定還存在其它的等高線在該條等高線的內部或者外部，使得新的等高線與目標函數的交點的值更大或者更小，這就意味着只有等高線與目標函數的曲線相切的時候，才可能得到可行解.
因此給出結論：拉格朗日乘子法取得極值的必要條件是目標函數與約束函數相切，這時兩者的法向量是平行的，即
\[ \nabla _xf(x) – \alpha \nabla_xh(x) = 0\]
所以只要滿足上述等式，且滿足之前的約束 $h_i(x) = 0 , i = 1,2,…,m$ ，即可得到解，聯立起來，正好得到就是拉格朗日乘子法。這里只是直觀展示了一下拉格朗日乘子法的幾何推導 ，並沒有給出詳細的證明。
不等式約束優化
當約束加上不等式之后，情況變得更加復雜，首先來看一個簡單的情況，給定如下不等式約束問題：
\begin{aligned}
&\min_x \ f(x) \\
& \ s.t. \ \ g(x) \le 0
\end{aligned}
對應的 Lagrangian 與圖形分別如下所示：
\[L(x, \lambda) = f(x) + \lambda g(x)\]
這時的可行解必須落在約束區域 $g(x)$ 之內，下圖給出了目標函數的等高線與約束：
由圖可見可行解 $x$ 只能在 $g(x) < 0$ 或者 $g(x) = 0$ 的區域里取得：
- 當可行解 $x$ 落在 $g(x) < 0$ 的區域內，此時直接極小化 $f(x)$ 即可；
- 當可行解 $x$ 落在 $g(x) = 0$ 即邊界上，此時等價於等式約束優化問題.
當約束區域包含目標函數原有的的可行解時，此時加上約束可行解扔落在約束區域內部，對應 $g(x) < 0$ 的情況，這時約束條件不起作用；當約束區域不包含目標函數原有的可行解時，此時加上約束后可行解落在邊界 $g(x) = 0$ 上。下圖分別描述了兩種情況，右圖表示加上約束可行解會落在約束區域的邊界上。
以上兩種情況就是說，要么可行解落在約束邊界上即得 $g(x) = 0$ ，要么可行解落在約束區域內部，此時約束不起作用，另 $\lambda = 0$ 消去約束即可，所以無論哪種情況都會得到：
\[\lambda g(x) = 0\]
還有一個問題是 $\lambda$ 的取值，在等式約束優化中，約束函數與目標函數的梯度只要滿足平行即可，而在不等式約束中則不然，若 $\lambda \ne 0$，這便說明 可行解 $x$ 是落在約束區域的邊界上的，這時可行解應盡量靠近無約束時的解，所以在約束邊界上，目標函數的負梯度方向應該遠離約束區域朝向無約束時的解，此時正好可得約束函數的梯度方向與目標函數的負梯度方向應相同：
\[ -\nabla_x f(x) = \lambda \nabla_xg(x) \]
上式需要滿足的要求是拉格朗日乘子 $\lambda > 0$ ，這個問題可以舉一個形象的例子，假設你去爬山，目標是山頂，但有一個障礙擋住了通向山頂的路，所以只能沿着障礙爬到盡可能靠近山頂的位置，然后望着山頂嘆嘆氣，這里山頂便是目標函數的可行解，障礙便是約束函數的邊界，此時的梯度方向一定是指向山頂的，與障礙的梯度同向，下圖描述了這種情況 :
可見對於不等式約束，只要滿足一定的條件，依然可以使用拉格朗日乘子法解決，這里的條件便是 KKT 條件。接下來給出形式化的 KKT 條件 首先給出形式化的不等式約束優化問題：
\begin{aligned}
&\min_x \ f(x) \\
&s.t. \ \ \ h_i(x) = 0 , \ i = 1,2,...,m \ \\
& \ \ \ \ \ \ \ \ \ \ g_j(x) \le 0, \ j = 1,2,...,n
\end{aligned}
列出 Lagrangian 得到無約束優化問題：
\[ L(x,\alpha,\beta) =f(x) + \sum_{i=1}^m \alpha_i h_i(x) + \sum_{j=1}^n\beta_ig_i(x) \]
經過之前的分析，便得知加上不等式約束后可行解 $x$ 需要滿足的就是以下的 KKT 條件：
\begin{align}
\nabla_x L(x,\alpha,\beta) &= 0 \\
\beta_jg_j(x) &= 0 , \ j=1,2,...,n\\
h_i(x)&= 0 , \ i=1,2,...,m \\
g_j(x) &\le 0 , \ j=1,2,...,n \\
\beta_j &\ge 0 , \ j=1,2,...,n \\
\end{align}
滿足 KKT 條件后極小化 Lagrangian 即可得到在不等式約束條件下的可行解。 KKT 條件看起來很多，其實很好理解:
(1) ：拉格朗日取得可行解的必要條件；
(2) ：這就是以上分析的一個比較有意思的約束，稱作松弛互補條件；
(3) $\sim$ (4) ：初始的約束條件；
(5) ：不等式約束的 Lagrange Multiplier 需滿足的條件。
主要的KKT條件便是 (3) 和 (5) ，只要滿足這倆個條件便可直接用拉格朗日乘子法， SVM 中的支持向量便是來自於此，需要注意的是 KKT 條件與對偶問題也有很大的聯系，下一篇文章就是拉格朗日對偶。
參考文獻：
1. 書：PRML | 《機器學習方法》-李航 |《機器學習》-周志華
2. http://blog.csdn.net/xianlingmao/article/details/7919597
3. http://blog.csdn.net/timingspace/article/details/50966105
4. http://blog.csdn.net/loadstar_kun/article/details/25369017
5. http://blog.csdn.net/johnnyconstantine/article/details/46335763
6. http://www.csc.kth.se/utbildning/kth/kurser/DD3364/Lectures/KKT.pdf nice PPT
http://www.csc.kth.se/utbildning/kth/kurser/DD3364/Lectures/Duality.pdf
7. http://www.cnblogs.com/jerrylead/archive/2011/03/13/1982684.html