拉格朗日乘數法 Lagrange Multiplier Method
用於求有條件約束時的極值問題，將含有n個變量和k個約束條件的約束優化問題轉化為含有n+k給變量的無約束優化問題 更多細節可查看拉格朗日函數
$\lambda$為拉格朗日乘子 $F(x,\lambda)=f(x)+\sum\lambda_i g_i(x_i)$ 如果$f(x)$最小值在所有約束條件的可行域內，則所有約束條件都是松弛的,此時對應的$\lambda_i = 0$約束不等式
為什么拉格朗日函數中的約束不等式對應的拉格朗日乘子$\lambda_i \ge 0$ 這里參考了考慮約束最優化問題（極大化問題可以簡單地轉換為極小化問題，這里僅討論極小化問題）：
\[\begin{align*} &\displaystyle\min_{x \in R^n} f(x) \quad\\ s.t. \ &f_i(x) \le 0 &i=0,1,\cdots ,m\\ &h_i(x) = 0 &i=1,2,\cdots,p \end{align*} \]
上面的優化問題不一定是凸問題
引入拉格朗日乘子之后得到
\[L(x,\lambda,\nu)=f_0(x)+\sum_{i=1}^n \lambda_i f_i(x)+\nu_i h_i(x), \quad, \lambda \ge 0 \]
\(\lambda_i \ge 0\)為了強制要求所有的約束條件必須被滿足
當\(x\)違反約束條件時,即不在可行域中時,\(f_i(x)>0\), 調整\(\lambda\)最大化\(L\)的過程使得\(L(x,\lambda)=\infty\)，之后的最小化過程即將該值忽略
而當\(x\)滿足約束條件時,即在可行域中時,\(f_i(x) \le 0\), 調整\(\lambda\)最大化\(L\)的過程使得\(L(x,\lambda)\)取到最大值0
\[\max_{\lambda \ge 0}L= \begin{cases} \infty,& x \notin domL\\ f_0(x),& x \in domL\\ \end{cases} 其中 \quad domL=\mathcal D \times R^m \times R^p \]
最小化同理,如果不限制\(\lambda \ge 0, \quad \inf L(x,\lambda,\nu)\rightarrow -\infty\)
所以當弄清楚拉格朗日乘子的作用時，就可以理解為什么\(\lambda_i \ge 0\)了,這么設定\(\lambda_i\)就是為了把不滿足約束條件(即不在可行域中的\(x\))pass掉
凸優化問題的拉格朗日函數形式
因為對於\(\lambda, \nu\)求最大值都會被最后的對於x求最小值而忽略
所以最后就是求\(f(x_0)\)的最小值和\(g_i(x)=0\)的問題
要注意的一點：雖然最后一項\(\sum \nu_i h_i(x)\)恆等於0，但梯度不一定為0，所以不能省略
下一篇：拉格朗日對偶問題