增廣拉格朗日乘子法的作用是用來解決等式約束下的優化問題,
假定需要求解的問題如下:
minimize f(X)
s.t.: h(X)=0
其中,f:Rn->R; h:Rn->Rm
朴素拉格朗日乘子法的解決方案是:
L(X,λ)=f(X)+μh(X); μ:Rm
此時,求解L對X和μ的偏導同時為零就可以得到最優解了。
增廣拉格朗日乘子法的解決方案是:
Lc(x,λ)=f(X)+μh(X)+1/2c|h(X)|2
每次求出一個xi,然后按照梯度更新參數μ,c每次迭代逐漸增大(使用ALM方法好像還有一些假設條件)
整個流程只需要幾步就可以完成了,一直迭代就可得到最優解了。
參考文獻:
[1]Multiplier and Gradient Methods,1969
[2]constrained optimization and lagrange multiplier methods(page 104),1982