交替方向乘子法（Alternating Direction Method of Multipliers）
作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/
1. 交替方向乘子法簡介——Alternating Direction Method of Multipliers
ADMM 最早分別由 Glowinski & Marrocco 及 Gabay & Mercier 於 1975 年和 1976 年提出，並被 Boyd 等人於 2011 年重新綜述並證明其適用於大規模分布式優化問題。
由於 ADMM 的提出早於大規模分布式計算系統和大規模優化問題的出現，所以在 2011 年以前，這種方法並不廣為人知。
交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一種求解具有可分離的凸優化問題的計算框架, 由於其處理速度快，收斂性能好，ADMM適用於求解分布式凸優化問題，特別是統計學習問題。 主要應用在解空間規模很大的情況，強制分塊求解，而且解的絕對精度要求不是太高。
ADMM以先分解再結合的形式求解問題，即先把原問題分解成若干個相對原問題較簡單的子問題，再把子問題的解結合起來得到原問題的全局解。
ADMM也可以看作是對偶分解法和增廣拉格朗日乘子法的結合，使該算法有分解性的同時保證了良好的收斂性。
2. 對偶上升法——Dual Ascent
3. 共軛函數與對偶函數——Conjugate Function and Dual Function
4. 對偶分解——Dual Decomposition
5. 增廣拉格朗日乘子法——Augmented Lagrangians and the Method of Multipliers
6. 交替方向乘子法——ADMM
7. 尺度化后的交替方向乘子法——Scaled Form
總結：對偶上升法可分解，適合並行化，但要求嚴格凸，強對偶。增廣拉格朗日放寬嚴格凸的限制，但無法並行化。交替方向乘子法結合了兩者，既不要求嚴格凸，又可以並行化分布式計算。
8. 參考文獻
[1] Boyd S , Parikh N , Chu E , et al. Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers[J]. Foundations and Trends in Machine Learning, 2011, 3(1):1-122.
[2] 陳慶國. 關於交替方向乘子法一些問題的研究[D].中國計量大學,2018.
[3] 交替方向乘子法（ADMM） - 凱魯嘎吉 - 博客園
[4] ADMM: http://web.stanford.edu/~boyd/admm.html
[5] Stephen Boyd, Lieven Vandenberghe. Convex Optimization[M]. 世界圖書出版公司, 2004.