之前學習機器學習和數據挖掘的時候，很多都是知道這些算法的設計機制，對數學推導和求解過程依然是一知半解，最近看了一些機器學習算法的求解和各種優化算法，也發現了這些算法設計和公式推導背后的數學精妙之處和隨處可見的最優化的影子。還是決定從最優化理論開始補起，本文主要內容如下：
參考文獻：
2. 泰勒級數、牛頓展開、求解根號： http://www.linuxidc.com/Linux/2012-09/71467.htm
3. 拉格朗日乘子：http://baike.baidu.com/view/2415642.htm?fr=aladdin
4. 深入理解拉格朗日乘子和KKT法：http://blog.csdn.NET/xianlingmao/article/details/7919597
5. 拉格朗日對偶： http://www.cnblogs.com/liqizhou/archive/2012/05/11/2495689.html
6. 牛頓法和梯度下降法：http://blog.csdn.Net/luoleicn/article/details/6527049
7. 共軛梯度法： http://baike.baidu.com/view/2565822.htm?fr=aladdin
8. —拉格朗日乘子與KKT條件：http://dataunion.org/7637.html
9. 無約束最優化方法 ：http://www.cnblogs.com/zhangchaoyang/articles/2600491.html
10. 梯度下降法與非線性規划求解 http://wenku.baidu.com/view/a3303dcaa1c7aa00b52acb50.html?from=search