之前學習機器學習和數據挖掘的時候，很多都是知道這些算法的設計機制，對數學推導和求解過程依然是一知半解，最近看了一些機器學習算法的求解和各種優化算法，也發現了這些算法設計和公式推導背后的數學精妙之處和隨處可見的最優化的影子。還是決定從最優化理論開始補起，本文主要內容如下： ...

1. 前言 熟悉機器學習的童鞋都知道，優化方法是其中一個非常重要的話題，最常見的情形就是利用目標函數的導數通過多次迭代來求解無約束最優化問題。實現簡單，coding 方便，是訓練模型的必備利器之一。這篇博客主要總結一下使用導數的最優化方法的幾個基本方法，梳理梳理相關的數學知識，本人也是一邊 ...

1. 梯度下降法（Gradient Descent） 梯度下降法是最早最簡單，也是最為常用的最優化方法。梯度下降法實現簡單，當目標函數是凸函數時，梯度下降法的解是全局解。一般情況下，其解不保證是全局最優解，梯度下降法的速度也未必是最快的。梯度下降法的優化思想是用當前位置負梯度方向作為搜索方向 ...

一、機器學習的概念 　　1、什么是學習？ 　　　　--從人的學習說起 　　　　--學習理論；從實踐中總結 　　　　--在理論上推導；在實踐中檢驗 　　　　--通過各種手段獲取知識或技能的過程 　　2、機器怎么學習？ 　　　　--處理某個特定的任務，以大量的“經驗”為基礎 ...

最優化的背景 古希臘的歐幾里得時期就存在最優化的思想，當時提出了一個很著名的問題：在周長相同的一切矩形中，以正方形的面積為最大。接下來幾個世紀，微積分的建立使得最優化理論可以用來解決無約束的極值問題，隨后為了解決有約束條件的最優化問題，發展了變分法。上世紀40年代，由於軍事上的需要產生了運籌學 ...

1.找到最優學習率的方法 （1）笨方法——指數提高學習率 從0.0001開始嘗試，然后用0.001，每個量級的學習率都去跑一下網絡，然后觀察一下loss的情況，選擇一個相對合理的學習率，但是這種方法太耗時間了。 （2）簡單的啟發方法【有時間總結】 參考：https ...

2015-09-09 今天買的凸優化剛到。從今天開始學習一些基礎的概念。不知道2年的時間能不能學會並且解決實際的問題。 線性函數需要嚴格滿足等式，而凸函數僅僅需要在a和b取特定值得情況下滿足不等式。因此線性規划問題也是凸優化問題，可以將凸優化看成是線性規划的擴展。 1. ...

第 1 章 凸優化基礎 無論做任何事情，人們總是希望以最小的代價獲得最大的利益，力求最好! 為此，人們發明各式各樣的數學工具：導數，積分等。 現代優化理論大都來源於處理多元問題的理論，它有三個重要的基礎： 矩陣理論：矩陣是描述多元問題的最基本的工具，為多元問題分析和求解提供 ...