目錄 前言 常見概念 目標函數（objective function） 收斂（convergence） 局部最小值（local mininu ...

最優化的背景 古希臘的歐幾里得時期就存在最優化的思想，當時提出了一個很著名的問題：在周長相同的一切矩形中，以正方形的面積為最大。接下來幾個世紀，微積分的建立使得最優化理論可以用來解決無約束的極值問題，隨后為了解決有約束條件的最優化問題，發展了變分法。上世紀40年代，由於軍事上的需要產生了運籌學 ...

一、機器學習的概念 　　1、什么是學習？ 　　　　--從人的學習說起 　　　　--學習理論；從實踐中總結 　　　　--在理論上推導；在實踐中檢驗 　　　　--通過各種手段獲取知識或技能的過程 　　2、機器怎么學習？ 　　　　--處理某個特定的任務，以大量的“經驗”為基礎 ...

1. 前言 熟悉機器學習的童鞋都知道，優化方法是其中一個非常重要的話題，最常見的情形就是利用目標函數的導數通過多次迭代來求解無約束最優化問題。實現簡單，coding 方便，是訓練模型的必備利器之一。這篇博客主要總結一下使用導數的最優化方法的幾個基本方法，梳理梳理相關的數學知識，本人也是一邊 ...

一、什么是機器學習？簡述機器學習的一般過程。 　　機器學習是通過算法使得機器從大量歷史數據中學習規律，從而對新樣本做分類或者預測。 　　一個機器學習過程主要分為三個階段： 　　（1）訓練階段，訓練階段的主要工作是根據訓練數據建立模型。 　　（2）測試階段，測試階段的主要工作是利用驗證集 ...

1. 梯度下降法（Gradient Descent） 梯度下降法是最早最簡單，也是最為常用的最優化方法。梯度下降法實現簡單，當目標函數是凸函數時，梯度下降法的解是全局解。一般情況下，其解不保證是全局最優解，梯度下降法的速度也未必是最快的。梯度下降法的優化思想是用當前位置負梯度方向作為搜索方向 ...

1.找到最優學習率的方法 （1）笨方法——指數提高學習率 從0.0001開始嘗試，然后用0.001，每個量級的學習率都去跑一下網絡，然后觀察一下loss的情況，選擇一個相對合理的學習率，但是這種方法太耗時間了。 （2）簡單的啟發方法【有時間總結】 參考：https ...

第1章介紹 1. 為什么要進行視頻壓縮？ 未經壓縮的數字視頻的數據量巨大 存儲困難 一張DVD只能存儲幾秒鍾的未壓縮數字視頻。 傳 ...