1. 前言 今天我們聊一聊機器學習和深度學習里面都至關重要的一個環節，優化損失函數。我們知道一個模型只有損失函數收斂到了一定的值，才有可能會有好的結果，降低損失方式的工作就是優化方法需要做的事。下面 ...

深度學習中的優化問題通常指的是：尋找神經網絡上的一組參數θ，它能顯著地降低代價函數J(θ)。針對此類問題，研究人員提出了多種優化算法，Sebastian Ruder 在《An overview ...

前言 AI 人工智能包含了機器學習與深度學習，在前幾篇文章曾經介紹過機器學習的基礎知識，包括了監督學習和無監督學習，有興趣的朋友可以閱讀《 Python 機器學習實戰 》。而深度學習開始只是機器學習 ...

training set 訓練集　　validation set 驗證集　　test set測試集 這些與衡量你做的怎么樣有關 當你知道怎么衡量你在一個問題的表現，問題就解決了一半。（衡量表現 ...

1. 梯度下降 沿着目標函數梯度的反方向搜索極小值。 式中，$\theta$是模型參數，$J(\theta)$目標函數（損失函數），$\eta$是學習率。 2. 隨機梯度下降（SGD） ...

參考 https://ruder.io/optimizing-gradient-descent/ 。 本文不是簡單地翻譯，而是真的花了一天的時間和心思來寫，這一過程中我也重新復習了一遍，而且 ...

梯度下降偽代碼 梯度下降可以優化損失函數的值，使其盡量小，即可找到最好（在數據集上擬合效果最好）的模型參數。 現在假設模型\(f\)中只有一個參數\(w\)，則損失函數為\(L(f)=L(w)\) ...