Gradient Descent 機器學習中很多模型的參數估計都要用到優化算法，梯度下降是其中最簡單也用得最多的優化算法之一。梯度下降(Gradient Descent)[3]也被稱之為最快梯度(S ...

。 於是，有了一種可調節步長的解法，稱為backtracking line search。 假設我們當前的位置為Xc ...

在機器學習中, 通常需要求某個函數的最值(比如最大似然中需要求的似然的最大值). 線搜索(line search)是求得一個函數\(f(x)\)的最值的兩種常用迭代方法之一(另外一個是trust region). 其思想是首先求得一個下降方向,在這個方向上\(f(x)\)會下降, 然后是求得 ...

機器學習中很多數值優化算法都會用到線搜索（line search)。線搜索的目的是在搜索方向上找到是目標函數\(f(x)\)最小的點。然而，精確找到最小點比較耗時，由於搜索方向本來就是近似，所以用較小的代價找到最小點的近似就可以了。 Backtracking Line Search(BLS ...

一直以為梯度下降很簡單的，結果最近發現我寫的一個梯度下降特別慢，后來終於找到原因：step size的選擇很關鍵，有一種叫backtracking line search的梯度下降法就非常高效，該算法描述見下圖： 下面用一個簡單的例子來展示，給一個無約束優化問題： minimize ...

wangpeng（qqlantian@126.com） Last updated on 2017-3-24 由於博客園對markdown支持不完善（或者我不太會用），一些公式和引用展示不 ...

0.背景 RNN模型，特別是包含着門控制的如LSTM等模型，近年來成了深度學習解決序列任務的標准結構。RNN層不但可以解決變長輸入的問題，還能通過多層堆疊來增加網絡的深度，提升表征能力和提升准確 ...

1、牛頓法應用范圍 牛頓法主要有兩個應用方向：1、目標函數最優化求解。例：已知 f(x)的表達形式，，求 ，及g(x) ...