Gradient Descent 机器学习中很多模型的参数估计都要用到优化算法，梯度下降是其中最简单也用得最多的优化算法之一。梯度下降(Gradient Descent)[3]也被称之为最快梯度(S ...

。 于是，有了一种可调节步长的解法，称为backtracking line search。 假设我们当前的位置为Xc ...

在机器学习中, 通常需要求某个函数的最值(比如最大似然中需要求的似然的最大值). 线搜索(line search)是求得一个函数\(f(x)\)的最值的两种常用迭代方法之一(另外一个是trust region). 其思想是首先求得一个下降方向,在这个方向上\(f(x)\)会下降, 然后是求得 ...

机器学习中很多数值优化算法都会用到线搜索（line search)。线搜索的目的是在搜索方向上找到是目标函数\(f(x)\)最小的点。然而，精确找到最小点比较耗时，由于搜索方向本来就是近似，所以用较小的代价找到最小点的近似就可以了。 Backtracking Line Search(BLS ...

一直以为梯度下降很简单的，结果最近发现我写的一个梯度下降特别慢，后来终于找到原因：step size的选择很关键，有一种叫backtracking line search的梯度下降法就非常高效，该算法描述见下图： 下面用一个简单的例子来展示，给一个无约束优化问题： minimize ...

wangpeng（qqlantian@126.com） Last updated on 2017-3-24 由于博客园对markdown支持不完善（或者我不太会用），一些公式和引用展示不 ...

0.背景 RNN模型，特别是包含着门控制的如LSTM等模型，近年来成了深度学习解决序列任务的标准结构。RNN层不但可以解决变长输入的问题，还能通过多层堆叠来增加网络的深度，提升表征能力和提升准确 ...

1、牛顿法应用范围 牛顿法主要有两个应用方向：1、目标函数最优化求解。例：已知 f(x)的表达形式，，求 ，及g(x) ...