在机器学习中, 通常需要求某个函数的最值(比如最大似然中需要求的似然的最大值). 线搜索(line search)是求得一个函数\(f(x)\)的最值的两种常用迭代方法之一(另外一个是trust region). 其思想是首先求得一个下降方向,在这个方向上\(f(x)\)会下降, 然后是求得 ...

。 于是，有了一种可调节步长的解法，称为backtracking line search。 假设我们当前的位置为Xc ...

一直以为梯度下降很简单的，结果最近发现我写的一个梯度下降特别慢，后来终于找到原因：step size的选择很关键，有一种叫backtracking line search的梯度下降法就非常高效，该算法描述见下图： 下面用一个简单的例子来展示，给一个无约束优化问题： minimize ...

回溯法概念：回溯算法实际上一个类似枚举的搜索尝试过程，主要是在搜索尝试过程中寻找问题的解，当发现已不满足求解条件时，就“回溯”返回，尝试别的路径。 回溯法是一个既带有系统性又带有跳跃性的的搜索算法。它在包含问题的所有解的解空间树中，按照深度优先的策略，从根结点 出发搜索解空间树。算法搜索至解 ...

碎碎念: 最近终于开始刷middle的题了，对于我这个小渣渣确实有点难度，经常一两个小时写出一道题来。在开始写的几道题中，发现大神在discuss中用到回溯法(Backtracking)的概率明显增大。感觉如果要顺利的把题刷下去，必须先要把做的几道题题总结一下。 先放上参考的web ...

作者自我介绍：大爽歌, b站小UP主 ， python1对1辅导老师， 时常直播编程，直播时免费回答简单问题。 前置知识： 递归算法(recursion algorithm)。 我的递归教程: 【教程】python递归三部曲（基于turtle实现可视化） 回溯与递归的关系： 回溯 ...

Gradient Descent 机器学习中很多模型的参数估计都要用到优化算法，梯度下降是其中最简单也用得最多的优化算法之一。梯度下降(Gradient Descent)[3]也被称之为最快梯度(S ...

Define CSP CSPs represent a state with a set of variable/value pairs and represent the condition ...