在機器學習中, 通常需要求某個函數的最值(比如最大似然中需要求的似然的最大值). 線搜索(line search)是求得一個函數\(f(x)\)的最值的兩種常用迭代方法之一(另外一個是trust region). 其思想是首先求得一個下降方向,在這個方向上\(f(x)\)會下降, 然后是求得 ...

。 於是，有了一種可調節步長的解法，稱為backtracking line search。 假設我們當前的位置為Xc ...

一直以為梯度下降很簡單的，結果最近發現我寫的一個梯度下降特別慢，后來終於找到原因：step size的選擇很關鍵，有一種叫backtracking line search的梯度下降法就非常高效，該算法描述見下圖： 下面用一個簡單的例子來展示，給一個無約束優化問題： minimize ...

回溯法概念：回溯算法實際上一個類似枚舉的搜索嘗試過程，主要是在搜索嘗試過程中尋找問題的解，當發現已不滿足求解條件時，就“回溯”返回，嘗試別的路徑。 回溯法是一個既帶有系統性又帶有跳躍性的的搜索算法。它在包含問題的所有解的解空間樹中，按照深度優先的策略，從根結點 出發搜索解空間樹。算法搜索至解 ...

碎碎念: 最近終於開始刷middle的題了，對於我這個小渣渣確實有點難度，經常一兩個小時寫出一道題來。在開始寫的幾道題中，發現大神在discuss中用到回溯法(Backtracking)的概率明顯增大。感覺如果要順利的把題刷下去，必須先要把做的幾道題題總結一下。 先放上參考的web ...

作者自我介紹：大爽歌, b站小UP主 ， python1對1輔導老師， 時常直播編程，直播時免費回答簡單問題。 前置知識： 遞歸算法(recursion algorithm)。 我的遞歸教程: 【教程】python遞歸三部曲（基於turtle實現可視化） 回溯與遞歸的關系： 回溯 ...

Gradient Descent 機器學習中很多模型的參數估計都要用到優化算法，梯度下降是其中最簡單也用得最多的優化算法之一。梯度下降(Gradient Descent)[3]也被稱之為最快梯度(S ...

Define CSP CSPs represent a state with a set of variable/value pairs and represent the condition ...