固定步長的時候往往不能很快的梯度下降。
所以步長的選擇也很重要。
下面的dk是搜索方向，在梯度下降中就是負梯度方向。
在這里是假設了h（a）是連續可導的函數，一般情況下也是這樣。
找到合適的a有幾種方式
1.簡單的二分搜索
2.回溯法線性搜索
上式中小於等於號右邊的式子是小於f（xk）的，因為dk是跟
異號的。
回溯的時候可以不斷的除以2，c1可以取值0.3
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。