第四章：最速下降算法。最速下降法、擬牛頓法等都是求解准則函數（即無約束優化問題）的算法，這就需要有一個 ...

使用阻尼牛頓法求解： 利用Amijio非精確線搜索 初始點x0=[0,0]'，經條件1e-6或n=2000 代碼： %建立NTtest.m文件 clear all clc x0=[0,0]'; fun=@(x)100*(x(1)^2-x(2))^2+(x ...

罰函數法: 　　求解約束條件下的最優化問題 　　罰函數法的思路就是改變函數f(x),將f(x) 變為F(x) 　　使得F(x)在無約束條件下取得的最優解，正好符合我們的約束條件，且正好為f(x)在約束條件下的最優解 先有最優化問題f(x), 可行區域是c(x) < ...

（FR）共軛梯度法是介於最速下降法和牛頓法之間的一個方法，相比最速下降法收斂速度快，並且不需要像牛頓法一樣計算Hesse矩陣，只需計算一階導數 共軛梯度法是共軛方向法的一種，意思是搜索方向都互相共軛 共軛的定義如下： 共軛梯度法是一種典型的共軛方向法，它的搜索方向是負 ...

前言 直線方向向量 直線的方向向量有兩個，其單位向量自然也有兩個；與向量\(\vec{a}\)共線的單位向量為兩個，\(\pm\cfrac{\vec{a}}{|\vec{a}|}\)； 直線的斜截式為\(y=kx+b\)，則其一個方向向量可以是\(\overrightarrow{s ...

交替方向乘子法（ADMM） 詳細請看：交替方向乘子法（Alternating Direction Method of Multipliers） - 凱魯嘎吉 - 博客園 參考1 參考2 經典的ADMM算法適用於求解如下2-block的凸 ...

動量法的結論： 1.動量方法主要是為了解決Hessian矩陣病態條件問題（直觀上講就是梯度高度敏感於參數空間的某些方向）的。 2.加速學習 3.一般將參數設為0.5,0.9，或者0.99，分別表示最大速度2倍，10倍，100倍於SGD的算法。 4.通過速度v，來積累了之間梯度指數級 ...

計算步驟如下： 下面使用書中的練習y=exp(a*x^2+b*x+c)+w這個模型驗證一下，其中w為噪聲，a、b、c為待解算系數。 代碼如下： 迭代結果，其中散點為帶噪聲數據， ...