概述 優化問題就是在給定限制條件下尋找目標函數\(f(\mathbf{x})，\mathbf{x}\in\mathbf{R}^{\mathbf{n}}\)的極值點。極值可以分為整體極值或局部極值，整 ...

我們每個人都會在我們的生活或者工作中遇到各種各樣的最優化問題，比如每個企業和個人都要考慮的一個問題“在一定成本下，如何使利潤最大化”等。最優化方法是一種數學方法，它是研究在給定約束之下如何尋求某些因素 ...

牛頓法和擬牛頓法 牛頓法（Newton method）和擬牛頓法（quasi Newton method）是求解無約束最優化問題的常用方法，收斂速度快。牛頓法是迭代算法，每一步需要求解海賽矩陣的逆矩陣，計算比較復雜。擬牛頓法通過正定矩陣近似海賽矩陣的逆矩陣或海賽矩陣，簡化了這一 ...

梯度下降法是沿着梯度下降的算法，該算法的收斂速度受梯度大小影響非常大，當梯度小時算法收斂速度非常慢。 牛頓法是通過把目標函數做二階泰勒展開，通過求解這個近似方程來得到迭代公式，牛頓法的迭代公式中用到了二階導數來做指導，所以牛頓法的收斂速度很快，但是由於要求二階導，所以牛頓法的時間復雜度非常高 ...

什么是共軛方向？ 基本的共軛方向法 共軛梯度法 擬牛頓法 秩 ...

共軛梯度法： About the code: A : the input A of Ax = b b : the input b of Ax = b x0 : the input guess of x x : the output x of Ax = b r ...

　　針對牛頓法中海塞矩陣的計算問題，擬牛頓法主要是使用一個海塞矩陣的近似矩陣來代替原來的還塞矩陣，通過這種方式來減少運算的復雜度。其主要過程是先推導出海塞矩陣需要滿足的條件，即擬牛頓條件（也可以稱為擬牛頓方程）。然后我們構造一個滿足擬牛頓條件的近似矩陣來代替原來的海塞矩陣。 　　另外，在滿足擬 ...

擬牛頓法（Python實現） 使用擬牛頓法（BFGS和DFP），分別使用Armijo准則和Wolfe准則來求步長 求解方程 \(f(x_1,x_2)=(x_1^2-2)^4+(x_1-2x_2)^2\)的極小值 運行結果 ...