第三章 無約束優化方法 本文是本人研究生課程《最優化方法》的復習筆記，主要是總結課件和相關博客的主要內容用作復習。 3.1 算法理論基礎 1. 無約束優化問題的最優性條件 先是一元函數取得極值的條件，高中就學過的 然后是拓展到多元函數后的理論 這三條和前面一元函數的三條 ...

第一章 引論 本文是本人研究生課程《最優化方法》的復習筆記，主要是總結課件和相關博客的主要內容用作復習。 1.1 概述 1.2 預備知識 正定，半正定 本部分引自：https://zhuanlan.zhihu.com/p/44860862 正定和半正定這兩個詞的英文分別 ...

第二章 線性規划 本文是本人研究生課程《最優化方法》的復習筆記，主要是總結課件和相關博客的主要內容用作復習。 2.1 線性規划的標准型 線性規划問題的解： 2.2 線性規划的基本概念 1. （LP）是一個凸規划 2. 基矩陣 3. 由“基矩陣”發展而來的其他概念 ...

梯度的方向與等值面垂直，並且指向函數值提升的方向。 二次收斂是指一個算法用於具有正定二次型函數時，在有限步可達到它的極小點。二次收斂與二階收斂沒有盡然聯系，更不是一回事，二次收斂往往具有超線性以上的 ...

11/22/2017 12:40:56 PM 優化問題在很多領域有着重要的應用。為了日后查閱方便，本文列舉常見的無約束優化方法的計算公式。 需要說明的是，本文的大部分內容選自圖書《算法筆記》。 一、梯度下降法 梯度下降法（Gradient Descent Method）也叫做最速下降法 ...

1 等式約束優化問題 等式約束問題如下： 求解方法包括：消元法、拉格朗日乘子法。 1、消元法 通過等式約束條件消去一個變量，得到其他變量關於該變量的表達式代入目標函數，轉化為無約束的極值 ...

最優化理論與方法學習筆記 一、引論 1、范數 Frobenius范數： 加權Frobenius范數和加權l2范數（其中M是n x n的對稱正定矩陣）： 橢圓向量范數： 特別，我們有 關於范數的幾個重要不等式 ...

回顧 前邊內容主要總結了無約束優化問題的求解步驟，即如何找一個函數的極大值，其中凸函數具備的良好性質保證局部最優解是全局最優解。一般通過最速下降法、牛頓法、共軛梯度法進行求解（針對這些方法的不足也有很多改進）。接下來主要總結在定義域有約束時，函數的優化問題。 約束優化問題 數學模型 優化 ...