【復習筆記】最優化方法 - 1. 引論

第一章 引論

本文是本人研究生課程《最優化方法》的復習筆記，主要是總結課件和相關博客的主要內容用作復習。

1.1 概述

1.2 預備知識

正定，半正定

本部分引自：https://zhuanlan.zhihu.com/p/44860862

正定和半正定這兩個詞的英文分別是positive definite和positive semi-definite，其中，definite是一個形容詞，表示“明確的、確定的”等意思。

給定一個大小為 的實對稱矩陣 ，若對於任意長度為 的非零向量 ，有 恆成立，則矩陣 是一個正定矩陣。

半正定與正定的主要關注點在於是否取得到等號，因此：

給定一個大小為 的實對稱矩陣 ，若對於任意長度為 的向量 ，有 恆成立，則矩陣 是一個半正定矩陣。

矩陣計算相關

矩陣梯度小結參考：https://zlearning.netlify.app/math/matrix/matrix-gradient.html

1.3 凸集，凸函數，凸規划

這里有很多定理，一個一個剖析

凸集

定義1.3.1 凸集，開凸集，閉凸集的定義

命題1.3.1 凸集的某些關系集合也為凸集

定理1.3.1 凸集中任意幾點的組合仍然屬於凸集

定義1.3.2 分離與嚴格分離的定義

定理1.3.2 不在凸集內的點可以被超平面嚴格分離

引理 1.3.1 Farkas引理

這里參考：

【1】https://zhuanlan.zhihu.com/p/29525513

對Farkas引理的幾何意義理解有助於對該引理的直覺理解。

Farkas引理

設A是一個mxn階的實矩陣，b是一個n維實向量，則下述兩組方程中僅有一組有解：

其中x是n維實向量，y是m維實向量

幾何解釋

1. 請見頂圖，在空間 中，用矩陣A的行張成一個錐（張成錐與張成線性空間的區別就在於前者只能用非負的組合系數），即圖中的錐 （陰影部分）
2. 那么b的位置只可能有兩種情形：（1）落在錐外；（2）落在錐內（含邊界）
3. 若b落在錐外：那么因為b點和A的行錐均為凸集，所以恰可利用凸集分離定理直接得到方程（1）
4. 落b落在錐內：則b可以用A的行以非負系數線性表出，這恰是方程（2）
5. 其實經典證明背后的思想就一句話：b點要么落在錐外，要么落在錐內

定理1.3.3 關於\(u^0\)的組合表示

凸函數

定義 1.3.3：凸函數

定義 1.3.3：嚴格凸函數

定義 1.3.3：強凸函數（一致凸函數）

強凸函數除了定義上的區別，還有哪些特性

命題 1.3.2 凸函數的性質

兩個判別准則：

定理 1.3.4 一階判別定理

定理 1.3.5 二階判別定理

定理 1.3.6 強凸函數的判定定理

凸規划

定義1.3.4 凸規划

定理 1.3.7 凸規划的性質

1.4 線搜索迭代算法概述 及收斂性准則

1. 線搜索迭代算法的一般框架

2. 終止規則

3. 迭代方向

4. 迭代步長

精確一維線搜索

非精確一維線搜索（近似一維搜索）

• Goldstein型線搜索

• Armijo型線搜索

• Wolfe型線搜索（Wolfe-Powell型線搜索）

非單調一維線搜索

• Grippo-Lampariello-Lucidi非單調線搜索
• Zhang-Harger非單調線搜索
• Hu-Huang-Lu非單調線搜索

5. 算法收斂性

收斂：如果算法是有限終止的，或所產生的迭代點列的每個聚點是優化問題的最優解，則稱該算法是收斂的。

全局收斂與局部收斂：如果對於任意的初始點\(x^0\)，算法是收斂的，則稱該算法是全局收斂的。如果只有初始點\(x^0\)充分靠近最優解時，算法是收斂的，則稱該算法是局部收斂的。

收斂速率：