凸集、凸函數、凸優化和凸二次規划

一、總結

一句話總結：

凸集：集合C內任意兩點間的線段均包含在集合C形成的區域內，則稱集合C為凸集

 

 

 

二、凸集、凸函數、凸優化和凸二次規划

轉自或參考：凸集、凸函數、凸優化和凸二次規划
https://blog.csdn.net/watermelon12138/article/details/89057551

凸集

定義1：
凸函數圖像的上方區域，一定是凸集。
定義2：
集合C內任意兩點間的線段均包含在集合C形成的區域內，則稱集合C為凸集。
凸集：

非凸集：

 

 

例如：

 

 

保持凸集凸性的運算：
(1)兩個凸集的和為凸集
若S1、S2均為凸集，則S3 = S1+S2 = {x+y|x∈S1, y∈S2}也為凸集
(2)兩個凸集的笛卡爾積為凸集
S1 x S2 = {(x1, x2) | x1∈S1, x2∈S2}
(3)凸集的仿射變換仍為凸集。
若f是仿射變換，S為凸集，則f(S) = {f(x) | x∈S}為凸集。反之，若f是仿射變換，f(S)為凸集，則S為凸集。
仿射函數：
仿射函數是由1階多項式構成的函數，一般形式為 f (x) = A x + b，這里，A 是一個 m×k 矩陣，x 是一個k向量， b 都是一個 m 向量，實際上反映了一種從 k 維到 m 維的空間映射關系。
仿射變換：
從Rⁿ到R^m的映射 x→ Ax +b稱為仿射變換（affine transform）或仿射映射（affine map）。

凸函數

定義1：
一個函數圖像的上方區域是凸集，則該函數是凸函數。
定義2：
若函數 f 的定義域domf為凸集，且滿足f(x + (1-θ)y) <= θf(x) + (1-θ)f(y)，其中x, y ∈domf 且 0=< θ <= 1。
凸函數舉例：

 

 

保持凸函數凸性的運算：
(1)凸函數的非負加權和
若f _i (x)是凸函數，w_i是非負權重，則f(x) = w₁f₁(x)+…+w_nf_n(x)是凸函數。
(2)凸函數與仿射函數的復合
若f(x)是凸函數，g(t) = At + b是仿射函數，則f(g(x))是凸函數。

凸優化問題

約束最優化問題：

若目標函數 f(w) 為凸函數，可行域為凸集(滿足不等式約束中g_i(w)為凸函數，且等式約束中h_j(w)為仿射函數時)則這種約束最優化問題稱為凸優化問題，凸優化問題的局部最優解稱為全局最優解。

二次規划問題與凸二次規划問題

約束優化問題：

二次規划問題：
r，α_i(i∈E∪I)為 n 維實向量， b_i(i∈E∪I) 為實數，若目標函數f(x)為二次函數，G為對稱矩陣，不等式約束為仿射函數，則稱上述約束優化問題為二次規划（quadratic programming）問題。
凸二次規划問題：
若目標函數f(x)中的矩陣G是(正定) 半正定矩陣，則稱上述問題轉換為（嚴格）凸二次規划問題（convex quadratic programming）。若G為半正定矩陣，可行域不為空，且目標函數f(x)在可行域有下界，則該凸二次規划問題有全局最小值。若G為正定矩陣，可行域不為空，且目標函數f(x)在可行域有下界，則該嚴格凸二次規划問題有唯一全局最小值。
Hessian矩陣(黑塞矩陣)：
https://baike.baidu.com/item/黑塞矩陣/2248782?fr=aladdin