凸集
-
集合C內任意兩點間的線段也均在集合C內，則稱集合C為凸集。
-
\(\forall x_1, x_2 \in C, \forall \theta \in [0,1], 則 x= \theta * x_1 + (1-\theta)*x_2 \in C\)\
-
凸函數定義
-
f為定義在區間I上的函數，若對I上的任意兩點\(x_i, x_2\)和任意\(\lambda \in (0,1)\) 有\(f(\lambda x_i + (1-\lambda)x_2)\leq \lambda f(x_i)+(1-\lambda)f(x_2)\)
-
將\(\leq\)換成<也成立則嚴格凸函數。
幾個性質
-
性質1： 設 \(f ⊆ R^n–> R^1\)，C是凸集，若f是凸函數，則對於∀β，證明下面水平集\(D_β\)是凸集。 \(D_\beta = \{x|f(x) \leq \beta, x \in C\}\)
-
性質2 : 凸優化問題的局部極小值是全局極小值。
-
性質3： 若f一階可微，則函數f為凸函數當且僅當f的定義域domf為凸集，且 \(\forall x,y \in domf, f(y)\geq f(x) + \triangledown f(x)^T(y-x)\)
-
性質4：若f二階可微，則函數f為凸函數當且僅當f的定義域domf為凸集，且\(\triangledown ^2f(x)\succeq 0\)
- 若f為一元函數，上式表示二階導大於0
- 若f為多元函數，上式表示二階導Hessian矩陣半正定。
Hessian矩陣
- 即二階導數矩陣
- 多元函數的Hessian矩陣
- hessian矩陣正定：
- 函數的二階偏導數恆>0
- 函數的變化率（一階導數）始終處於遞增狀態
- 函數為凸
正定 半正定
-
正定：\(f(x_1,x_2,...,x_n)=x^TAx\)，（所有的二次齊次式都可以寫成這個形式）如果對任意的\(x \neq 0\)均有\(f(x)>0\)，則稱\(f(x)\)為正定二次型，同時稱\(A\)為正定矩陣。
-
正定：對於n階實對稱矩陣A，下列條件是等價的：
- A是正定矩陣；
- A的一切順序主子式均為正；
- A的一切主子式均為正；
- A的特征值均為正；
- 存在實可逆矩陣C，使A=C′C；
- 存在秩為n的m×n實矩陣B，使A=B′B；
- 存在主對角線元素全為正的實三角矩陣R，使A=R′R
-
半正定：設A是n階實對稱矩陣，則下列的條件等價：
1.A是半正定的。
2.A的所有主子式均為非負的。
3.A的特征值均為非負的。
4.存在n階實矩陣C，使A=C′C.
5.存在秩為r的r×n實矩陣B，使A=B′B.
凸優化問題
-
OPT，convex optimization problem，凸集中的凸函數最優化的問題。
-
基本形式：\(minimize\ f_0(x), x\in R^n\)
\(subject\ to\ f_i(x)\leq0,i=1...m; h_(x)=0,j=1...p\)
-
優化變量 \(x\in R^n\)
-
不等式約束 \(f_i(x)\leq 0\)
-
等式約束 \(h_j(x)=0\)
-
無約束優化 \(m=p=0\)
-
優化問題的域 \(D=\cap_{i=0}^m domf \cap \cap_{j=1}^p domh_j\)
-
可行點（解）：\(x\in D\)，且滿足約束條件
-
可行域：所有可行點的集合
-
最優化值 \(p^* = inf\{f_0(x)|f_i(x)\leq0,i=1...m,h_j(x)=0,j=1...p\}\)
-
最優化解 \(p^*=f_0(x^*)\)
-
凸優化問題的重要性質：
- 可行域為凸集
- 局部最優解即全局最優解