典型的凸優化問題
什么樣的問題是一個凸優化問題呢？
\[\begin{aligned} & min \quad f_0(x) \\ & s.t. \quad f_i(x) \leq 0 \qquad i=1,...,m \\ & \qquad \ a_i^Tx = b_i \qquad i=1,...,p \end{aligned} \]
其中\(f_0\)是凸函數，\(f_i\)也是凸函數，\(a_i^Tx\)是仿射函數。
但是實際上我們經常遇到的是狹義上的凸優化問題。比如有這么一個優化問題：
\[\begin{array}{cl} {\min } & {f_0(x)=x_1^2 + x_2^2} \\ {\text{ s.t }} & {f_1(x) = \frac{x_1}{1+x_2^2} \leq 0} \\ {} & {h_1(x) = (x_1 + x^2)^2 = 0} \end{array} \]
從狹義上看，這個問題並不是凸問題。但我們可以通過變形，使之成為一個凸優化問題：
\[\begin{array}{cl} {\min } & {f_0(x_1^2 +x_2^2)} \\ \text{s.t} & {f_1(x)=x_1 \leq 0} \\ {} & {h_1(x)=x_1 + x_2 = 0} \end{array} \]
之所以要把優化問題都往凸優化問題去靠，主要是凸優化問題有比較好的性質。下面介紹一下凸優化問題的兩個重要性質：
- 局部最優解=全局最優解
- 可微目標函數\(f(x)\)情況下，
\[\begin{array}{ll} x^* \in X_f 最優等價於：\\ \bigtriangledown f^T(x)(y-x^*) \geq 0 \quad y \in X_f \end{array} \]
線性規划
線性規划可以這么定義：
\[\begin{array}{ll} {\min} & {C^Tx + d \quad C \in R^n, d\in R} \\ {s.t.} & {Gx \leq h \quad G \in R^{m \times n}, h\in R^m} \\ {} & {Ax=b \quad A \in R^{k \times n}, b \in R^k} \end{array} \]
線性規划的特點就是其目標函數與約束函數都是線性的。
對於任意一個線性規划問題，我們都可以寫成如下這種一般化的形式：
\[\begin{array}{ll} {\min} & {C^Tx} \\ {s.t.} & {Ax=b} \\ {} & {x \geq 0} \end{array} \]
二次規划問題
