凸函數定義
\[\forall x_1,x_2 \in D(f), 0\le\theta\le1\\ f(\theta\cdot x_1+(1-\theta)\cdot x_2) \le f(\theta\cdot x_1)+ f((1-\theta)\cdot x_2) \]
同理，凹函數則是\(\ge\)。凸函數和凹函數均為凸集
凸函數有最小值，凹函數有最大值，把凹函數加個負號也就轉換成了凸函數
上述凸函數和凹函數都屬於凸問題，與非凸問題相對
凸函數的一階特征 First Order Condition for Convexity
設\(S \in R^n\)為非空開凸集，\(f\)滿足一階連續可導且為\(S\)上的凸函數,則滿足
\[\forall x,y \in S, \ f(y) \ge f(x)+\nabla f(x)^T(y-x) \]
從圖像上直觀來看
這個函數上的任意一點，函數的值都大於或者等於函數在這點的一階近似（first-order approximation）
證明
凸函數的二階條件
\(f:R^n\rightarrow R\)二階可微,則\(f\)為凸函數 \(\Longleftrightarrow\) \(domf\)為凸集，且\(\nabla f^2(x) \ge 0, \quad \forall x \in {\rm dom}f\)
也就是說二階Hessian是半正定的