凸函數及其性質

上世紀70年代新的數學分支”凸分析”的出現，打破了分析數學中”線性”和”非線性”這樣一個經典的卻又是極不對稱的分划格局，使得過去相當一部分非線性的內容(即”凸”內容)，能夠象線性分析那樣優美地得到高度統一的處理。一切理論和應用的非線性數學問題都朝着”凸”靠近，早已經構成數學和應用數學的重要思想。
由於凸函數是一類在優化問題中非常重要的函數，因此，其性質被廣泛研究。而凸函數是定義在凸集上的。下面我們分別給出凸集與凸函數的定義與性質。

凸集、仿射集及其性質

凸集

定義： 設集合 $C\subset {\mathbb{R}}^n$.若對 $\mathrm{\forall }x,y\in C$,有

$$\theta x+(1-\theta )y\in C,\theta \in [0,1],$$

則稱C為凸集。凸集的幾何意義明顯，即若x,y屬於凸集，則其連線上所有的點都屬於凸集C。 凸集關於加法、數乘和交運算都是封閉的。即凸集之和為凸集、凸集的數乘為凸集、凸集相交為凸集

仿射集(affine set)

仿射集與凸集有一定類似。其關系類似於直線與線段的關系。（仿射集是開集，而凸集是閉集？）

凸函數的定義

凸函數的定義，是從凸集和優化的角度出發定義的。
定義：設集合 $C$ 為非空凸集，函數 $f:C\to \mathbb{R}$. 若對 $\mathrm{\forall }x,y\in C$,有

$$f(tx+(1-t)y)\le tf(x)+(1-t)f(y)，t\in [0,1]$$

則稱 $f$為C上的凸函數。若不等式對 $x\ne y$嚴格成立，則稱 $f$為 $C$ 上的嚴格凸函數。
這個定義，可以如下理解，如下圖所示的函數，是有極小點的。即凸函數的割線在函數曲線的上方。

凸函數的判定

判斷一個函數是否為凸函數，最基本的方法是使用其定義。但對可微函數，下面介紹的兩個判定定理可能更為有效。

一階判定條件

$f(x)$是凸函數，當且僅當對 $\mathrm{\forall }x,y\in C$，有

$$f(y)\ge f(x)+g(x{)}^T(y-x)$$

二階判定條件

對於一元函數，我們可以通過其二階導數的符號來判斷。如果函數的二階導數總是非負，即，則是凸函數。
對於多元函數，我們可以通過其Hessian矩陣（Hessian矩陣是由多元函數的二階導數組成的方陣）的正定性來判斷。如果Hessian矩陣是半正定矩陣，則是凸函數。

凸函數的性質

• 設 $f(x)$為定義在凸集S上的凸函數，則對任意非負數 $c\ge 0$ ，函數 $cf(x)$也是定義在凸集S上的凸函數。
• 設 $f(x)$和 $g(x)$都是定義在凸集S上的凸函數，則函數 $f(x)+g(x)$也是定義在凸集S上的凸函數。
• 如果 $f(x)$和 $g(x)$都是定義在凸集S上的凸函數，且g遞增，那么 $h(x)=g(f(x))$是凸函數
• 設 $f(x)$為定義在凸集S上的凸函數，則對任意實數c，集合 $S_c=\{x|x\in S,f(x)\le c\}$是凸集。
• 設 $f(x)$為定義在凸集上的凸函數，則它的任一個極小點就是它在S上的全局極小點，而且所有極小點的集合是凸集。

常見的凸函數