凸函數和jensen不等式

1 凸函數的定義

1.1 一元凸函數與凹函數

    對於一元函數\(f(x)\)，若滿足\(f(x)\)在\([a,b]\)上連續，且對於任意\(x_1\)，\(x_2\)，恆有：

\[f(\frac {x_1+x_2}{2})\ge\frac {f(x_1)+f(x_2)}2 \]

    則稱\(f(x)\)在\([a,b]\)上是向上凸的，簡稱上凸，此時\(f(x)\)為\([a,b]\)的凹函數，如圖1-3-3；若恆有：

\[f(\frac {x_1+x_2}{2})\le(\frac {f(x_1)+f(x_2)}2) \]

    則稱\(f(x)\)在\([a,b]\)上是向下凸的，簡稱下凸，此時\(f(x)\)為\([a,b]\)的凸函數，如圖1-3-4：

一元凹凸函數圖像（左凹右凸）

1.2 嚴格一點的凸函數的定義

    凸函數可利用凸集和上圖的概念定義。\(f\)的上圖可理解為函數\(f(x)\)圖像以上的區域構成的集合（暫未找到上圖定義，此處為個人理解）。集合\(C\)被稱為凸集，如果\(C\)中任意兩點間的線段仍然在\(C\)中，即對於任意的\(x_1，x_2 \subseteq C\),\(0 \le \theta \le1\)，都有：\(\theta x_1+(1-\theta)x_2 \subseteq C\)。

    凸函數定義：如果函數\(f:\Omega \to R\)，\(\Omega \subset R^n\)的上圖是凸集，那么函數\(f\)是集合\(\Omega\)上的凸函數。

2 凸函數的性質

2.1 凸函數的充要條件

    對於定義在凸集\(\Omega \subset R^n\)上的函數\(f:\Omega \to R\)，\(f\)是凸函數當且僅當對於任意\(x,y \in \Omega\)和任意\(\alpha \in (0,1)\)，都有

\[f(\alpha x + (1-\alpha)y)\le \alpha f(x)+(1-\alpha) f(y) \]

2.2 凸函數的線性性質

    假設函數\(f,f_1,f_2\)都是凸函數，那么，對於\(\forall a \ge 0\)，函數\(af\)也是凸函數；\(f_1+f_2\)也是凸函數。

2.3 嚴格凸函數

    對於定義在凸集\(\Omega \subset R^n\)上的函數\(f:\Omega \to R\)，如果對於任意\(x,y \in \Omega, x \ne y\) 和任意\(\alpha \in (0,1)\)，都有

\[f(\alpha x + (1-\alpha)y)\lt \alpha f(x)+(1-\alpha) f(y) \]

    則函數\(f\)是\(\Omega\)上的嚴格凸函數。對於嚴格凸函數，連接兩點\([x^T,f(x)]^T\)和\([y^T,f(y)]^T\)的線段上的所有點（不包括兩個端點），都嚴格位於函數\(f\)的圖像上方。

2.4 其他性質

    凸優化問題中，局部最小點就是全局最小點。

3 凸函數的判定

3.1 一元凸函數判定

    對於一元函數\(f(x)\)，通過其二階導數\(f''(x)\)的符號來判斷。若在\((a,b)\)內存在二階導數\(f''(x)\)，且在\((a,b)\)上\(f''(x) \ge0\)恆成立（等號只在有限個點上成立），則稱\(f(x)\)在\((a,b)\)上是凸函數。

3.2 多元凸函數的判定

    對於多元函數\(f(X)\)，通過其\(Hessian\)矩陣的正定性來判斷。若函數\(f(X)\)的二階偏導數在整個域中是存在並且連續的，且其\(Hessian\)矩陣\(H(f)\)是正定(即其為滿秩矩陣，且全部特征值大於0)的，則\(f(X)\)是域上的凸函數。

    \(Hessian\)矩陣：函數\(f:R^n \to R\) 在某個域上的二階導數存在且連續，則函數\(f(x_1,x_2,...,x_n)\)的\(Hessian\)矩陣為：

4 凸函數性質的應用：jensen不等式

    如果\(f\)是凸函數，\(X\)是隨機變量，那么\(f(E(X)) \le E(f(X))\)，即為jenson不等式的一般表述。此外，還有另一種表述：假設\(\omega_1,\omega_2,...,\omega_n\)為權重且滿足：\(\omega_j \ge 0\),\(\sum_{j=1}^n \omega_j =1\)，對於任意\(x\)有：

\[f(\omega_1x_1+\omega_2x_2+...+\omega_nx_n) \le \omega_1f(x_1)+\omega_2f(x_2)+...+\omega_nf(x_n) \]

    反之，若\(f\)是域上的凹函數，則：

\[f(\omega_1x_1+\omega_2x_2+...+\omega_nx_n) \ge \omega_1f(x_1)+\omega_2f(x_2)+...+\omega_nf(x_n) \]

    若\(f(x)=ln(x)\)，則可知\(f\)為凹函數，若令權重相等均為\(1/n\)，則：

\[ln(\frac1 n \sum_{i=1}^n x_i) \ge \frac 1 n\sum_{i=1}^nln(x_i) \]

    兩邊進行取冪運算可得算術平均數和幾何平均數大小關系：

\[\frac {x_1+x_2+...+x_n} n \ge \sqrt[n]{x_1x_2...x_n} \]

    當且僅當\(x_1=x_2=...=x_n\)時等號成立。

5 參考資源：

• 凸集（CSDN博客）：https://blog.csdn.net/baiyu9821179/article/details/54918363

• 什么是凸函數凹函數（CSDN博客）:https://blog.csdn.net/zhangdongren/article/details/84671235

• 最優化導論之凸函數（CSDN博客）：https://blog.csdn.net/jiang425776024/article/details/87607848

• 凸函數定義及判斷（博客園博客）：https://www.cnblogs.com/always-fight/p/9377554.html