Jensen不等式

轉載自：碎片化學習之數學（一）：Jensen不等式

定義：對於一個凸函數\(f\)，都有函數值的期望大於等於期望的函數值：$$E[f(x)]\geq f(E[x])$$上式當中\(x\)是一個隨機變量，它可以是離散的或者連續的，假設\(x~p(x)\) 。
回顧一下凸函數的定義：對於任意的值\(x_1,x_2\)，且對任意的\(0\leq t \leq 1\)，都有：$$tf(x_1)+(1-t)f(x_2)\geq f(tx_1+(1-t)x_2)$$上面的定義其實就是函數的任意兩點之間的函數值都小於等於函數值對應的插值（加權平均）。當且僅當各變量都相等時取等.
對於離散變量 \(p(x=x_i)=p_i,\forall i \in [1,n]\)，式子可以重新寫為，其中\(\sum_{i=1}^n p_i=1\):$$E[f(x)]=\sum_{i=1}^n p_if(x_i) \ f(E[x])=f(\sum_{i=1}^np_ix_i) \ \Rightarrow \sum_{i=1}^np_if(x_i) \geq f(\sum_{i=1}^np_ix_i) $$
對於連續變量有積分形式：$$E[f(x)]=\int f(x)p(x)dx \ f(E[x])=f(\int xp(x)dx) \ \Rightarrow \ \int f(x)p(x)dx \geq f(\int xp(x)dx)$$
對於定積分形式有：$$\int_a^b f(x)p(x)dx\geq f(\int_a^bxp(x)dx)$$
可以看出，上面凸函數的定義是離散形式Jensen不等式的一種特殊情況(令\(n=2,p_1=t,p_2=1-t\))。