琴生不等式


參考資料:360百科、概率統計

琴生不等式,又名詹森(Jensen)不等式。

在機器學習中對凸函數的定義不同於以往在數學中接觸的凹函數定義,我們把類似碗形的函數稱之為凸函數,類似拱形的函數稱之為凹函數。如下圖所示:

定義

如果函數f(x)滿足對定義域上任意兩個x1、x2都有(f(x1)+f(x2))/2>=f((x1+x2)/2),那么f(x)為凸函數,或下凹函數。

拓展定義

設f(x)為凸函數,則f[(x1+x2+……+xn)/n]≤[f(x1)+f(x2)+……+f(xn)]/n(下凸);設f(x)為凹函數,f[(x1+x2+……+xn)/n]≥f(x1)+f(x2)+……+f(xn)]/n(上凸),稱為琴生不等式。

如果上面凹凸是嚴格的,那么不等式的等號只有x1=x2=...=xn才成立。

加權形式為:

f[(a1*x1+a2*x2+……+an*xn)]≤a1f(x1)+a2f(x2)+……+anf(xn)(下凸);

f[(a1*x1+a2*x2+……+an*xn)]≥a1f(x1)+a2f(x2)+……+anf(xn)(上凸),

其中

ai≥0(i=1,2,……,n),且a1+a2+……+an=1。

關於琴生不等式的結論

如果f(x)二階可導,而且f''(x)≥0,那么f(x)是下凸函數(凸函數);

如果f(x)二階可導,而且f''(x)≤0,那么f(x)是上凸函數(凹函數)。

公式應用

(x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t,(t>1時);

(x1^t+x2^t+...+xn^t)/n>=((x1+x2+...+xn)/n)^t,(0<t<1時);

取f(x) = x^t。

((x1+x2+...+xn)/n)^n>=x1*x2*...*xn,取f(x)=log(x)。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM