若f(x)為區間I上的下凸（上凸）函數，則對於任意xi∈I和滿足∑λi=1的λi>0（i=1，2，...，n），成立： \[f(\sum ^{n} _{i=1} \lambda _{i}x_{ ...

（1）定義 設f是定義域為實數的函數，如果對所有的實數x，f(x)的二階導數都大於0，那么f是凸函數。 Jensen不等式定義如下： 如果f是凸函數，X是隨機變量，那么： 。當且僅當X是常量時，該式取等號。其中，E(X)表示X的數學期望。 注：Jensen不等式應用於凹函數時，不等號方向 ...

轉載自：碎片化學習之數學（一）：Jensen不等式 定義：對於一個凸函數\(f\)，都有函數值的期望大於等於期望的函數值：$$E[f(x)]\geq f(E[x])$$上式當中\(x\)是一個隨機變量，它可以是離散的或者連續的，假設\(x~p(x)\) 。 回顧一下凸函數的定義：對於任意的值 ...

Jensen不等式的形式有很多種，這里重點關注有關於隨機變量期望的形式。 1 Jensen不等式 Jensen不等式：已知函數\(\phi: \mathbb{R}\to\mathbb{R}\)為凸函數，則有\(\phi[\text{E}(X)]\leq \text{E}[\phi(X ...

1.霍夫丁不等式 在一個罐子里，放着很多小球，他們分兩種顏色{橘色，綠色}。從罐中隨機抓N個小球。設：罐中橘色球的比例為μ(未知)，抓出來的樣本中橘色球的比例為ν（已知）。根據概率論中的霍夫丁不等式(Hoeffding’s Inequality)若N足夠大，ν就很可能接近μ。 同理 ...

Hoeffding霍夫丁不等式 在<<機器學習>>第八章"集成學習"部分, 考慮二分類問題\(y \in \{-1, +1\}\) 和真實函數\(f\), 假定基分類器的錯誤率為\(\epsilon\), 即對每個基分類器\(h_{i}\)有 \[\begin ...

1 凸函數的定義 1.1 一元凸函數與凹函數     對於一元函數\(f(x)\)，若滿足\(f(x)\)在\([a,b]\)上連續，且對於任意\(x_1\)，\(x_2\)，恆有： \[ ...

若 $f(x)$ 是區間 $[a,b]$ 上的凹函數，則對任意的 $x_{1},x_{2},...,x_{n} \in [a,b]$，且 $\sum_{i = 1}^{n}\lambda_{i} = 1, \lambda_{i} > 0$，有不等式 $$\sum_{i = 1}^{n ...