若f(x)为区间I上的下凸（上凸）函数，则对于任意xi∈I和满足∑λi=1的λi>0（i=1，2，...，n），成立： \[f(\sum ^{n} _{i=1} \lambda _{i}x_{ ...

（1）定义 设f是定义域为实数的函数，如果对所有的实数x，f(x)的二阶导数都大于0，那么f是凸函数。 Jensen不等式定义如下： 如果f是凸函数，X是随机变量，那么： 。当且仅当X是常量时，该式取等号。其中，E(X)表示X的数学期望。 注：Jensen不等式应用于凹函数时，不等号方向 ...

转载自：碎片化学习之数学（一）：Jensen不等式 定义：对于一个凸函数\(f\)，都有函数值的期望大于等于期望的函数值：$$E[f(x)]\geq f(E[x])$$上式当中\(x\)是一个随机变量，它可以是离散的或者连续的，假设\(x~p(x)\) 。 回顾一下凸函数的定义：对于任意的值 ...

Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。 1 Jensen不等式 Jensen不等式：已知函数\(\phi: \mathbb{R}\to\mathbb{R}\)为凸函数，则有\(\phi[\text{E}(X)]\leq \text{E}[\phi(X ...

1.霍夫丁不等式 在一个罐子里，放着很多小球，他们分两种颜色{橘色，绿色}。从罐中随机抓N个小球。设：罐中橘色球的比例为μ(未知)，抓出来的样本中橘色球的比例为ν（已知）。根据概率论中的霍夫丁不等式(Hoeffding’s Inequality)若N足够大，ν就很可能接近μ。 同理 ...

Hoeffding霍夫丁不等式 在<<机器学习>>第八章"集成学习"部分, 考虑二分类问题\(y \in \{-1, +1\}\) 和真实函数\(f\), 假定基分类器的错误率为\(\epsilon\), 即对每个基分类器\(h_{i}\)有 \[\begin ...

1 凸函数的定义 1.1 一元凸函数与凹函数     对于一元函数\(f(x)\)，若满足\(f(x)\)在\([a,b]\)上连续，且对于任意\(x_1\)，\(x_2\)，恒有： \[ ...

若 $f(x)$ 是区间 $[a,b]$ 上的凹函数，则对任意的 $x_{1},x_{2},...,x_{n} \in [a,b]$，且 $\sum_{i = 1}^{n}\lambda_{i} = 1, \lambda_{i} > 0$，有不等式 $$\sum_{i = 1}^{n ...