Hoeffding霍夫丁不等式 在<<機器學習>>第八章"集成學習"部分, 考慮二分類問題\(y \in \{-1, +1\}\) 和真實函數\(f\), 假定基分類器的錯誤率為\(\epsilon\), 即對每個基分類器\(h_{i}\)有 \[\begin ...

1.霍夫丁不等式 在一個罐子里，放着很多小球，他們分兩種顏色{橘色，綠色}。從罐中隨機抓N個小球。設：罐中橘色球的比例為μ(未知)，抓出來的樣本中橘色球的比例為ν（已知）。根據概率論中的霍夫丁不等式(Hoeffding’s Inequality)若N足夠大，ν就很可能接近μ。 同理 ...

1. 霍夫丁引理 設 $X$ 是均值為 0 的隨機變量，即 $E(X) = 0$，且 $X \in [a,b]$，則對於任意的 $\lambda \in R$ ，可以得到一個關於區間長度 $b-a$ 的不等式 $$E(e^{\lambda X}) \leq exp \left ...

第一次用latex排個版，累死我了 ...

定理4.4 (切比雪夫不等式) 設隨機變量 \(X\) 的期望和方差均存在，則對任意 \(\varepsilon > 0\)，有 \[P(|X - WX| \geq \varepsilon) \leq \displaystyle\frac{DX}{\varepsilon ...

馬爾可夫不等式與切比雪夫不等式 一、總結 一句話總結： 馬爾科夫不等式：P(X>=a) <= E(X)/a，X>=0,a>0 切比雪夫不等式：P{|X-E(X)|>=ε} <= δ^2/ε^2，δ是標准差 1、馬爾可夫不等式與切比雪夫不等式 選擇 ...

1. 切比雪夫不等式 \(P(|X−EX|≥ϵ)≤DX/ϵ^2\) 等價的是： \(P(|X−EX|<ϵ)≥1−DX/ϵ^2\) 證明： 設連續型變量X的密度函數是f(x),事件|X−EX|≥ϵ表示X落在區間(EX−ϵ,EX+ϵ)外部。所以（將上下限擴展到正負無窮會比原來 ...

切比雪夫不等式：對於任何分布的觀測樣本，觀測樣本落在偏離其均值k個標准差范圍內的概率最小為$1-1/k^2$，對於所有k>1成立。 $P(-k\sigma<x-\mu<k\sigma)\geqslant 1-1/k^2 $其中，$k>1$ 根據切比雪夫不等式，樣本落在 ...