通過簡單的泛化誤差上界的證明，說明機器能進行學習和預測的基本原理。
直觀的理解
在有限的訓練數據中得到一個規律，認為總體也是近似這個規律的，那么就能用這個規律進行預測。比如一個大罐子里裝滿了紅球和白球，各一半，我隨手抓了一把，然后根據這些紅球白球的比例預測整個罐子也是這樣的比例，這樣做不一定很准確，但結果總是近似的，而且如果抓出的球越多，預測結果也就越可信。
上面的例子可以簡單直觀地理解一下預測的原理，其實還可以通過統計的方法對這個近似（用局部的規律近似總體的規律）的可信度進行概率分析。
將問題描述成更數學的形式：
- 損失函數（loss function）或者代價函數（cost function）度量預測錯誤的程度，記作\(L(Y,f(x))\)。
- 期望損失（expected loss），即平均意義下的損失：
\[R_{exp}(f)=E_p[L(Y,f(X))]=\int_{\mathcal{X}\times \mathcal{Y}}L(y,f(x))P(x,y)dxdy \]
- 經驗損失（empirical loss），是關於訓練數據集的平均損失：
\[R_{emp}(f)=\frac{1}{N}\sum_{i=1}^{N}L(y_i,f(x_i)) \]
- 根據大數定理，樣本容量\(N\)趨近無窮時，經驗風險趨近於期望風險：\(R_{emp}(f)\approx R_{exp}(f)\)，也就是說：如果模型在訓練樣本中的期望風險很小，那么它也能使得期望風險很小。
- 但是當樣本容量\(N\)不是無窮大的時候怎么辦？
泛化誤差上界（定理）：
對二分類問題，當假設空間是有限個函數集合\(\mathcal F=\left \\{ f_1,f_2,\cdot \cdot \cdot ,f_d \right \\}\)時，對任意一個函數\(f\in \mathcal F\)，至少以概率\(1-\sigma\)，以下不等式成立：
其中，
不等式左端\(R(f)\)是泛化誤差，右端為泛化誤差上界。泛化誤差上界中，第一項是訓練誤差，訓練誤差越小，泛化誤差也越小。第二項\(\varepsilon (d,N,\delta )\)，\(N\)越大，值越小，假設空間\(\mathcal F\) 包含的函數越多，值越大。
這個定理可以從概率上說明使用經驗風險近似期望風險的可信度，它與樣本數量以及假設空間的復雜度有關。
上述定理可通過Hoeffding不等式來證明:
Hoeffding不等式：
Hoeffding不等式適用於有界的隨機變量。設有兩兩獨立的一系列隨機變量\(X_1,...,X_n\)。假設對所有的\(1\leqslant i\leqslant n\)，\(X_i\)都是幾乎有界的變量，即滿足\(\mathbb{P}(X_i\in\left [ a_i,b_i \right ])=1\)，那么這\(n\)個隨機變量的經驗期望：\(\bar{X}=\frac{X_1+\cdot \cdot \cdot +X_n}{n}\)滿足以下不等式：
$$\mathbb{P}(\bar{X}-\mathbb{E}\left [ \bar{X} \right ]\geq t)\leq\exp (-\frac{2t^2n^2}{\sum _{i=1}^n(b_i-a_i)^2})$$
$$\mathbb{P}(\left |\bar{X}-\mathbb{E}\left [ \bar{X} \right ] \right |\geq t)\leq 2\, exp (-\frac{2t^2n^2}{\sum _{i=1}^n(b_i-a_i)^2})$$
對任意函數\(f\in \mathcal F\)，\(\hat {R}(f)\) 是\(N\)個獨立隨機變量\(L(Y,f(X))\)的樣本均值（經驗期望），\(R(f)\)是期望，如果損失函數取之區間為[0, 1]，則根據上述Hoeffding不等式，得到：
由於$\mathcal F =\left \{ f_1,f_2,...,f_d \right \} $是一個有限集合，容易得到：
令
然后就得到了：
上面的討論只是假設空間包含有限個函數的情況下的泛化誤差上界，對於一般的假設空間要找到泛化誤差界應該就沒這么簡單了。
(注：本文為讀書筆記與總結，側重算法原理，來源為[《統計學習方法》](http://book.douban.com/subject/10590856/)一書第一章)
作者：[rubbninja](http://www.cnblogs.com/rubbninja/) 出處：[http://www.cnblogs.com/rubbninja/](http://www.cnblogs.com/rubbninja/) 關於作者：目前主要研究領域為機器學習與無線定位技術，歡迎討論與指正！