原文：http://blog.csdn.net/keith0812/article/details/8901113
“支持向量機方法是建立在統計學習理論的VC 維理論和結構風險最小原理基礎上”
結構化風險
結構化風險 = 經驗風險 + 置信風險
經驗風險 = 分類器在給定樣本上的誤差
置信風險 = 分類器在未知文本上分類的結果的誤差
置信風險因素：
樣本數量，給定的樣本數量越大，學習結果越有可能正確，此時置信風險越小；
分類函數的VC維，顯然VC維越大，推廣能力越差，置信風險會變大。
提高樣本數量，降低VC維，降低置信風險。
以前機器學習的目標是降低經驗風險，要降低經驗風險，就要提高分類函數的復雜度，導致VC維很高，VC維高，置信風險就高，所以，結構風險也高。---- 這是SVM比其他機器學習具有優勢的地方。
svm能達到降低vc維，最主要那個是核函數的引入。
前面這部分知識都是在學習svm的時候摘抄別人的博客，當時對vc維就不是很理解，看了很多遍都是雲里霧里的。但在后來的學習中發現這個概率常常出現，到時很多算法都不能有一部分無法正確理解，今天鼓起勇氣再次學習一下vc維概念，整理如下：
例子： 一個線性二分類函數能打散一個只包含三個元素的的集合 所以稱線性二分類函數的vc維為3
抽象： 一個函數集能后打撒一個包含h個元素的集合 稱該函數集的vc維為h
說到這兒大家可能對打散這個定理不是很理解，那還是以二分類函數為例
假設有一個包含三個元素的集合，這三個元素應該存在2^3即8種形式分開，具體情況如下：
而線性二分類函數，就能實現這個要求，所以說線性二分類函數的VC維為3。
同樣對於具有h個元素的集合，如果一個函數集能夠實現2^h種形式分開，我們稱這個函數集的vc維為h
若對任意數目的樣本都有函數能將它們打散.則函數集的VC維是無窮大。 即該函數集能夠打散包含任意個元素的集合。
VC維定義應用
研究人員通過分析得出結論：經驗風險最小化學習過程一致的必要條件是函數集的VC維有限，且這時的收斂速度是最快的。
個人理解，如果一個vc維無窮大，即該函數集能夠打散包含任意個元素的集合。那么這個函數必定很復雜，才能滿足這個條件，如果一個函數過於復雜，這個函數的泛化能力將下降，訓練的經驗風險將增大，收斂的速度也會減慢。