VC維含義的個人理解

　　有關於VC維可以在很多機器學習的理論中見到，它是一個重要的概念。在讀《神經網絡原理》的時候對一個實例不是很明白，通過這段時間觀看斯坦福的機器學習公開課及相關補充材料，又參考了一些網絡上的資料（主要是這篇，不過個人感覺仍然沒有抓住重點），重新思考了一下，終於理解了這個定義所要傳達的思想。

　　先要介紹分散(shatter)的概念：對於一個給定集合S={x1, ... ,xd}，如果一個假設類H能夠實現集合S中所有元素的任意一種標記方式，則稱H能夠分散S。

　　這樣之后才有VC維的定義：H的VC維表示為VC(H) ，指能夠被H分散的最大集合的大小。若H能分散任意大小的集合，那么VC(H)為無窮大。在《神經網絡原理》中有另一種記號：對於二分總體F，其VC維寫作VCdim(F)。

　　通常定義之后，會用二維線性分類器舉例說明為什么其VC維是3，而不能分散4個樣本的集合，這里也就是容易產生困惑的地方。下面進行解釋。

　　對於三個樣本點的情況，下面的S1所有的標記方式是可以使用線性分類器進行分類的，因此其VC維至少為3（圖片來自於斯坦福機器學習公開課的materials,cs229-notes4.pdf）：

　　　　

　　雖然存在下面這種情況的S2，其中一種標記方式無法用線性分類器分類（圖片來自於斯坦福機器學習公開課的materials,cs229-notes4.pdf）

　　　　　　　　　　

　　但這種情況並不影響，這是因為，上一種的S1中，我們的H={二維線性分類器}可以實現其所有可能標簽情況的分類，這和S2不能用H分散無關。

　　而對於4個樣本點的情況，我們的H不能實現其所有可能標簽情況的分類（這是經過證明的，過程不詳）如下圖中某個S和其中一種標簽分配情況：

　　

　　　　　　　　

　　可見，H={二維線性分類器}的VC維是3。

　　從這個解釋過程可以看出，對於VC維定義理解的前提是先理解分散的定義。分散中的集合S是事先選定的，而VC維是能分散集合中基數（即這里的樣本數）最大的。因此，當VC(H)=3時，也可能存在S'，|S'|=3但不能被H分散；而對於任意事先給定的S"，|S"|=4，H不能對其所有可能的標簽分配方式進行分散。這里所謂“事先給定”可以看作其點在平面上位置已定，但所屬類別未定（即可能是任意一種標簽分配）。