VC維被認為是數學和計算機科學中非常重要的定量化概念,它可用來刻畫分類系統的性能。模式識別中VC維的直觀定義是:對一個指示函數集,如果存在h個樣本能夠被函數集中的函數按所有可能的2h(是2h嗎?)種形式分開,則稱函數集能夠把h個樣本打散,函數集的VC維就是它能打散的最大樣本數目h,若對任意數目的樣本都有函數能將它們打散.則函數集的VC維是無窮大。有界實函數的VC維可以通過用一定的閾值將它轉化成指示函數來定義。VC維反映了函數集的學習能力,VC維越大則學習機器越復雜,所以VC維又是學習機器復雜程度的一種衡量。
換一個角度來理解,如果用函數類{f(z,a)}代表一個學習機,a 確定后就確定了一個判別函數了EF,而VC維為該學習機能學習的可以由其分類函數正確給出的所有可能二值標識的最大訓練樣本數。
故有這樣的結論,平面內只能找到3個點能被直線打散而不找到第4點。
對於這個結論我是如下理解的:
(1)平面內只能找到3個點能被直線打散:直線只能把一堆點分成兩堆,對於3個點,要分成兩堆加上順序就有23種。其中A、B、C表示3個點,+1,-1表示堆的類別, {A→-1,BC→+1}表示A分在標號為-1的那堆,B和C分在標號為+1的那堆。這就是一種分發。以此類推。則有如下8種分法:
{A→-1,BC→+1},{A→+1,BC→-1}
{B→-1,AC→+1},{B→+1,BC→-1}
{C→-1,AB→+1},{C→+1,BC→-1}
{ABC→-1},{ABC→+1}
(2)找不到4個點。假設有,則應該有24=16分法,但是把四個點分成兩堆有:一堆一個點另一對三個點(1,3);兩兩均分(2,2);一堆四個另一堆沒有(0,4)三種情況。對於第一種情況,4個點可分別做一次一個一堆的,加上順序就有8種:
{A→-1,BCD→+1},{A→+1,BCD→-1}
{B→-1,ACD→+1},{B→+1,ACD→-1}
{C→-1,ABD→+1},{C→+1,ABD→-1}
{D→-1,ABC→+1},{D→+1,ABC→-1};
對於第二種情況有4種:
{AB→-1,CD→+1},{AB→+1,CD→-1}
{AC→-1,BD→+1},{AC→+1,BD→-1}
沒有一條直線能使AD在一堆,BC在一堆,因為A、D處在對角線位置,B、C處在對角線位置。(這是我直觀在圖上找出來的)
對於第三種情況有2種;
{ABCD→-1}
{ABCD→+1}
所以總共加起來只有8+4+2=14種分法,不滿足24=16分法,所以平面找不到4個點能被直線打散。