(1)定義VC Dimension:
dichotomies數量的上限是成長函數,成長函數的上限是邊界函數:
所以VC Bound可以改寫成:
下面我們定義VC Dimension:
對於某個備選函數集H,VC Dimension就是它所能shatter的最大數據個數N。VC Dimension = minimum break point - 1。所以在VC Bound中,(2N)^(k-1)可以替換為(2N)^(VC Dimension)。VC Dimension與學習算法A,輸入分布P,目標函數f均無關。
(2)PLA的VC Dimension
1D的PLA最多shatter2個點,所以VC Dimension = 2;
2D的PLA最多shatter3個點,所以VC Dimension = 3;
猜測dD的PLA,VC Dimension會不會等於d+1? 只需證明dvc≥d+1並且 dvc≤d+1
- 證明VC Dimension≥d+1,只需證明H可以shatter某些d+1個輸入。
構造一組d+1個輸入:
X=
第一列灰色的1是對每個輸入提高1維的操作,這個是一個d+1維的方陣,對角線全部是1,所以該矩陣可逆。即對於任意一種輸出,我們總能找到一個備選函數使得
圖2
即這一組輸入的所有dichotomies都被窮盡了,所以VC Dimension≥d+1得證
- 證明VCDimension≤d+1,只需證H不能shatter任何d+2個輸入
在2D情形下構造一組4個輸入:
圖3
所以 x4 = x3 + x2 - x1