VC Dimension -衡量模型與樣本的復雜度


(1)定義VC Dimension:

dichotomies數量的上限是成長函數,成長函數的上限是邊界函數:

所以VC Bound可以改寫成:

下面我們定義VC Dimension:

對於某個備選函數集H,VC Dimension就是它所能shatter的最大數據個數N。VC Dimension = minimum break point - 1。所以在VC Bound中,(2N)^(k-1)可以替換為(2N)^(VC Dimension)。VC Dimension與學習算法A,輸入分布P,目標函數f均無關。

(2)PLA的VC Dimension  

1D的PLA最多shatter2個點,所以VC Dimension = 2;      

2D的PLA最多shatter3個點,所以VC Dimension = 3;                                                       

猜測dD的PLA,VC Dimension會不會等於d+1? 只需證明dvc≥d+1並且 dvc≤d+1

  • 證明VC Dimension≥d+1,只需證明H可以shatter某些d+1個輸入。

構造一組d+1個輸入:

 X=

第一列灰色的1是對每個輸入提高1維的操作,這個是一個d+1維的方陣,對角線全部是1,所以該矩陣可逆。即對於任意一種輸出,我們總能找到一個備選函數使得

 

圖2 

即這一組輸入的所有dichotomies都被窮盡了,所以VC Dimension≥d+1得證

  • 證明VCDimension≤d+1,只需證H不能shatter任何d+2個輸入

在2D情形下構造一組4個輸入:

圖3

所以 x4 = x3 + x2 - x1

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM