一、定義：
有n個訓練樣本Zn={zi(xi,yi), i=1,2,...,n},定義N(Zn)為函數集中的函數能對樣本分類的數目。
解釋：xi 代表特征向量如d維特征向量，yi代表一個標記如0或1, 因此zi就是對一個特征的標記，Zn中有n個樣本，可能的標記方式2n種，一種標記方式就生成一種樣本集；
N(Zn)為Zn的標記空間中能被正確分類的標記數量。
舉例：在二維特征空間中，不共線的3個二維特征向量，其標記方式有23=8種，每一種標記方式都能被指示函數集二維線性分類器正確分類，因此這3個特征組成的集合的N(Z3)=8，如圖1所示；但是共線的3個二維特征向量，其標記方式也有23=8種，但只有兩種方式能夠被指示函數集二維線性分類器正確分類，因此這3個特征組成的集合的N(Z3)=2，如圖2所示。
圖1：不共線的3個二維特征的8種標記都能夠被二維線性分類器分類
圖2：共線的3個二維特征的8種標記中有6種標記不能被二維線性分類器分類
1、隨機熵：指示函數集能夠實現分類組合數的自然對數，稱為函數集在樣本上的隨機熵，表示為H(Zn)=lnN（Zn）。
顯然對於二維線性分類器，圖1中的三個特征樣本集的隨機熵H(Z3)=lnN（Z3）=ln23=3ln2；圖2中的三個特征樣本集的隨機熵為H(Z3)=lnN（Z3）=ln2=ln2；
2、VC熵：n個樣本的隨機熵的期望值H(n)=E（lnN（Zn））。
顯然對於二維線性分類器，三個特征樣本集的VC熵為H(3)=1/2 x 3ln2 + 1/2 x ln2 =2ln2;
3、退火的VC熵：Hann(n)=ln E（N（Zn））。
顯然對於二維線性分類器，三個特征樣本集的VC熵為Hann(3)=ln（1/2 x 8 + 1/2 x 2） =ln5;
4、生長函數：函數集的最大隨機熵，G(n)=ln maxZnN（Zn）。
顯然對於二維線性分類器，三個特征樣本集的生長函數為G(3)=3ln2;
5、打散：在由n個特征組成的集合中（這種集合無限多），只要存在一種集合，它的所有2n種記方式都能夠被標記函數集分類，那么就稱n個特征構成的樣本集能夠被該標記函數集打散。
顯然3個二維特征構成的樣本集能夠被二維線性分類器打散，因為3個二維特征存在一種不共線的情況，它的8終標記方式能夠被二維線性分類器正確分類。
6、VC維：指示函數集能打散的最大樣本數。
顯示對於二維線性分類器，3個特征的樣本集是能夠被打散的，但是4個特征的樣本集不能夠被打散，因為4個特征構成的所有特征集中，任何一個特征集都不存在24=16種標記方式能被正確分類，即對於所有的N（Z4）< 16。因此二維線性分類器的VC維是3。
二、性質
1、三者之間關系：H(n) <= Hann(n)<= G(n)<=nln2；（證明忽略，以二維線性分類器為例理解）
2、標記函數集的生長函數或者與樣本數成正比，即G(n)=nln2，或者以樣本數的某個對數函數維上界，即G(n)<=h*(ln(n/h) + 1), n>h,h是VC維。（證明忽略，以二維線性分類器為例理解）
3、d維空間中的N個樣本線性可分的數目，即N(Zn)=D（n,d）=2n，當 n<=d 時；N(Zn)=D（n,d）=2n2（sigma{C（n-1，i）}，i=0,...,d）,當n>d時。sigma以為是從i=0到i=d對組合數C（n-1，i）累加。
4、從性質2中，可以看出隨着樣本數目增加，生長函數G(n)不是線性增加的。