特征空間或數據集的線性可分是什么（以二分類為例）

一、總結

一句話總結：

直觀表示：以二分類為例，線性可分表示兩類樣本能夠被完全分隔開

數學描述：D0和D1是n維歐氏空間中的兩個點集。如果存在n維向量w和實數b，使得所有屬於 D0 的點xi都有 wxi+b>0，而對於所有屬於D1的點xj則有wxj+b<0。則我們稱D0和D1線性可分。

 

1、輸入通常由特征向量表示？

每個具體的輸入是一個實例（instance），通常由特征向量表示，特征向量所在的空間被稱為特征空間。假設樣本的特征向量為 n 維，那么我們說這些樣本的特征向量處在 n 維的特征空間中。

 

 

2、樣本/樣本點 是什么？

對監督學習來說，數據集由訓練集和測試集構成，而不論訓練集還是測試集都是由輸入（或特征向量）和輸出組成的對所組成，因此輸入與輸出對又被稱為樣本或者樣本點。

 

 

3、為什么線性可分的數學描述是 wxi+b>0（D0中的點） 和 wxj+b<0（D1中的點）？

y0=wxi+b>0表示在這條線的上面，y1=wxj+b<0表示在這條線的下面，那么D0和D1就被這條線分開了，自然是線性可分

 

 

4、如何去描述線性可分的定義，以及為什么我們都將輸出空間定義為 y∈{-1, 1} ？

A、我們將滿足wxi+b>0的樣本類別輸出值取為1，滿足wxi+b<0的樣本類別輸出值取為-1，這樣取y的值有一個好處，就是方便定義損失函數。

B、因為正確分類的樣本滿足 y(wxi+b)>0，而錯誤分類的樣本滿足y(wxi+b)<0。

 

 

5、線性可分支持向量機的思想？

以最大間隔把兩類樣本分開的超平面，是最佳超平面！線性可分支持向量機就是：以找出線性可分的樣本在特征空間中的最大間隔超平面為學習目的的分類模型。

 

 

 

二、特征空間、（數據集）線性可分：線性（二分類）模型

轉自或參考：特征空間、（數據集）線性可分：線性（二分類）模型
https://blog.csdn.net/Robin_Pi/article/details/105898784

 

 

在學習 SVM 時發現自己沒能很好地理解在線性模型中充當決策函數角色的 符號函數Sign()，說明對線性模型的理解還不夠到位，下面主要梳理一下對數據集 “線性可分”概念以及其它相關概念的一些理解，大概按照下面思路進行：

 

二分類問題
|
特征空間
|
線性可分
|
線性模型

二分類問題

（分類問題-二分類）
在機器學習的應用中，至少現階段，分類是一個非常常見的需求。特別是二分類，它是一切分類的基礎。而且，很多情況下，多分類問題可以轉化為二分類問題來解決。

所謂二分類問題就是：給定的各個樣本數據分別屬於兩個類之一，而目標是確定新數據點將歸屬到哪個類中。

特征空間

• 輸入空間、輸出空間、特征空間
  在監督學習中，將輸入與輸出所有可能取值的集合分別成為輸入空間和輸出空間。輸入空間和輸出空間可以是有限元素的集合，也可以是整個歐式空間。

  每個具體的輸入是一個實例（instance），通常由特征向量表示，特征向量所在的空間被稱為特征空間。假設樣本的特征向量為 n 維，那么我們說這些樣本的特征向量處在 n 維的特征空間中。

  一般來說，特征空間可以是歐氏空間，也可以是希爾伯特空間，不過為了便於理解，在以后的所有例子中都使用歐氏空間。
  直觀上，當我們把一個 n 維向量表達在一個 n 維歐氏空間中的時候，能夠“看到”的一個個向量對應為該空間中的一個個點。

• 數據集、樣本/樣本點
  對監督學習來說，數據集由訓練集和測試集構成，而不論訓練集還是測試集都是由輸入（或特征向量）和輸出組成的對所組成，因此輸入與輸出對又被稱為樣本或者樣本點。

線性可分

所謂”線性可分“，首先要明白其描述的對象是數據集，或者說樣本點。
還是以二分類為例，如下圖所示，數據集線性可分，表示兩類樣本能夠被完全分隔開，此時，我們說這兩類樣本在其特征空間里線性可分。

 

 

上面的表述很不嚴謹，我們來看看線性可分嚴格的數學定義：

D₀和 D₁ 是 n 維歐氏空間中的兩個點集（點的集合）。
如果存在 n 維向量 w 和實數 b，使得所有屬於 D₀ 的點 x_i 都有 wx_i+b>0，
而對於所有屬於 D₁ 的點 x_j 則有 wx_j+b<0。則我們稱 D₀ 和 D₁ 線性可分。
該篇文章最主要的點來了

1. 如何去描述上述定義，以及為什么我們都將輸出空間定義為 y∈{-1, 1} ？

我們將滿足wx_i+b>0的樣本類別輸出值取為1，滿足wx_i+b<0的樣本類別輸出值取為-1，
這樣取y的值有一個好處，就是方便定義損失函數。
因為正確分類的樣本滿足 y(wx_i+b)>0，而錯誤分類的樣本滿足y(wx_i+b)<0。參考

2. 為什么將輸出值定義為-1 和 1 ，可以是其他是實數值，比如-5 和 5 ？
   答：其實這里只是為了計算方便，才定義y的分類值取-1 和 1 （所以不要太過糾結）

3. 注意，與 SVM 的約束條件作區分！

線性分類模型

• 超平面
  超平面：n 維歐氏空間中維度等於 n-1 的線性子空間。

  1維歐氏空間（直線）中的超平面為0維（點），2維歐氏空間中的超平面為1維（直線）；3維歐氏空間中的超平面為2維（平面）；以此類推。

• 線性分類模型
  在數學意義上，將線性可分的樣本用超平面分隔開的分類模型，叫做線性分類模型，或線性分類器。

在一個樣本特征向量線性可分的特征空間里，可能有許多超平面可以把兩類樣本分開。
一個合理的策略是：以最大間隔把兩類樣本分開的超平面，是最佳超平面！這就是線性可分支持向量機的思想。

線性可分支持向量機就是：以找出線性可分的樣本在特征空間中的最大間隔超平面為學習目的的分類模型。