分類與回歸的區別與聯系
聯系
回歸與分類的本質聯系是都要建立映射關系
\(f(x) \rightarrow y, x \in A, y \in B\)
區別
回歸與分類的根本區別在於輸出空間是否為一個度量空間
對於回歸問題，其輸出空間B是一個度量空間，即所謂“定量”。也就是說，回歸問題的輸出空間定義了一個度量\(d=F\left(y_{t r u e}, y_{p r e d}\right)\)去衡量輸出值與真實值之間的“誤差大小”。例如：預測一瓶700毫升的可樂的價格（真實價格為5元）為6元時，誤差為1；預測其為7元時，誤差為2。這兩個預測結果是不一樣的，是有度量定義來衡量這種“不一樣”的。（於是有了均方誤差這類誤差函數）。
對於分類問題，其輸出空間B不是度量空間，即所謂“定性”。也就是說，在分類問題中，只有分類“正確”與“錯誤”之分，至於錯誤時是將Class 5分到Class 6,還是Class 7，並沒有區別，都是在error counter上+1
一圖以概之
總結
拿支持向量機舉個例子，分類問題和回歸問題都要根據訓練樣本找到一個實值函數g(x).
回歸問題的要求是：給定一個新的模式，根據訓練集推斷它所對應的輸出y（實數）是多少。也就是使用y=g(x)來推斷任一輸入x所對應的輸出值。
分類問題是：給定一個新的模式，根據訓練集推斷它所對應的類別（如：+1，-1）。也就是使用y=sign(g(x))來推斷任一輸入x所對應的類別。
綜上，回歸問題和分類問題的本質一樣，不同僅在於他們的輸出的取值范圍不同。
分類問題中，輸出只允許取兩個值；
而在回歸問題中，輸出可取任意實數
一個好玩的栗子
通過人物照片來判斷一個人是不是胖子？（這是一個分類問題：是胖子或不是胖子）
通過人物照片來判斷一個人有多重？（這是一個回歸問題：高文欣看起來是100kg）