分類與回歸的區別

分類與回歸區別是什么？ - 陶韜的回答 - 知乎 https://www.zhihu.com/question/21329754/answer/204957456

作者：陶韜
鏈接：https://www.zhihu.com/question/21329754/answer/204957456
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

為什么那么多回答說分類與回歸的區別就是離散和連續的區別？

根本不是這樣子的啊！

這兩者的區別完全不在於連續與否啊，而在於損失函數的形式不同啊！（后文詳述）

 

-------------分割線----------------

前面的很多答案用到了不少生動的例子和理論，從多個角度深刻詮釋了什么是分類問題，什么是回歸問題，以及如何實現回歸與分類任務，但大多數的回答仍沒有提及這兩者間的本質區別。

個人認為：

“回歸與分類的根本區別在於輸出空間是否為一個度量空間。”

我們不難看到，回歸問題與分類問題本質上都是要建立映射關系：

而兩者的區別則在於：

• 對於回歸問題，其輸出空間B是一個度量空間，即所謂“定量”。也就是說，回歸問題的輸出空間定義了一個度量 去衡量輸出值與真實值之間的“誤差大小”。例如：預測一瓶700毫升的可樂的價格（真實價格為5元）為6元時，誤差為1；預測其為7元時，誤差為2。這兩個預測結果是不一樣的，是有度量定義來衡量這種“不一樣”的。（於是有了均方誤差這類誤差函數）。
• 對於分類問題，其輸出空間B不是度量空間，即所謂“定性”。也就是說，在分類問題中，只有分類“正確”與“錯誤”之分，至於錯誤時是將Class 5分到Class 6,還是Class 7，並沒有區別，都是在error counter上+1。

而非很多回答所提到的“連續即回歸，離散即分類”。

事實上，在實際操作中，我們確實常常將回歸問題和分類問題互相轉化（分類問題回歸化：邏輯回歸；回歸問題分類化：年齡預測問題——>年齡段分類問題），但這都是為了處理實際問題時的方便之舉，背后損失的是數學上的嚴謹性。