分類模型和回歸模型本質一樣，分類模型是將回歸模型的輸出離散化。
舉幾個例子:
1. Logistic Regression 和 Linear Regression：
- Linear Regression： 輸出一個標量 wx+b，這個值是連續值，所以可以用來處理回歸問題。
- Logistic Regression：把上面的 wx+b 通過 sigmoid函數映射到(0,1)上，並划分一個閾值，大於閾值的分為一類，小於等於分為另一類，可以用來處理二分類問題。
- 更進一步：對於N分類問題，則是先得到N組w值不同的 wx+b，然后歸一化，比如用 softmax函數，最后變成N個類上的概率，可以處理多分類問題。
2. Support Vector Regression 和 Support Vector Machine:
-
SVR：輸出 wx+b，即某個樣本點到分類面的距離，是連續值，所以是回歸模型。
-
SVM：把這個距離用 sign(·) 函數作用，距離為正(在超平面一側)的樣本點是一類，為負的是另一類，所以是分類模型。
3. 神經網絡用於 分類 和 回歸:
-
用於回歸：最后一層有m個神經元，每個神經元輸出一個標量，m個神經元的輸出可以看做向量 v，現全部連到一個神經元上，則這個神經元輸出wv+b，是一個連續值，可以處理回歸問題，跟上面 Linear Regression 思想一樣。
-
用於N分類：現在這m個神經元最后連接到 N 個神經元，就有 N 組w值不同的 wv+b，同理可以歸一化（比如用 softmax ）變成
N個類上的概率。
拓展： 上面的例子其實都是從 prediction 的角度舉例的，如果從training角度來看，分類模型和回歸模型的目標函數不同，分類常見的是 log loss, hinge loss, 而回歸是 square loss。
1.回歸問題的應用場景
回歸問題通常是用來預測一個值，如預測房價、未來的天氣情況等等，例如一個產品的實際價格為500元，通過回歸分析預測值為499元，我們認為這是一個比較好的回歸分析。一個比較常見的回歸算法是線性回歸算法（LR）。另外，回歸分析用在神經網絡上，其最上層是不需要加上softmax函數的，而是直接對前一層累加即可。回歸是對真實值的一種逼近預測。
2.分類問題的應用場景
分類問題是用於將事物打上一個標簽，通常結果為離散值。例如判斷一幅圖片上的動物是一只貓還是一只狗，分類通常是建立在回歸之上，分類的最后一層通常要使用softmax函數進行判斷其所屬類別。分類並沒有逼近的概念，最終正確結果只有一個，錯誤的就是錯誤的，不會有相近的概念。最常見的分類方法是邏輯回歸，或者叫邏輯分類。
3.如何選擇模型
下面一幅圖可以告訴實際應用中我們如何選擇合適的模型。
