感知機
原理：二維空間中找到一條直線可以把所有二元類別分離開，三維或多維空間中，找到一個分離超平面把所有二元類別分離開。而可把所有二元類別分離開的超平面不止一個，哪個是最好的呢？
損失函數：所有誤分類的點到超平面的總距離，找到損失函數最優化對應的超平面，即誤分類的點到超平面總距離最小的模型參數w,b(感知機模型)
超平面定義
wTx+b=0 w超平面法向量，b超平面截距
感知機和SVM的區別：
感知機目標找到一個超平面將各樣本盡可能分離正確（有無數個）；SVM目標找到一個超平面不僅將各樣本盡可能分離正確，還要使各樣本離超平面距離最遠（只有一個），SVM的泛化能力更強
SVM(Support Vector Machine)
1.線性可分支持向量機（Hard-Margin SVM-硬間隔最大化模型)：要求所有點都正確划分的基礎上，找到間隔最大的分離超平面
2.線性支持向量機（Soft-Margin SVM-軟間隔最大化模型）：相對與硬間隔模型放寬了限制，引入了松弛變量，使得分類器具有一定的容錯性，容許有一些誤分類的點
3.線性不可分支持向量機（核函數）：對於線性不可分問題將樣本從原始空間通過核函數映射到高維空間實行“線性可分”
感知機的目標就是找到一個分割平面，使得盡量得區分正確（如下圖）
SVM的目標是找到一個分割平面，不僅區分正確，而且要讓正負樣本盡量遠離這個分割平面。
上圖里面，H2是感知機的，可以看到不唯一，H3是SVM，是唯一的。