手推LR及SVM

LR:

　　LR的目標是最小化模型分布和經驗分布之間的交叉熵，LR基於概率理論中的極大似然估計。首先假設樣本為0或者1的概率可以用sigmoid函數來表示，然后通過極大似然估計的方法估計出參數的值，即讓模型產生的分布P(Y|X)盡可能接近訓練數據的分布。

 

SVM:

　　SVM的目標是最大化分類間隔（硬SVM），或者最大化 [分類間隔—a*分錯的樣本數量]（軟SVM），SVM​基於幾何間隔最大化原理，認為幾何間隔最大的分類面為最優分類面 。