的正例和反例用超平面分開，但是不是簡單地分看，其原則是使正例和反例之間的間隔最大。 超平面是什么呢 ...

今天是機器學習專題的第34篇文章，我們繼續來聊聊SVM模型。 我們在上一篇文章當中推導了SVM模型在硬間隔的原理以及公式，最后我們消去了所有的變量，只剩下了\(\alpha\)。在硬間隔模型當中，樣本是線性可分的，也就是說-1和1的類別可以找到一個平面將它完美分開。但是在實際當中，這樣的情況 ...

SVM目前被認為是最好的現成的分類器，SVM整個原理的推導過程也很是復雜啊，其中涉及到很多概念，如：凸集和凸函數，凸優化問題，軟間隔，核函數，拉格朗日乘子法，對偶問題，slater條件、KKT條件還有復雜的SMO算法！ 相信有很多研究過SVM的小伙伴們為了弄懂它們也是查閱了各種資料，着實費了 ...

　　 SVM之問題形式化 >>>SVM之對偶問題 　　 SVM之核函數 　　 SVM之解決線性不可分 　　 寫在SVM之前——凸優化與對偶問題 前一篇SVM之問題形式化中將最大間隔分類器形式化為以下優化問題： \[\begin{align}\left ...

今天是機器學習專題第35篇文章，我們繼續SVM模型的原理，今天我們來講解的是SMO算法。 公式回顧 在之前的文章當中我們對硬間隔以及軟間隔問題都進行了分析和公式推導，我們發現軟間隔和硬間隔的形式非常接近，只有少數幾個參數不同。所以我們着重來看看軟間隔的處理。 通過拉格朗日乘子法以及對原問題 ...

核函數 　　在上文中我們已經了解到使用SVM處理線性可分的數據，而對於非線性數據需要引入核函數的概念它通過將數據映射到高維空間來實現線性可分。在線性不可分的情況下，支持向量機通過某種事先選擇的非線性映射(核函數)將輸入變量映射到一個高維特征空間，在這個空間中構造最優分類超 ...

二、對偶問題 1、優化問題的類型 （1）無約束優化問題： 　　　　　　　　　　　 　　求解方法：求取函數f(x)的導數，然后令其為零，可以求得候選最優值，再在這些候選值中驗證；如果是凸函數，可以保證是最優解。 （2）有等式約束的優化問題： 　　　　　　　　　　　　 　　即把等式 ...

淺析SVM中的對偶問題 關於SVM對偶問題求解的博客有很多，但是關於為什么要進行對偶問題的分析卻很零散，這里做一個總結 1. 為什么要研究對偶問題? 廣義上講，將原問題的研究轉換為對偶問題的研究主要有一下幾個優勢: 原始問題的約束方程數對應於對偶問題的變量數, 而原始問題的變量 ...