1.什么是感知機
感知機是一種線性分類模型，屬於判別模型。感知機模型的假設空間是定義在特征空間中的所有線性分類模型或線性分類器，即函數集合
。
2.感知機學習策略
2.1 數據集的線性可分性
給定一個數據集
，其中，
,
,
,
如果存在某個超平面
, 
能夠將數據集的正實例點和負實例點完全正確地划分到超平面的兩側，即對所有
的實例 
,有
,對所有
的實例
,有
,則稱數據集
為線性可分數據集。
2.2 損失函數
損失函數的一個自然選擇是五分類點的總數。但是，這樣的損失函數不是參數
的連續可到函數，不易優化。損失函數的另一個選擇是誤分類點到超平面
的總距離，這是感知機所采用的。
損失函數定義為：.
3.感知機學習算法
3.1 感知機學習算法的原始形式
感知機學習算法是誤分類驅動的，具體采用隨機梯度下降法。首先，任意選取一個超平面
，然后用梯度下降法不斷地極小化目標函數。極小化過程中不是一次使
中所有誤分類點地梯度下降，而是一次隨機選取一個誤分類點使其梯度下降。
假設誤分類點集合
是固定的，那么損失函數
的梯度由
給出。
隨機選取一個誤分類點
,對
進行更新：
式中
是步長，在統計學習中又稱為學習率。這樣通過迭代可以期待損失函數
不斷減小，直到為0。
3.2 感知機學習算法的對偶形式
對偶形式的基本想法是，將
，
表示為實例
和標記
的線性組合的形式，通過求解其系數而求得和。不失一般性，在上面算法中可以假設初始值均為0。對誤分類點
通過
逐步修改
，設修改n次，則關於的增量分別是
和
，這里
。這樣，從學習過程不難看出，最后學習到的可以分別表示為：
這里，
當
時，表示第
個實例點由於誤分而進行更新的次數。實例點更新次數越多，意味着它距離分離超平面越近，也就越難正確分類。話句話說，這樣的實例對學習結果影響最大。
★
感知機模型變為：
參數更新(梯度下降):
