模式識別課堂筆記
假定用於分類的判別函數的參數形式已知，直接從樣本來估計判別函數的參數。不需要有關概率密度函數的確切的參數形式。因此，屬於無參數估計方法。
注：雖然判別函數有需要學習的參數，但卻與前面所講的非參數估計是一個框架下的，因為線性判別法並不關心數據的生成機理，完全由樣本來確定類別情況。
分類：
線性判別函數、支持向量機、Fisher線性判別函數
廣義線性判別函數、非線性判別函數、核學習機
基本思想：
步1：給定一個判別函數，且已知該函數的參數形式；
步2：采用樣本來訓練判別函數的參數；
步3：對於新樣本，采用判別函數對其進行決策，並按照一些准則來完成分類。
技術路線：
–假定有 n 個 d 維空間中的樣本，每個樣本的類別標簽已知，且一共有 c 個不同的類別。
–假定判別函數的形式已知，尋找一個判別函數。
–對於給定的新樣本 x屬於d維空間，判定它屬於c中的哪個類別。
從兩類分類函數入手，再設計多類問題，最后推廣到廣義線性模型。第二部分是關於如何訓練這些函數。
1.先說二類分類函數;
g(x)=0,定義了一個決策面H
性質：w是H 的法向量，任意一點到H的距離為
這個r是有正負的，代表是否與法向量同方向。
2.接下來是多類分類:是建立在二類分類基礎上的
2.1一對多情況，把第i類標記為正，其他類標記為負，這樣可以構造c個二類分類面；
但是存在明顯缺陷
2.2一對一情況，兩兩進行構造分類面，構造時不考慮其他類（完全忽略），這樣可以構造c(c-1)/2個分類面；
同樣有缺陷，但相較於上一個不確定的區域少一點，因為分類面多了（三個的話沒有效果，四個以上才有對比）
2.3對應與這種投票表決的方法有一種改進的叫最大決策的方法
3.最后，由於線性機器有兩個限制，決策區域要是凸的，而且要是單連通的。所以要對這種線性機制進行推廣，得到廣義線性判別函數。
原理是將低維中線性不可分的數據點x,通過非線性變化映射到高維空間中形成數據點y,以期望新的數據點y在高維空間中線性可分。
討論完線性函數，在下一篇我們要討論如何通過數據學習這些函數。