機器學習-李航-統計學習方法學習筆記之感知機(1)
感知機應該是機器學習里面最簡單的模型了。讀一遍文章也能理解作者想表達的意思。因為以前像梯度下降，多項式擬合，神經網絡都在Andrew Ng的公開課上看過了。但是真正關於書中的公式卻不怎么理解。一些簡單的作者也沒有推導。畢竟這是機器學習，不是微積分，或者線性代數，或者概率論 ...
原文：機器學習-李航-統計學習方法學習筆記之感知機(2)
在機器學習 李航 統計學習方法學習筆記之感知機 中我們已經知道感知機的建模和其幾何意義。相關推導也做了明確的推導。有了數學建模。我們要對模型進行計算。 感知機學習的目的是求的是一個能將正實例和負實例完全分開的分離超平面。也就是去求感知機模型中的參數w和b.學習策略也就是求解途徑就是定義個經驗損失函數，並將損失函數極小化。我們這兒采用的學習策略是求所有誤分類點到超平面S的總距離。假設超平面s的誤分 ...
2015-03-19 22:57 2 4521 推薦指數：
相關推薦
李航-統計學習方法-筆記-2：感知機
感知機 基本模型：感知機1957年由Rosenblatt提出，是神經網絡與SVM的基礎。它是一個二分類的線性分類模型，其輸入為實例的特征向量，輸出為實例的類別，取+1和-1二值。 \[f(x)=sign(w \cdot x+b) \\ sign(x)= \left\{\begin ...
李航-統計學習方法-筆記-8：提升方法
提升方法 簡述：提升方法（boosting）是一種常用的統計學習方法，應用廣泛且有效。在分類問題中，它通過改變訓練樣本的權重，學習多個分類器，並將這些分類器進行線性組合，提高分類的性能。 本章 （1）介紹boosting方法的思路和代表性的boosting算法AdaBoost （2）通過訓練 ...
李航-統計學習方法-筆記-3：KNN
KNN算法 基本模型：給定一個訓練數據集，對新的輸入實例，在訓練數據集中找到與該實例最鄰近的k個實例。這k個實例的多數屬於某個類，就把輸入實例分為這個類。 KNN沒有顯式的學習過程。 KNN使用的模型實際上對應於特征空間的划分。特征空間中，對每個訓練實例點\(x_i\)，距離該點比其它點更近 ...
李航-統計學習方法-筆記-1：概論
寫在前面 本系列筆記主要記錄《統計學習方法》中7種常用的機器學習分類算法，包括感知機，KNN，朴素貝葉斯，決策樹，邏輯斯諦回歸與最大熵模型，SVM，boosting。 課本還涉及到3種算法是關於概率模型估計和標注問題的，暫未列入學習計划，所以筆記中沒有涉及，包括EM算法，隱馬爾可夫模型，條件 ...
李航-統計學習方法-筆記-12：總結
10種統計學習方法特點的概括總結 本書共介紹了10種主要的統計學習方法：感知機，KNN，朴素貝葉斯，決策樹，邏輯斯諦回歸與最大熵模型，SVM，提升方法，EM算法，隱馬爾可夫模型，條件隨機場（CRF）。 適用問題 感知機，KNN，朴素貝葉斯，決策樹，邏輯斯諦回歸與最大熵模型，SVM，提升 ...
統計學習方法：感知機
作者：桂。 時間：2017-04-16 11:53:22 鏈接：http://www.cnblogs.com/xingshansi/p/6718503.html 前言 今天開始學習李航的《統計學習方法》，考慮到之前看《自適應濾波》，寫的過於瑣碎，拓展也略顯啰嗦，這次的學習 ...
李航-統計學習方法-筆記-7：支持向量機
簡述 支持向量機 ：是一種二分類模型，它的基本模型是定義在特征空間上的間隔最大的線性分類器，間隔最大使它有別於感知機。 核技巧：SVM還包括核技巧，這使它成為實質上的非線性分類器。 間隔最大化：SVM的學習策略是間隔最大化，可形式化為一個求解凸二次規划的問題，也等價於正則化的合頁損失函數 ...