上學期花了一個多月讀完了李航老師的《統計學習方法》，現在帶着新入團隊的新同學以讀書會的形式讀這本書，書里邊全是干貨，對於我理解基本的機器學習算法很有幫助，也筆頭做了一些總結（不完全基於此書），現將其摘錄於此作為在博客園的第一篇博客。因為並不是為了掃盲，所以僅僅是抓出脈絡以及關鍵點，方便以后快速溫習 ...

統計學習方法是基於訓練數據構建統計模型，從而對數據進行預測和分析。 統計學習分為，監督學習（supervised learning），非監督學習，半監督學習和強化學習（reinforcement learning），其中以監督學習最為常見和重要，所以這里只討論監督學習 統計學習的過程如下， 1. ...

潛在語義分析通過矢量語義空間來分析文檔和詞的關系。 基本假設：如果兩個詞多次出現在同個文檔中，則兩個詞在語義上具有相似性。 LSA使用大量文本構成矩陣，每行表示一個詞，一列表示一個文檔，矩陣元素可以是詞頻或TF-IDF，然后使奇異值分解SVD進行矩陣降維，得到原矩陣的近似，此時兩個詞的相似性 ...

統計學習 統計學習是關於計算機基於數據構建概率統計模型並運用模型對數據進行預測與分析的一門學科。統計學習也稱為統計機器學習（statical machine learning）。 統計學習的方法是基於數據構建統計模型從而對數據進行預測和分析。統計學習由監督學習、非監督學習、半監督學習和強化學習 ...

提升方法 簡述：提升方法（boosting）是一種常用的統計學習方法，應用廣泛且有效。在分類問題中，它通過改變訓練樣本的權重，學習多個分類器，並將這些分類器進行線性組合，提高分類的性能。 本章 （1）介紹boosting方法的思路和代表性的boosting算法AdaBoost （2）通過訓練 ...

KNN算法 基本模型：給定一個訓練數據集，對新的輸入實例，在訓練數據集中找到與該實例最鄰近的k個實例。這k個實例的多數屬於某個類，就把輸入實例分為這個類。 KNN沒有顯式的學習過程。 KNN使用的模型實際上對應於特征空間的划分。特征空間中，對每個訓練實例點\(x_i\)，距離該點比其它點更近 ...

1.1 統計學習 統計學習也稱統計機器學習 主要特點： 以計算機及網絡為平台，建立在計算機及網絡之上 以數據為研究對象，是數據驅動的學科 統計學習的目的是對數據進行預測和分析 統計學習以方法為中心，統計學習方法構建模型並應用模型進行預測和分析 統計學習是概率論、統計學 ...

　　朴素貝葉斯法，就是使用貝葉斯公式的學習方法，朴素就是它假設輸入變量（向量）的各個分量之間是相互獨立的。所以對於分量之間不獨立的分布，如果使用它學習和預測效果就不會很好。 簡化策略 　　它是目標是通過訓練數據集學習聯合概率分布$P(X, Y)$用來預測。書上說，具體是先學習到先驗概率 ...