數據預處理的常用流程： 　　　　1）去除唯一屬性 　　　　2）處理缺失值 　　　　3）屬性編碼 　　　　4）數據標准化、正則化 　　　　5）特征選擇 　　　　6）主成分分析 1、去除唯一屬性 　　如id屬性，是唯一屬性，直接去除就好 2、處理缺失值 (1)直接使用含有缺失值 ...

　　注：本文中涉及到的公式一律省略（公式不好敲出來），若想了解公式的具體實現，請參考原著。 1、基本概念 　　（1）聚類的思想： 　　　　將數據集划分為若干個不想交的子集（稱為一個簇cluster），每個簇潛在地對應於某一個概念。但是每個簇所具有現實意義由使用者自己決定，聚類算法僅僅會進行 ...

　　半監督學習：綜合利用有類標的數據和沒有類標的數據，來生成合適的分類函數。它是一類可以自動地利用未標記的數據來提升學習性能的算法 1、生成式半監督學習 　　優點：方法簡單，容易實現。通常在有標記數據極少時，生成式半監督學習方法比其他方法性能更好 　　缺點：假設的生成式模型必須與真實數據 ...

1、損失函數和風險函數 (1)損失函數：常見的有 0-1損失函數 絕對損失函數 平方損失函數 對數損失函數 (2)風險函數：損失函數的期望 經驗風險：模型在數據集T上的平均損失 　 根據大數定律，當N趨向於∞時，經驗風險趨向於風險函數 2、模型評估方法 (1)訓練誤差 ...

一 矩陣求導 復雜矩陣問題求導方法：可以從小到大，從scalar到vector再到matrix。 x is a column vector, A is a matrix d(A&am ...

背景與原理： PCA（主成分分析）是將一個數據的特征數量減少的同時盡可能保留最多信息的方法。所謂降維，就是在說對於一個$n$維數據集，其可以看做一個$n$維空間中的點集（或者向量集），而我們要把這個向量集投影到一個$k<n$維空間中，這樣當然會導致信息損失，但是如果這個$k$維空間的基底 ...

　　在機器學習的過程中，我們經常會遇見過擬合的問題。而輸入數據或features的維度過高就是導致過擬合的問題之一。。維度越高，你的數據在每個特征維度上的分布就越稀疏，這對機器學習算法基本都是災難性的。所有出現了很多降維的方法。今天我們要討論的就是LDA降維。 LDA降維的思路是：如果兩類數據 ...

數據降維的目的:數據降維，直觀地好處是維度降低了，便於計算和可視化，其更深層次的意義在於有效信息的提取綜合及無用信息的擯棄。 數據降維的好處：降維可以方便數據可視化+數據分析+數據壓縮+數據提取等。 降維方法 __ 屬性選擇：過濾法；包裝法；嵌入法； 　　　　　　|_ 映射方法 _線性映射 ...