背景與原理： PCA（主成分分析）是將一個數據的特征數量減少的同時盡可能保留最多信息的方法。所謂降維，就是在說對於一個$n$維數據集，其可以看做一個$n$維空間中的點集（或者向量集），而我們要把這個向量集投影到一個$k<n$維空間中，這樣當然會導致信息損失，但是如果這個$k$維空間的基底 ...

　　降維是機器學習中很重要的一種思想。在機器學習中經常會碰到一些高維的數據集，而在高維數據情形下會出現數據樣本稀疏，距離計算等困難，這類問題是所有機器學習方法共同面臨的嚴重問題，稱之為“ 維度災難 ”。另外在高維特征中容易出現特征之間的線性相關，這也就意味着有的特征是冗余存在的。基於這些問題，降維 ...

一、LDA算法 　　基本思想：LDA是一種監督學習的降維技術，也就是說它的數據集的每個樣本是有類別輸出的。這點和PCA不同。PCA是不考慮樣本類別輸出的無監督降維技術。 我們要將數據在低維度上進行投影，投影后希望每一種類別數據的投影點盡可能的接近，而不同類別的數據的類別中心之間的距離盡可 ...

　　在機器學習的過程中，我們經常會遇見過擬合的問題。而輸入數據或features的維度過高就是導致過擬合的問題之一。。維度越高，你的數據在每個特征維度上的分布就越稀疏，這對機器學習算法基本都是災難性的。所有出現了很多降維的方法。今天我們要討論的就是LDA降維。 LDA降維的思路是：如果兩類數據線 ...

簡介 要理解什么是降維，書上給出了一個很好但是有點抽象的例子。 說，看電視的時候屏幕上有成百上千萬的像素點，那么其實每個畫面都是一個上千萬維度的數據；但是我們在觀看的時候大腦自動把電視里面的場景放在我們所能理解的三維空間來理解，這個很自然的過程其實就是一個 降維 ...

1.背景 PCA(Principal Component Analysis)，PAC的作用主要是減少數據集的維度，然后挑選出基本的特征。 PCA的主要思想是移動坐標軸，找到方差最大的方向上的特征值。什么叫方差最大的方向的特征值呢。就像下圖 ...

寫在前面：本來這篇應該是上周四更新，但是上周四寫了一篇深度學習的反向傳播法的過程，就推遲更新了。本來想參考PRML來寫，但是發現里面涉及到比較多的數學知識，寫出來可能不好理解，我決定還是用最通俗的方法解釋PCA，並舉一個實例一步步計算，然后再進行數學推導，最后再介紹一些變種以及相應的程序。（數學 ...

基本概念： 　　在數據處理中，經常會遇到特征維度比樣本數量多得多的情況，如果拿到實際工程中去跑，效果不一定好。一是因為冗余的特征會帶來一些噪音，影響計算的結果；二是因為無關的特征會加大計算量，耗費時間和資源。所以我們通常會對數據重新變換一下，再跑模型。數據變換的目的不僅僅是降維，還可以消除特征 ...