目錄 PCA 1. PCA最大可分性的思想 2. 基變換（線性變換） 3. 方差 4. 協方差 5. 協方差矩陣 6. 協方差矩陣對角化 7. PCA算法流程 8. PCA算法總結 ...

一，引言 　　降維是對數據高維度特征的一種預處理方法。降維是將高維度的數據保留下最重要的一些特征，去除噪聲和不重要的特征，從而實現提升數據處理速度的目的。在實際的生產和應用中，降維在一定的信息損失范 ...

一、LDA算法 　　基本思想：LDA是一種監督學習的降維技術，也就是說它的數據集的每個樣本是有類別輸出的。這點和PCA不同。PCA是不考慮樣本類別輸出的無監督降維技術。 我們要將數據在低維度上進行投影，投影后希望每一種類別數據的投影點盡可能的接近，而不同類別的數據的類別中心之間的距離盡可 ...

背景與原理： PCA（主成分分析）是將一個數據的特征數量減少的同時盡可能保留最多信息的方法。所謂降維，就是在說對於一個$n$維數據集，其可以看做一個$n$維空間中的點集（或者向量集），而我們要把這個向量集投影到一個$k<n$維空間中，這樣當然會導致信息損失，但是如果這個$k$維空間的基底 ...

前面對半監督學習部分作了簡單的介紹，這里開始了解有關無監督學習的部分，無監督學習內容稍微較多，本節主要介紹無監督學習中的PCA降維的基本原理和實現。 PCA 0.無監督學習簡介 相較於有監督學習和半監督學習，無監督學習就是從沒有標簽的數據中進行知識發現的過程。 更具體地說，無監督學習 ...

前言 以下內容是個人學習之后的感悟，轉載請注明出處~ 簡介 　　在用統計分析方法研究多變量的課題時，變量個數太多就會增加課題的復雜性。人們自然希望變量個數較少而得到的 信息較多。在很多情形，變量之間是有一定的相關關系的，當兩個變量之間有一定相關關系時 ...

寫在前面：本來這篇應該是上周四更新，但是上周四寫了一篇深度學習的反向傳播法的過程，就推遲更新了。本來想參考PRML來寫，但是發現里面涉及到比較多的數學知識，寫出來可能不好理解，我決定還是用最通俗的方法解釋PCA，並舉一個實例一步步計算，然后再進行數學推導，最后再介紹一些變種以及相應的程序。（數學 ...

第13章 利用 PCA 來簡化數據 降維技術 場景 我們正通過電視觀看體育比賽，在電視的顯示器上有一個球。 顯示器大概包含了100萬像素點，而球則可能是由較少的像素點組成，例如說一千個像素點。 人們實時的將顯示器上的百萬像素轉換成為一個三維圖像，該圖像就給出 ...