感謝皮果提的文章:
http://blog.csdn.net/itplus/article/details/12038441
http://blog.csdn.net/itplus/article 皮果提是個大牛!
本來是要調研 Latent Dirichlet Allocation 的那個 LDA 的, 沒想到查到很多關於 Linear Discriminant Analysis 這個 LDA 的資料。初步看了看,覺得數學味挺濃,一時引起了很大的興趣;再看看,就有整理一份資料的沖動了。網上查到的相關文章大都寫得不是很詳細,而且在概念和記號等方面也比較混亂,因此,在整理本文時,我有意識地牽了一根主線,想讓讀者讀起來有循序漸進的感覺,記號上也力求規范和統一。期間參考了若干文獻,以及一些優秀的博客,如 JerryLead、LeftNotEasy、webdancer、xiaodongrush 等的博文,在這里對他們的辛勤寫作和無私分享表示感謝。文中的數學推導過程寫得比較細,方便有需求的讀者參考。此外,文中還通過加注的形式放入了一些自己的理解。 當然由於水平有限,錯誤遺漏之處在所難免, 希望讀者朋友可以指出,也歡迎交流。
目錄
第 1 節 預備知識
1.1 分類問題的描述
1.2 拉格朗日乘子法
第 2 節 Two-classes 情形的數學推導
2.1 基本思想
2.2 目標函數
2.3 極值求解
2.4 閥值選取
第 3 節 推廣到 Multi-classes 情形
3.1 降維問題的描述
3.2 目標函數與極值求解
3.3 降維幅度
第 4 節 其他幾個相關問題