LDA線性分析推廣到多分類


感謝皮果提的文章:

http://blog.csdn.net/itplus/article/details/12038441

http://blog.csdn.net/itplus/article 皮果提是個大牛!

   本來是要調研 Latent Dirichlet Allocation 的那個 LDA 的, 沒想到查到很多關於 Linear Discriminant Analysis 這個 LDA 的資料。初步看了看,覺得數學味挺濃,一時引起了很大的興趣;再看看,就有整理一份資料的沖動了。網上查到的相關文章大都寫得不是很詳細,而且在概念和記號等方面也比較混亂,因此,在整理本文時,我有意識地牽了一根主線,想讓讀者讀起來有循序漸進的感覺,記號上也力求規范和統一。期間參考了若干文獻,以及一些優秀的博客,如 JerryLead、LeftNotEasy、webdancer、xiaodongrush 等的博文,在這里對他們的辛勤寫作和無私分享表示感謝。文中的數學推導過程寫得比較細,方便有需求的讀者參考。此外,文中還通過加注的形式放入了一些自己的理解。 當然由於水平有限,錯誤遺漏之處在所難免, 希望讀者朋友可以指出,也歡迎交流。

 

 

 

 

目錄

 

第 1 節  預備知識

     1.1 分類問題的描述

     1.2 拉格朗日乘子法

 

第 2 節  Two-classes 情形的數學推導

     2.1 基本思想

     2.2 目標函數

     2.3 極值求解

     2.4 閥值選取

 

第 3 節  推廣到 Multi-classes 情形

     3.1 降維問題的描述

     3.2 目標函數與極值求解

     3.3 降維幅度

 

第 4 節  其他幾個相關問題

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM