PLSA及EM算法
前言：本文主要介紹PLSA及EM算法，首先給出LSA（隱性語義分析）的早期方法SVD，然后引入基於概率的PLSA模型，其參數學習采用EM算法。接着我們分析如何運用EM算法估計一個簡單的mixture unigram 語言模型和混合高斯模型GMM的參數，最后總結EM算法的一般形式及運用關鍵點 ...
原文：PLSA算法（轉）
文章分類:綜合技術 . 引子 Bag of Words 模型是NLP和IR領域中的一個基本假設。在這個模型中，一個文檔 document 被表示為一組單詞 word term 的無序組合，而忽略了語法 或者詞序的部分。BOW在傳統NLP領域取得了巨大的成功，在計算機視覺領域 Computer Vision 也開始嶄露頭角，但在實際應用過程中，它卻有一些不可避免的缺陷，比如： 稀疏性 Sparse ...
2013-07-08 10:49 0 5029 推薦指數：
相關推薦
PLSA
PLSA模型 PLSA和LDA很像，都屬於主題模型，即它們都認為上帝在寫文章時先以一定概率選擇了一個主題，然后在這主題下以一定概率選擇了一個詞，重復這個過程就完成了一篇文章，即$p(d_i,w_j)=p(z_k|d_i)p(w_j|z_k)$，其中$d$表示文章，$w$表示詞，$z$表示主題 ...
PLSA主題模型
主題模型 主題模型這樣理解一篇文章的生成過程： 1、 確定文章的K個主題。 2、 重復選擇K個主題之一，按主題-詞語概率生成詞語。 3、 ...
LDA和PLSA的區別
http://hi.baidu.com/flyer_hit/blog/item/2ec12d251dd9dd6835a80f55.htmlhttp://blog.csdn.net/feixiangcq ...
PLSA的EM推導
本文作為em算法在圖模型中的一個應用，推導plsa的em算法。 1 em算法 em算法是解決一類帶有隱變量模型的參數估計問題。 1.1 模型的定義 輸入樣本為，對應的隱變量為。待估計的模型參數為，目標為極大化似然函數 對於上式的優化，不能通過直接對進行求導，因為一旦求導，就有 ...
PLSA的簡單概念
PLSA (概率潛語義分析) 是基於 雙模式 和 共現 的數據分析方法延伸的經典的統計學方法。概率潛語義分析 應用於信息檢索，過濾，自然語言處理，文本的機器學習或者其他相關領域。概率潛語義分析 與 標准潛語義分析 的不同是，標准潛在語義分析是以 共現表（就是共現的矩陣）的奇異值分解的形式表現 ...
LSA，pLSA原理及其代碼實現
一. LSA 1. LSA原理 LSA(latent semantic analysis)潛在語義分析，也被稱為 LSI(latent semantic index)，是 Scott ...
Mixture unigram Model, PLSA及LDA
Topic model 在搜索和廣告，用戶興趣理解，推薦系統中有着非常泛的應用。它可以成為retrieval的方法，成為點擊模型的信號，也是推薦系統中基於內容推薦的重要算法。Topic model最近這些年很火的原因是其在語料准備上比supervised model更容易，不需要人工的標注 ...