碼上歡樂
相關內容    簡體    繁體

主題模型之概率潛在語義分析（Probabilistic Latent Semantic Analysis）

本文轉載自   查看原文   2015-09-17 08:56   2019    Data Mining

上一篇總結了潛在語義分析（Latent Semantic Analysis, LSA），LSA主要使用了線性代數中奇異值分解的方法，但是並沒有嚴格的概率推導，由於文本文檔的維度往往很高，如果在主題聚類中單純的使用奇異值分解計算復雜度會很高，使用概率推導可以使用一些優化迭代算法來求解。

Thomas Hofmann 於1998年根據似然原理定義了生成模型並由此提出了概率潛在語義分析模型（Probabilistic Latent Semantic Analysis），簡稱PLSA。

PLSA屬於概率圖模型中的生成模型，相關的模型還有語言模型中的一元模型（Unigram Model）、混合一元模型（Mixture of Unigrams Model）等。

首先對文集進行設定。假設文集的詞典中共有V個詞，詞典向量為\mathrm{V}=\{w_{1},w_{2},\cdots,w_{V}\}，假設詞是獨立同分布的（一袋子詞），即p(\mathrm{w})=\prod_{m=1}^{V}p(w_{m})，一篇文章可以表示為d=\{w_{1}:n_{1},w_{2}:n_{2},\cdots,w_{M}:n_{M}\}，其中n_{i}表示第i個詞在當前文檔中出現的次數。

 

一元模型中假設每篇文檔的詞都獨立遵從於多項式分布，即假設詞典中第i個詞w_{i}在文檔中出現的次數遵從多項式分布，即p(n_{i}=x) \sim Multinomial(p(w))。打個比方來說假設我們有一個V面的骰子，骰子第i面向上的概率為p(w_{i})，每擲一次骰子得到一個詞，擲M次后便得到一篇由M個詞組成的文檔d（文檔的詞之間是獨立同分布的）。根據多項式分布可以知道文檔d的概率為

p(d)=p(\mathrm{w})=p({w_{1}:n_{1},w_{2}:n_{2},\cdots,w_{M}:n_{M}})=\frac{M!}{n_{1}!n_{2}!\cdots n_{M}}\prod_{i=1}^{M}p(w_{i})^{n_{i}}

下圖中圖（a）便是一元語言模型的概率圖模型，而圖（b）中是PLSA的概率圖模型。

 

PLSA模型中與一元模型中假設詞遵從多項式分布不同，PLSA模型中引入了潛層變量z\in\mathrm{Z}=\{z_{1},z_{2},\cdots, z_{K}\}作為主題變量，即假設當前文集由K個主題構成。設d_{m}為文集中的第m篇文檔，z_{t}表示第t個主題，w_{i}為第i個詞。p(\mathrm{d})為所有文檔的概率分布，p(d_{m})是文檔d_{m}的概率，p(\mathrm{z}|d_{m})為文檔d_{m}對應的主題的分布，p(\mathrm{w}|z_{t})為主題z_{t}對應的詞的分布。

PLSA模型的生成過程如下：

  1. 根據概率p(d)選擇一篇文檔d_{m}
  2. 根據概率p(\mathrm{z}|d_{m})選擇一個潛性主題z_{t}，並且z\sim Multinomial(d_{m})
  3. 根據概率p(\mathrm{w}|z_{t})生成一個詞w_{i}，並且w\sim Multinomial(\mathrm{z_{t}})

當然每個模型都對文集有一定的假設，PLSA做了如下的假設：

  1. 並元(w_{i},d_{m})的每一對共現是獨立的
  2. 當已知潛性變量z的時候，變量w和變量d是條件獨立的。

PLSA最初是根據視面模型（Aspect Model）提出的，假設1與一元模型中的“一袋子詞”的假設相似，假設2與PLSA定義的圖模型的生成關系有關，PLSA的圖模型類似於X->Z->Y這種模式，在貝葉斯網絡中被稱為間接因果影響（“Indirect Causal Effect”）。舉個例子來說，X表示你口袋里有沒有2塊錢，Z表示你能不能買一只筆，Y表示你能不能參加考試。假如不知道你能不能買一支筆（Z），那么你口袋里有沒有2塊錢（X）將影響到你能不能參加考試（Y）。但是假如你已經知道你是否可以買一只筆（Z），則你口袋里有沒有2塊錢（X）就影響不到你能不能參加考試了（Y）。即已知變量Z，變量X和Y是獨立的。

PLSA最終是要求得每個並元(w_{i},d_{m})對應主題的概率，即p(\mathrm{z}|\mathrm{w},\mathrm{d})。下面我們來推導公式。PLSA使用極大似然估計（MLE）。

首先求解隱變量z的對數似然函數\mathcal{L(z|d,w)}：

\mathcal{L(z|w,d)}=\log p(w,d|z)

由於PLSA模型的假設1，所以有：

\mathcal{L(z|w,d)}= \log\prod_{w,d|z}p(w,d|z)^{n_{n,m}}=\Sigma_{m=1}^{M}\Sigma_{n=1}^{N}n(n,m)\log p(w_{m,n},d_{m}|z)

其中n(n,m)表示第n篇文檔中的第m個詞出現的次數。

又由於在已知變量z的情況下d和w是獨立的，可得：

\mathcal{L}=\Sigma_{m=1}^{M}\Sigma_{n=1}^{N}n(n,m)\log (p(w_{m,n}|z)p(d_{m}|z))

PLSA使用EM算法求解極大似然，EM算法是一種機器學習中非常常用的迭代近似算法。一般用來求解得到極大似然或極大后驗的參數值。E步指的是在當前參數的情況下隱變量的后驗概率（Expectation），M步指的是求解得到極大似然或極大后驗的參數值（Maximization）。

首先計算上面似然函數的期望值：

\mathbb{E}[\mathcal{L}]=\Sigma_{k=1}^{K}(p(z_k|w,d)\mathcal{L})=\Sigma_{m=1}^{M}\Sigma_{n=1}^{N}n(m,n)\Sigma_{k=1}^{K}p(z_k|w_{m,n},d_{m})\log(p(w_{m,n}|z_{k})p(d_{m}|z_{k}))

上式有兩個限制條件：

\Sigma_{m=1}^{M}p(w_{m,n}|z_{k}) = 1

\Sigma_{z=1}^{K}p(d_{m}|z_{k}) = 1

根據拉格朗日乘數法進行極值推導，分別對兩個約束設定兩個參數\lambda，\tau：

\bigwedge = \mathbb{E}[\mathcal{L}]+\Sigma_{m=1}^{M}\Sigma_{k=1}^{K}(\lambda_{m,k} (1-\Sigma_{n=1}^{N}p(w_{m,n}|z_{k}) ))+ \Sigma_{m = 1}^{M}\tau_{m} (1-\Sigma_{k=1}^{K}p(d_{m}|z_{k}))

在上式中分別對變量p(w_{n,m}|z_{k})和p(d_{n}|z_{k})求偏導得到：

n(m,n)\frac{p(z_{k}|d_{m},w_{m,n})}{p(w_{m,n}|z_{k})}-\lambda_{m,k}=0

\Sigma_{n=1}^{M}\frac{p(z_{k}|d_{m},w_{m,n})}{p(d_{m}|z_{k})}-\tau_{m}=0

與之前的限制條件聯立得到：

p(w_{m,n}|z_{k})=\frac{n(m,n)p(z_{k}|w_{m,n},d_{m})}{\Sigma_{n=1}^{N}n(m,n)p(z_{k}|w_{m,n},d_{m})}

p(d_{m}|z_{k})=\frac{\Sigma_{n=1}^{N}n(m,n)p(z_{k}|w_{m,n},d_{m})}{\Sigma_{k=1}^{K}\Sigma_{n=1}^{N}n(m,n)p(z_{k}|w_{m,n},d_{m})}

於是便得到了M步求最大化的等式。

PLSA的EM步驟便可以化簡如下：

E步：計算變量z的后驗概率p(z_k|w_{m,n},d_{m})

M步：計算p(w_{m,n}|z_{k})，p(w_{m,n}|z_{k})

PLSA的問題便是在變量中含有文檔d這個變量，在模型上受限使其很難應用到其他文檔上去。之后David Blei提出的LDA（Latent Dirichlet Allocation）便是給文集設定了兩個超參來省略掉文檔這個固定變量。

PLSA的實現C++代碼：【還未上傳】

https://blog-potatolife.rhcloud.com/?p=147


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 NLP —— 圖模型（三）pLSA（Probabilistic latent semantic analysis，概率隱性語義分析）模型 潛語義分析(Latent Semantic Analysis) NLP傳統基礎（3）---潛在語義分析LSA主題模型---SVD得到降維矩陣 主題模型（概率潛語義分析PLSA、隱含狄利克雷分布LDA） 潛在語義分析LSA 《統計學習方法》筆記--概率潛在語義分析 概率主題模型簡介 Introduction to Probabilistic Topic Models Latent Semantic Analysis(LSA/ LSI)算法簡介 Latent Semantic Analysis(LSA/ LSI)原理簡介 文本主題模型之潛在語義索引(LSI)
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM