通俗理解LDA主題模型

0 前言

    印象中，最開始聽說“LDA”這個名詞，是緣於rickjin在2013年3月寫的一個LDA科普系列，叫LDA數學八卦，我當時一直想看來着，記得還打印過一次，但不知是由於這篇文檔的前序鋪墊太長（如今才意識到這些“鋪墊”都是深刻理解LDA 的基礎，但假設沒有人幫助剛開始學習的人提綱挈領、把握主次、理清思路，則非常easy陷入LDA的細枝末節之中），還是由於當中的數學推導細節太多，導致一直沒有完整看完過。

    2013年12月，在我組織的Machine Learning讀書會第8期上，@夏粉_百度 講機器學習中排序學習的理論和算法研究。@沈醉2011 則講主題模型的理解。又一次碰到了主題模型，當時貌似僅僅記得沈博講了一個汪峰寫歌詞的樣例。依舊沒有理解LDA究竟是怎樣一個東西（但理解了LDA之后。再看沈博主題模型的PPT會非常贊）。

    直到昨日下午。機器學習班 第12次課上，鄒講完LDA之后，才真正明確LDA原來是那么一個東東！上完課后，趁熱打鐵，再次看LDA數學八卦，發現曾經看不下去的文檔再看時居然一路都比較順暢。一口氣看完大部。看完大部后，思路清晰了。知道理解LDA。能夠分為下述5個步驟：

1. 一個函數：gamma函數
2. 四個分布：二項分布、多項分布、beta分布、Dirichlet分布
3. 一個概念和一個理念：共軛先驗和貝葉斯框架
4. 兩個模型：pLSA、LDA（在本文第4 部分闡述）
5. 一個採樣：Gibbs採樣

    本文便依照上述5個步驟來闡述，希望讀者看完本文后，能對LDA有個盡量清晰完整的了解。同一時候，本文基於鄒講LDA的PPT、rickjin的LDA數學八卦及其它參考資料寫就，能夠定義為一篇學習筆記或課程筆記，當然，興許不斷增加了非常多自己的理解。

若有不論什么問題，歡迎隨時於本文評論下指出，thanks。

1 gamma函數

1.0 總體把握LDA

    關於LDA有兩種含義，一種是線性判別分析（Linear Discriminant Analysis），一種是概率主題模型：隱含狄利克雷分布（Latent Dirichlet Allocation，簡稱LDA），本文講后者。

    另外，我先簡單說下LDA的總體思想。不然我怕你看了半天。鋪了太長的前奏。卻依舊因沒見到LDA的影子而顯得“心浮氣躁”，導致不想再繼續看下去。所以，先給你吃一顆定心丸。明確總體框架后，咱們再一步步抽絲剝繭。展開來論述。

    依照wiki上的介紹，LDA由Blei, David M.、Ng, Andrew Y.、Jordan於2003年提出。是一種主題模型，它能夠將文檔集 中每篇文檔的主題以概率分布的形式給出。從而通過分析一些文檔抽取出它們的主題（分布）出來后，便能夠依據主題（分布）進行主題聚類或文本分類。同一時候，它是一種典型的詞袋模型，即一篇文檔是由一組詞構成，詞與詞之間沒有先后順序的關系。

    此外，一篇文檔能夠包括多個主題，文檔中每一個詞都由當中的一個主題生成。

    人類是怎么生成文檔的呢？LDA的這三位作者在原始論文中給了一個簡單的樣例。比方假設事先給定了這幾個主題：Arts、Budgets、Children、Education，然后通過學習訓練。獲取每一個主題Topic相應的詞語。例如以下圖所看到的：

 

    然后以一定的概率選取上述某個主題，再以一定的概率選取那個主題下的某個單詞，不斷的反復這兩步，終於生成例如以下圖所看到的的一篇文章（當中不同顏色的詞語分別相應上圖中不同主題下的詞）：

  

    而當我們看到一篇文章后。往往喜歡推測這篇文章是怎樣生成的，我們可能會覺得作者先確定這篇文章的幾個主題，然后環繞這幾個主題遣詞造句，表達成文。

    LDA就是要干這事： 依據給定的一篇文檔，推測其主題分布。

    通俗來說，能夠假定覺得 人類是依據上述文檔生成過程寫成了各種各樣的文章，如今某小撮人想讓計算機利用LDA干一件事：你計算機給我推測分析網絡上各篇文章分別都寫了些啥主題，且各篇文章中各個主題出現的概率大小（主題分布）是啥。

    然，就是這么一個看似普通的LDA，一度嚇退了不少想深入探究其內部原理的剛開始學習的人。難在哪呢，難就難在LDA內部涉及到的數學知識點太多了。

    在LDA模型中，一篇文檔生成的方式例如以下：

• 從狄利克雷分布中取樣生成文檔 i 的主題分布
• 從主題的多項式分布中取樣生成文檔i第 j 個詞的主題
• 從狄利克雷分布中取樣生成主題相應的詞語分布
• 從詞語的多項式分布中採樣終於生成詞語

    當中，相似Beta分布是二項式分布的共軛先驗概率分布。而狄利克雷分布（Dirichlet分布）是多項式分布的共軛先驗概率分布。

    此外。LDA的圖模型結構例如以下圖所看到的（相似貝葉斯網絡結構）：

    恩，不錯，短短6句話總體概括了整個LDA的主體思想！但也就是上面短短6句話，卻接連不斷或反復出現了二項分布、多項式分布、beta分布、狄利克雷分布（Dirichlet分布）、共軛先驗概率分布、取樣，那么請問，這些都是啥呢？

    這里先簡單解釋下二項分布、多項分布、beta分布、Dirichlet 分布這4個分布。

•  二項分布（Binomial distribution）。

    二項分布是從伯努利分布推進的。

伯努利分布，又稱兩點分布或0-1分布，是一個離散型的隨機分布。當中的隨機變量僅僅有兩類取值，非正即負{+，-}。而二項分布即反復n次的伯努利試驗，記為 。簡言之，僅僅做一次實驗，是伯努利分布。反復做了n次。是二項分布。二項分布的概率密度函數為：

    

    對於k = 0, 1, 2, ..., n，當中的 是二項式系數（這就是二項分布的名稱的由來），又記為 。回想起高中所學的那丁點概率知識了么：想必你當年一定死記過這個二項式系數 就是 。

• 多項分布，是二項分布擴展到多維的情況。

    多項分布是指單次試驗中的隨機變量的取值不再是0-1的，而是有多種離散值可能（1,2,3...,k）。比方投擲6個面的骰子實驗。N次實驗結果服從K=6的多項分布。

當中

    多項分布的概率密度函數為：

• Beta分布，二項分布的共軛先驗分布。

    給定參數 和 ，取值范圍為[0,1]的隨機變量 x 的概率密度函數 ：

    當中 ：

。 。 

   注： 便是所謂的gamma函數。下文會詳細闡述。

• Dirichlet分布，是beta分布在高維度上的推廣。

    Dirichlet分布的的密度函數形式跟beta分布的密度函數如出一轍：

    當中

    至此，我們能夠看到 二項分布和多項分布非常相似， Beta分布和Dirichlet 分布非常相似，而至於 “Beta分布是二項式分布的共軛先驗概率分布。而狄利克雷分布 （Dirichlet分布）是多項式分布的共軛先驗概率分布 ”這點在下文中說明。

    OK。接下來，咱們就依照本文開頭所說的思路：“一個函數：gamma函數，四個分布：二項分布、多項分布、beta分布、Dirichlet分布，外加一個概念和一個理念：共軛先驗和貝葉斯框架，兩個模型：pLSA、LDA（文檔-主題，主題-詞語），一個採樣：Gibbs採樣”一步步詳細闡述，爭取給讀者一個盡量清晰完整的LDA。

    （當然，假設你不想深究背后的細節原理，僅僅想總體把握LDA的主體思想，可直接跳到本文第4 部分。看完第4部分后。若還是想深究背后的細節原理，可再回到此處開始看）

1.1 gamma函數

    咱們先來考慮一個問題（此問題1包括下文的問題2-問題4皆取材自LDA數學八卦）：

1. 問題1 隨機變量
2. 把這n 個隨機變量排序后得到順序統計量
3. 然后請問的分布是什么。

    為解決問題，能夠嘗試計算落在區間[x,x+Δx]的概率。即求下述式子的值：

    首先。把 [0,1] 區間分成三段 [0,x)，[x,x+Δx]，(x+Δx,1]，然后考慮下簡單的情形：即假設n 個數中僅僅有1個落在了區間 [x,x+Δx]內，由於這個區間內的數X(k)是第k大的，所以[0,x)中應該有 k−1 個數，(x+Δx,1] 這個區間中應該有n−k 個數。

例如以下圖所看到的：

    從而問題轉換為下述事件E：

    對於上述事件E，有：

    當中，o(Δx)表示Δx的高階無窮小。顯然。由於不同的排列組合，即n個數中有一個落在 [x,x+Δx]區間的有n種取法，余下n−1個數中有k−1個落在[0,x)的有 種組合，所以和事件E等價的事件一共同擁有 個。

    假設有2個數落在區間[x,x+Δx]呢？例如以下圖所看到的：

    相似於事件E，對於2個數落在區間[x,x+Δx]的事件E’：

    有：

   從上述的事件E、事件E‘中，能夠看出。僅僅要落在[x,x+Δx]內的數字超過一個，則相應的事件的概率就是 o(Δx)。

於是乎有：

    從而得到 的概率密度函數 為：

    至此，本節開頭提出的問題得到解決。然細致觀察的概率密度函數。發現式子的終於結果有階乘。聯想到階乘在實數上的推廣函數：

    兩者結合是否會產生奇異的效果呢？考慮到具有例如以下性質：

    故將代入到的概率密度函數中，可得：

    然后取，，轉換得到：

    假設熟悉beta分布的朋友，可能會驚呼：哇，居然推出了beta分布。

2 beta分布

2.1 beta分布

    在概率論中，beta是指一組定義在 區間的連續概率分布。有兩個參數 和 。且 。

    beta分布的概率密度函數是：

    當中的 便是 函數：

    隨機變量X服從參數為 的beta分布通常寫作： 。

2.2 Beta-Binomial 共軛

    回想下1.1節開頭所提出的問題：“問題1 隨機變量 。把這n 個隨機變量排序后得到順序統計量 ，然后請問 的分布是什么。

” 假設。咱們要在這個問題的基礎上增加一些觀測數據，變成問題2：

• ，相應的順序統計量是。須要推測。
• ， 中有個比p小，個比大；
• 那么，請問的分布是什么。

    依據“Yi中有 個比 小， 個比 大”。換言之。Yi中有 個比 小， 個比 大，所以 是 中第 大的數。

    依據1.1節終於得到的結論“僅僅要落在[x,x+Δx]內的數字超過一個。則相應的事件的概率就是 o(Δx)”。繼而推出事件服從beta分布，從而可知 的概率密度函數為：

   

    熟悉貝葉斯方法（不熟悉的沒事，參見 此文第一部分）的朋友心里預計又犯“嘀咕”了，這不就是貝葉斯式的思考過程么？

1. 為了推測，在獲得一定的觀測數據前，我們對的認知是：，此稱為的先驗分布；
2. 然后為了獲得這個結果“ 中有個比p小，個比大”。針對是做了次貝努利實驗。所以服從二項分布；
3. 在給定了來自數據提供的的知識后，的后驗分布變為。

    回想下 貝葉斯派思考問題的固定模式：

• 先驗分布 + 樣本信息  后驗分布

     上述思考模式意味着。新觀察到的樣本信息將修正人們曾經對事物的認知。換言之，在得到新的樣本信息之前，人們對 的認知是先驗分布 ，在得到新的樣本信息 后，人們對 的認知為 。

    類比到如今這個問題上，我們也能夠試着寫下：

    當中 相應的是二項分布 的計數。

    更一般的，對於非負實數 和 。我們有例如以下關系

    針對於這樣的觀測到的數據符合二項分布，參數的先驗分布和后驗分布都是Beta分布的情況，就是Beta-Binomial共軛。換言之，Beta分布是二項式分布的共軛先驗概率分布。

    二項分布和Beta分布是共軛分布意味着，假設我們為二項分布的參數p選取的先驗分布是Beta分布，那么以p為參數的二項分布用貝葉斯預計得到的后驗分布仍然服從Beta分布。

    此外，怎樣理解參數 和 所表達的意義呢？ 、 能夠覺得形狀參數。通俗但不嚴格的理解是。 和 共同控制Beta分布的函數“長的樣子”：形狀千奇百怪。高低胖瘦，例如以下圖所看到的：

 

2.3 共軛先驗分布

    什么又是共軛呢？軛的意思是束縛、控制，共軛從字面上理解，則是共同約束。或互相約束。

     在貝葉斯概率理論中。假設后驗概率P(θ|x)和先驗概率p(θ)滿足相同的分布律。那么。先驗分布和后驗分布被叫做共軛分布，同一時候，先驗分布叫做似然函數的共軛先驗分布。

    比方，某觀測數據服從概率分布 P(θ)時，當觀測到新的X數據時，我們通常會遇到例如以下問題：

• 可否依據新觀測數據X。更新參數θ？
• 依據新觀測數據能夠在多大程度上改變參數θ，即

• 當又一次預計θ的時候，給出新參數值θ的新概率分布。即P(θ|x)。

    事實上。依據依據貝葉斯公式可知：

    當中。P(x|θ)表示以預估θ為參數的x概率分布。能夠直接求得，P(θ)是已有原始的θ概率分布。
    所以。假設我們選取P(x|θ)的共軛先驗作為P(θ)的分布。那么P(x|θ)乘以P(θ)。然后歸一化的結果P(θ|x)跟和P(θ)的形式一樣。

換句話說，先驗分布是P(θ)。后驗分布是P(θ|x)，先驗分布跟后驗分布同屬於一個分布族。故稱該分布族是θ的共軛先驗分布（族）。

    舉個樣例。

投擲一個非均勻硬幣，能夠使用參數為θ的伯努利模型，θ為硬幣為正面的概率，那么結果x的分布形式為：

    其共軛先驗為beta分布，具有兩個參數 和 ，稱為超參數（hyperparameters）。

且這兩個參數決定了θ參數，其Beta分布形式為

    然后計算后驗概率

    歸一化這個等式后會得到還有一個Beta分布。從而證明了Beta分布確實是伯努利分布的共軛先驗分布。

2.4 從beta分布推廣到Dirichlet 分布

    接下來。咱們來考察beta分布的一個性質。

    假設 。則有：

    注意到上式最后結果的右邊積分

    其相似於概率分布 ，而對於這個分布有

    從而求得

    的結果為

    最后將此結果帶入 的計算式，得到：

    最后的這個結果意味着對於Beta 分布的隨機變量。其均值（期望）能夠用來預計。

此外。狄利克雷Dirichlet 分布也有相似的結論，即假設。相同能夠證明有下述結論成立：

    那什么是Dirichlet 分布呢？簡單的理解Dirichlet 分布就是一組連續多變量概率分布。是多變量普遍化的beta分布。為了紀念德國數學家約翰·彼得·古斯塔夫·勒熱納·狄利克雷（Peter Gustav Lejeune Dirichlet）而命名。狄利克雷分布常作為貝葉斯統計的先驗概率。

3 Dirichlet 分布

3.1 Dirichlet 分布

    依據wikipedia上的介紹。維度K ≥ 2（x1,x2…xK-1維。共K個）的狄利克雷分布在參數α1, ..., αK > 0上、基於歐幾里得空間RK-1里的勒貝格測度有個概率密度函數，定義為：

    當中，相當於是多項beta函數

    且

    此外，x1+x2+…+xK-1+xK=1，x1,x2…xK-1>0，且在(K-1)維的單純形上，其它區域的概率密度為0。

    當然，也能夠例如以下定義Dirichlet 分布

    當中的稱為Dirichlet 分布的歸一化系數：

    且依據Dirichlet分布的積分為1（概率的基本性質）。能夠得到：

3.2 Dirichlet-Multinomial 共軛

    以下。在2.2節問題2的基礎上繼續深入。引出問題3。

• ，
• 排序后相應的順序統計量,
• 問的聯合分布是什么？

    為了簡化計算，取x3滿足x1+x2+x3=1,但僅僅有x1,x2是變量。例如以下圖所看到的：

    從而有：

    繼而得到於是我們得到的聯合分布為：

    觀察上述式子的終於結果，能夠看出上面這個分布事實上就是3維形式的 Dirichlet 分布

    令，於是分布密度能夠寫為

    這個就是一般形式的3維 Dirichlet 分布，即便延拓到非負實數集合，以上概率分布也是良定義的。

    將Dirichlet分布的概率密度函數取對數，繪制對稱Dirichlet分布的圖像例如以下圖所看到的（截取自wikipedia上）：

    上圖中。取K=3。也就是有兩個獨立參數x1,x2，分別相應圖中的兩個坐標軸。第三個參數始終滿足x3=1-x1-x2且α1=α2=α3=α，圖中反映的是參數α從α=(0.3, 0.3, 0.3)變化到(2.0, 2.0, 2.0)時的概率對數值的變化情況。

    為了論證Dirichlet分布是多項式分布的共軛先驗概率分布，以下咱們繼續在上述問題3的基礎上再進一步，提出問題4。

1. 問題4  ，排序后相應的順序統計量
2. 令,,（此處的p3非變量，僅僅是為了表達方便）。如今要推測。
3. 。Yi中落到，。 三個區間的個數分別為 m1,m2,m3，m=m1+m2+m3。
4.  問后驗分布的分布是什么。

   為了方便討論，記，及。依據已知條件“，Yi中落到，， 三個區間的個數分別為 m1,m2”，可得、各自是這m+n個數中第大、第大的數。於是。后驗分布應該為，即一般化的形式表示為：。

    相同的，依照貝葉斯推理的邏輯，可將上述過程整理例如以下：

1.  我們要推測參數，其先驗分布為；
2.  數據Yi落到三個區間。， 的個數分別為，所以服從多項分布
3.  在給定了來自數據提供的知識后，的后驗分布變為

    上述貝葉斯分析過程的直觀表述為：

    令，可把從整數集合延拓到實數集合，從而得到更一般的表達式例如以下：

    針對於這樣的 觀測到的數據符合多項分布，參數的先驗分布和后驗分布都是Dirichlet 分布的情況， 就是Dirichlet-Multinomial 共軛。

換言之，至此已經證明了Dirichlet分布的確就是多項式分布的共軛先驗概率分布。

     意味着，假設我們為多項分布的參數p選取的先驗分布是Dirichlet分布，那么以p為參數的多項分布用貝葉斯預計得到的后驗分布仍然服從Dirichlet分布。

    進一步，一般形式的Dirichlet 分布定義例如以下：

    而對於給定的 和 ，其多項分布為：

    結論是：Dirichlet分布 和多項分布 是共軛關系。

4 主題模型LDA

        在開始以下的旅程之前，先來總結下我們眼下所得到的最基本的幾個收獲：

• 通過上文的第2.2節，我們知道beta分布是二項式分布的共軛先驗概率分布：
•  “對於非負實數和，我們有例如以下關系

    當中相應的是二項分布的計數。針對於這樣的觀測到的數據符合二項分布，參數的先驗分布和后驗分布都是Beta分布的情況。就是Beta-Binomial 共軛。”

• 通過上文的3.2節，我們知道狄利克雷分布（Dirichlet分布）是多項式分布的共軛先驗概率分布：
• “ 把從整數集合延拓到實數集合。從而得到更一般的表達式例如以下：

    針對於這樣的觀測到的數據符合多項分布。參數的先驗分布和后驗分布都是Dirichlet 分布的情況，就是 Dirichlet-Multinomial 共軛。  ”

• 以及貝葉斯派思考問題的固定模式：

  • 先驗分布 + 樣本信息  后驗分布
       上述思考模式意味着，新觀察到的樣本信息將修正人們曾經對事物的認知。換言之，在得到新的樣本信息之前，人們對 的認知是先驗分布 ，在得到新的樣本信息 后。人們對 的認知為 。
• 順便提下頻率派與貝葉斯派各自不同的思考方式：
  • 頻率派把須要判斷的參數θ看做是固定的未知常數。即概率盡管是未知的，但最起碼是確定的一個值，同一時候，樣本X 是隨機的，所以頻率派重點研究樣本空間，大部分的概率計算都是針對樣本X 的分布；
  • 而貝葉斯派的觀點則截然相反，他們覺得待預計的參數是隨機變量，服從一定的分布。而樣本X 是固定的，由於樣本是固定的。所以他們重點研究的是參數的分布。

    OK，在殺到終極boss——LDA模型之前，再循序漸進理解基礎模型：Unigram model、mixture of unigrams model，以及跟LDA最為接近的pLSA模型。

   為了方便描寫敘述，首先定義一些變量：

• 表示詞，表示全部單詞的個數（固定值）
• 表示主題，是主題的個數（預先給定。固定值）
• 表示語料庫，當中的是語料庫中的文檔數（固定值）
• 表示文檔，當中的表示一個文檔中的詞數（隨機變量）

4.1 各個基礎模型

4.1.1 Unigram model

    對於文檔。用表示詞的先驗概率。生成文檔的概率為：

    其圖模型為（圖中被塗色的w表示可觀測變量，N表示一篇文檔中總共N個單詞，M表示M篇文檔）：

    或為：

    unigram model假設文本中的詞服從Multinomial分布。而我們已經知道Multinomial分布的先驗分布為Dirichlet分布。
    上圖中的表示在文本中觀察到的第n個詞。n∈[1,N]表示該文本中一共同擁有N個單詞。

加上方框表示反復，即一共同擁有N個這樣的隨機變量。

當中，p和α是隱含未知變量：

• p是詞服從的Multinomial分布的參數
• α是Dirichlet分布（即Multinomial分布的先驗分布）的參數。

    一般α由經驗事先給定，p由觀察到的文本中出現的詞學習得到，表示文本中出現每一個詞的概率。

4.1.2 Mixture of unigrams model

    該模型的生成過程是：給某個文檔先選擇一個主題，再依據該主題生成文檔。該文檔中的全部詞都來自一個主題。

假設主題有。生成文檔的概率為：

    其圖模型為（圖中被塗色的w表示可觀測變量，未被塗色的z表示未知的隱變量。N表示一篇文檔中總共N個單詞，M表示M篇文檔）：

4.2 PLSA模型

    啊哈，長征兩萬五，經過前面這么長的鋪墊。終於快要接近LDA模型了！由於跟LDA模型最為接近的便是以下要闡述的這個pLSA模型，理解了pLSA模型后，到LDA模型也就一步之遙——給pLSA加上貝葉斯框架，便是LDA。

4.2.1 pLSA模型下生成文檔

    OK。在上面的Mixture of unigrams model中。我們假定一篇文檔僅僅有一個主題生成。可實際中，一篇文章往往有多個主題，僅僅是這多個主題各自在文檔中出現的概率大小不一樣。比方介紹一個國家的文檔中。往往會分別從教育、經濟、交通等多個主題進行介紹。

那么在pLSA中，文檔是怎樣被生成的呢？

    假設你要寫M篇文檔。由於一篇文檔由各個不同的詞組成，所以你須要確定每篇文檔里每一個位置上的詞。

    再假定你一共同擁有K個可選的主題，有V個可選的詞，咱們來玩一個扔骰子的游戲。

• 1. 假設你每寫一篇文檔會制作一顆K面的“文檔-主題”骰子（扔此骰子能得到K個主題中的隨意一個），和K個V面的“主題-詞項” 骰子（每一個骰子相應一個主題，K個骰子相應之前的K個主題。且骰子的每一面相應要選擇的詞項，V個面相應着V個可選的詞）。

• 比方可令K=3。即制作1個含有3個主題的“文檔-主題”骰子，這3個主題能夠是：教育、經濟、交通。然后令V = 3，制作3個有着3面的“主題-詞項”骰子，當中，教育主題骰子的3個面上的詞能夠是：大學、老師、課程。經濟主題骰子的3個面上的詞能夠是：市場、企業、金融，交通主題骰子的3個面上的詞能夠是：高鐵、汽車、飛機。
• 2. 每寫一個詞。先扔該“文檔-主題”骰子選擇主題，得到主題的結果后，使用和主題結果相應的那顆“主題-詞項”骰子，扔該骰子選擇要寫的詞。

• 先扔“文檔-主題”的骰子，假設（以一定的概率）得到的主題是教育，所以下一步便是扔教育主題篩子，（以一定的概率）得到教育主題篩子相應的某個詞：大學。

• 上面這個投骰子產生詞的過程簡化下便是：“先以一定的概率選取主題。再以一定的概率選取詞”。事實上，一開始可供選擇的主題有3個：教育、經濟、交通。那為何偏偏選取教育這個主題呢？事實上是隨機選取的，僅僅是這個隨機遵循一定的概率分布。比方可能選取教育主題的概率是0.5，選取經濟主題的概率是0.3。選取交通主題的概率是0.2，那么這3個主題的概率分布便是{教育：0.5。經濟：0.3。交通：0.2}。我們把各個主題z在文檔d中出現的概率分布稱之為主題分布，且是一個多項分布。
• 相同的，從主題分布中隨機抽取出教育主題后，依舊面對着3個詞：大學、老師、課程。這3個詞都可能被選中，但它們被選中的概率也是不一樣的。比方大學這個詞被選中的概率是0.5，老師這個詞被選中的概率是0.3，課程被選中的概率是0.2，那么這3個詞的概率分布便是{大學：0.5，老師：0.3。課程：0.2}，我們把各個詞語w在主題z下出現的概率分布稱之為詞分布，這個詞分布也是一個多項分布。
• 所以，選主題和選詞都是兩個隨機的過程。先從主題分布{教育：0.5，經濟：0.3，交通：0.2}中抽取出主題：教育，然后從該主題相應的詞分布{大學：0.5，老師：0.3。課程：0.2}中抽取出詞：大學。

• 3. 最后，你不停的反復扔“文檔-主題”骰子和”主題-詞項“骰子。反復N次（產生N個詞），完畢一篇文檔，反復這產生一篇文檔的方法M次。則完畢M篇文檔。

    上述 過程抽象出來即是PLSA的文檔生成模型。 在這個過程中，我們並未關注詞和詞之間的出現順序，所以pLSA是一種詞袋方法。 詳細說來，該模型假設一組共現(co-occurrence)詞項關聯着一個隱含的主題類別 。

同一時候定義：

• 表示海量文檔中某篇文檔被選中的概率。
  
• 表示詞在給定文檔中出現的概率。
• 怎么計算得到呢？針對海量文檔，對全部文檔進行分詞后，得到一個詞匯列表。這樣每篇文檔就是一個詞語的集合。

  對於每一個詞語，用它在文檔中出現的次數除以文檔中詞語總的數目便是它在文檔中出現的概率。

• 表示詳細某個主題在給定文檔下出現的概率。
• 表示詳細某個詞在給定主題下出現的概率，與主題關系越密切的詞，其條件概率越大。

    利用上述的第1、3、4個概率，我們便能夠依照例如以下的步驟得到“文檔-詞項”的生成模型：

1. 依照概率選擇一篇文檔
2. 選定文檔后，從主題分布中依照概率選擇一個隱含的主題類別
3. 選定后，從詞分布中依照概率選擇一個詞

    所以pLSA中生成文檔的整個過程便是選定文檔生成主題，確定主題生成詞。

4.2.1 依據文檔反推其主題分布

    反過來，既然文檔已經產生，那么怎樣依據已經產生好的文檔反推其主題呢？這個利用看到的文檔判斷其隱藏的主題（分布）的過程（事實上也就是產生文檔的逆過程），便是主題建模的目的：自己主動地發現文檔集中的主題（分布）。

    換言之。人類依據文檔生成模型寫成了各類文章，然后丟給了 計算機，相當於計算機看到的是一篇篇已經寫好的文章。如今計算機須要依據一篇篇文章中看到的一系列詞歸納出當篇文章的主題，進而得出各個主題各自不同的出現概率：主題分布。

即文檔d和單詞w是可被觀察到的，但主題z卻是隱藏的。

    例如以下圖所看到的（ 圖中被塗色的d、w表示可觀測變量。未被塗色的z表示未知的隱變量。N表示一篇文檔中總共N個單詞，M表示M篇文檔）：

    上圖中，文檔d和詞w是我們得到的樣本（樣本隨機，參數雖未知但固定，所以pLSA屬於頻率派思想。差別於下文要介紹的LDA中：樣本固定，參數未知但不固定，是個隨機變量，服從一定的分布。所以LDA屬於貝葉斯派思想）。可觀測得到，所以 對於隨意一篇文檔。其是已知的。

    從而能夠 依據 大量已知的文檔-詞項信息 ，訓練出文檔-主題 和 主題-詞項 ，例如以下公式所看到的：

    故得到文檔中每一個詞的生成概率為：

    由於可事先計算求出，而和未知，所以就是我們要預計的參數（值），通俗點說。就是要最大化這個θ。

    用什么方法進行預計呢，經常使用的參數預計方法有極大似然預計MLE、最大后驗證預計MAP、貝葉斯預計等等。由於該待預計的參數中含有隱變量z，所以我們能夠考慮EM算法。

4.2.1.1 EM算法的簡介

    EM算法。全稱為Expectation-maximization algorithm，為期望最大算法，其基本思想是：首先隨機選取一個值去初始化待預計的值，然后不斷迭代尋找更優的使得其似然函數likelihood 比原來的要大。

換言之，假定如今得到了。想求，使得

    EM的關鍵便是要找到的一個下界（注：。當中。X表示已經觀察到的隨機變量）。然后不斷最大化這個下界。通過不斷求解下界的極大化，從而逼近要求解的似然函數。

    所以EM算法的一般步驟為：

• 1. 隨機選取或者依據先驗知識初始化；
• 2. 不斷迭代下述兩步
• ①給出當前的參數預計，計算似然函數的下界
• ②又一次預計參數θ。即求，使得
• 3. 上述第二步后，假設收斂（即收斂）則退出算法，否則繼續回到第二步。

    上述過程好比在二維平面上。有兩條不相交的曲線，一條曲線在上（簡稱上曲線）。一條曲線在下（簡稱下曲線），下曲線為上曲線的下界。如今對上曲線未知。僅僅已知下曲線，為了求解上曲線的最高點，我們試着不斷增大下曲線。使得下曲線不斷逼近上曲線，下曲線在某一個點達到局部最大值並與上曲線在這點的值相等，記錄下這個值，然后繼續增大下曲線，尋找下曲線上與上曲線上相等的值，迭代到收斂（即收斂）停止，從而利用當前下曲線上的局部最大值當作上曲線的全局最大值（換言之，EM算法不保證一定能找到全局最優值）。

例如以下圖所看到的：

    以下是詳細介紹。

    假定有訓練集。包括m個獨立樣本，希望從中找到該組數據的模型p(x,z)的參數。

   

    然后通過極大似然預計建立目標函數--對數似然函數：

    這里，z是隱隨機變量，直接找到參數的預計是非常困難的。

我們的策略是建立的下界。而且求該下界的最大值；反復這個過程，直到收斂到局部最大值。

    令Qi是z的某一個分布。Qi≥0，且結合Jensen不等式，有：

    為了尋找盡量緊的下界。我們能夠讓使上述等號成立，而若要讓等號成立的條件則是：

    換言之。有以下式子成立：。且由於有：

    所以可得：

    終於得到EM算法的總體框架例如以下：

    OK，EM算法還會在本博客后面的博文中詳細闡述。

接下來，回到pLSA參數的預計問題上。

4.2.1.2 EM算法預計pLSA的兩未知參數

    首先嘗試從矩陣的角度來描寫敘述待預計的兩個未知變量和。

• 假定用表示詞表在主題上的一個多項分布，則能夠表示成一個向量，每一個元素表示詞項出如今主題中的概率，即

• 用表示全部主題在文檔上的一個多項分布，則能夠表示成一個向量，每一個元素表示主題出如今文檔中的概率，即

    這樣，巧妙的把和轉換成了兩個矩陣。

換言之，終於我們要求解的參數是這兩個矩陣：

    由於詞和詞之間是相互獨立的，所以整篇文檔N個詞的分布為：

    再由於文檔和文檔之間也是相互獨立的，所以整個語料庫中詞的分布為（整個語料庫M篇文檔，每篇文檔N個詞）：

    當中。表示詞項在文檔中的詞頻。表示文檔di中詞的總數。顯然有。

    從而得到整個語料庫的詞分布的對數似然函數（下述公式中有個小錯誤，正確的應該是：N為M。M為N）：

    如今，我們須要最大化上述這個對數似然函數來求解參數和。對於這樣的含有隱變量的最大似然預計，能夠使用EM算法。EM算法，分為兩個步驟：先E-step，后M-step。

• E-step：假定參數已知，計算此時隱變量的后驗概率。

    利用貝葉斯法則，能夠得到：

• M-step：帶入隱變量的后驗概率，最大化樣本分布的對數似然函數，求解相應的參數。

    觀察之前得到的對數似然函數的結果。由於文檔長度能夠單獨計算。所以去掉它不影響最大化似然函數。

此外，依據E-step的計算結果，把 代入，於是我們僅僅要最大化以下這個函數  就可以（下述公式中有個小錯誤，正確的應該是：N為M，M為N）：

    這是一個多元函數求極值問題，而且已知有例如以下約束條件（下述公式中有個小錯誤，正確的應該是：M為N）：

    熟悉凸優化的朋友應該知道。一般處理這樣的帶有約束條件的極值問題，經常使用的方法便是拉格朗日乘數法，即通過引入拉格朗日乘子將約束條件和多元（目標）函數融合到一起，轉化為無約束條件的極值問題。

    這里我們引入兩個拉格朗日乘子和，從而寫出拉格朗日函數（下述公式中有個小錯誤，正確的應該是：N為M。M為N）：

    由於我們要求解的參數是和，所以分別對和求偏導。然后令偏導結果等於0，得到（下述公式中有個小錯誤。正確的應該是：N為M，M為N）：

    消去拉格朗日乘子，終於可預計出參數和（下述公式中有個小錯誤，正確的應該是：N為M，M為N）：

    綜上。在pLSA中：

1. 由於和未知，所以我們用EM算法去預計這個參數的值。

2. 而后，用表示詞項出如今主題中的概率。即，用表示主題出如今文檔中的概率，即。從而把轉換成了“主題-詞項”矩陣Φ（主題生成詞），把轉換成了“文檔-主題”矩陣Θ（文檔生成主題）。
3. 終於求解出、。

4.3 LDA模型

    事實上，理解了pLSA模型，也就差點兒相同快理解了LDA模型。由於LDA就是在pLSA的基礎上加層貝葉斯框架，即LDA就是pLSA的貝葉斯版本號（正由於LDA被貝葉斯化了，所以才須要考慮歷史先驗知識，才加的兩個先驗參數）。

4.3.1 pLSA跟LDA的對照：生成文檔與參數預計

    在pLSA模型中，我們依照例如以下的步驟得到“文檔-詞項”的生成模型：

1. 依照概率選擇一篇文檔
2. 選定文檔后。確定文章的主題分布
3. 從主題分布中依照概率選擇一個隱含的主題類別
4. 選定后，確定主題下的詞分布
5. 從詞分布中依照概率選擇一個詞 ”

    以下。咱們對照下本文開頭所述的LDA模型中一篇文檔生成的方式是怎樣的：

1. 依照先驗概率選擇一篇文檔
2. 從狄利克雷分布（即Dirichlet分布）中取樣生成文檔 的主題分布，換言之，主題分布由超參數為的Dirichlet分布生成
3. 從主題的多項式分布中取樣生成文檔第 j 個詞的主題
4. 從狄利克雷分布（即Dirichlet分布）中取樣生成主題相應的詞語分布。換言之，詞語分布由參數為的Dirichlet分布生成
5. 從詞語的多項式分布中採樣終於生成詞語 ”

    從上面兩個過程能夠看出，LDA在PLSA的基礎上，為主題分布和詞分布分別加了兩個Dirichlet先驗。

    繼續拿之前解說PLSA的樣例進行詳細說明。

如前所述。在PLSA中，選主題和選詞都是兩個隨機的過程，先從主題分布{教育：0.5，經濟：0.3。交通：0.2}中抽取出主題：教育，然后從該主題相應的詞分布{大學：0.5，老師：0.3，課程：0.2}中抽取出詞：大學。

    而在LDA中。 選主題和選詞依舊都是兩個隨機的過程。依舊可能是先從主題分布{教育：0.5，經濟：0.3。交通：0.2}中抽取出主題：教育。然后再從該主題相應的詞分布{大學：0.5，老師：0.3，課程：0.2}中抽取出詞：大學 。

    那PLSA跟LDA的差別在於什么地方呢？差別就在於：

• PLSA中，主題分布和詞分布是唯一確定的。能明確的指出主題分布可能就是{教育：0.5。經濟：0.3。交通：0.2}。詞分布可能就是{大學：0.5，老師：0.3，課程：0.2}。

• 但在LDA中，主題分布和詞分布不再唯一確定不變。即無法確切給出。

  比如主題分布可能是{教育：0.5，經濟：0.3，交通：0.2}。也可能是{教育：0.6。經濟：0.2，交通：0.2}，究竟是哪個我們不再確定（即不知道）。由於它是隨機的可變化的。但再怎么變化。也依舊服從一定的分布，即主題分布跟詞分布由Dirichlet先驗隨機確定。

   看到這，你可能凌亂了，你說面對多個主題或詞，各個主題或詞被抽中的概率不一樣，所以抽取主題或詞是隨機抽取，還好理解。但如今你說主題分布和詞分布本身也都是不確定的，這是怎么回事？沒辦法，誰叫Blei等人“強行”給PLSA安了個貝葉斯框架呢。正由於LDA是PLSA的貝葉斯版本號。所以主題分布跟詞分布本身由先驗知識隨機給定。

    進一步，你會發現：

• pLSA中，主題分布和詞分布確定后。以一定的概率（、）分別選取詳細的主題和詞項，生成好文檔。

  而后依據生成好的文檔反推其主題分布、詞分布時，終於用EM算法（極大似然預計思想）求解出了兩個未知但固定的參數的值：（由轉換而來）和（由轉換而來）。

• 文檔d產生主題z的概率。主題z產生單詞w的概率都是兩個固定的值。
• 舉個文檔d產生主題z的樣例。給定一篇文檔d，主題分布是一定的，比方{ P(zi|d), i = 1,2,3 }可能就是{0.4,0.5,0.1}，表示z1、z2、z3。這3個主題被文檔d選中的概率都是個固定的值：P(z1|d) = 0.4、P(z2|d) = 0.5、P(z3|d) = 0.1，例如以下圖所看到的（圖截取自沈博PPT上）：

• 但在貝葉斯框架下的LDA中，我們不再覺得主題分布（各個主題在文檔中出現的概率分布）和詞分布（各個詞語在某個主題下出現的概率分布）是唯一確定的（而是隨機變量），而是有非常多種可能。但一篇文檔總得相應一個主題分布和一個詞分布吧。怎么辦呢？LDA為它們弄了兩個Dirichlet先驗參數，這個Dirichlet先驗為某篇文檔隨機抽取出某個主題分布和詞分布。
• 文檔d產生主題z（准確的說。事實上是Dirichlet先驗為文檔d生成主題分布Θ，然后依據主題分布Θ產生主題z）的概率，主題z產生單詞w的概率都不再是某兩個確定的值。而是隨機變量。
• 還是再次舉下文檔d詳細產生主題z的樣例。給定一篇文檔d，如今有多個主題z1、z2、z3，它們的主題分布{ P(zi|d), i = 1,2,3 }可能是{0.4,0.5,0.1}，也可能是{0.2,0.2,0.6}，即這些主題被d選中的概率都不再覺得是確定的值，可能是P(z1|d) = 0.4、P(z2|d) = 0.5、P(z3|d) = 0.1，也有可能是P(z1|d) = 0.2、P(z2|d) = 0.2、P(z3|d) = 0.6等等。而主題分布究竟是哪個取值集合我們不確定（為什么？這就是貝葉斯派的核心思想。把未知參數當作是隨機變量，不再覺得是某一個確定的值）。但其先驗分布是dirichlet 分布，所以能夠從無窮多個主題分布中依照dirichlet 先驗隨機抽取出某個主題分布出來。例如以下圖所看到的（圖截取自沈博PPT上）：

    換言之，LDA在pLSA的基礎上給這兩參數 （ 、 ）加了兩個先驗分布的參數（ 貝葉斯化）：一個主題分布的先驗分布 Dirichlet分布 ，和一個詞語分布的先驗分布 Dirichlet分布 。

    綜上，LDA真的僅僅是pLSA的貝葉斯版本號，文檔生成后，兩者都要依據文檔去判斷其主題分布和詞語分布（ 即兩者本質都是為了預計給定文檔生成主題。給定主題生成詞語的概率），僅僅是用的參數判斷方法不同。在pLSA中用極大似然預計的思想去判斷兩未知的固定參數。而LDA則把這兩參數弄成隨機變量，且增加dirichlet先驗。

    所以，pLSA跟LDA的本質差別就在於它們去預計未知參數所採用的思想不同，前者用的是頻率派思想，后者用的是貝葉斯派思想。
    好比，我去一朋友家：

• 依照頻率派的思想，我預計他在家的概率是1/2。不在家的概率也是1/2，是個定值。
• 而依照貝葉斯派的思想。他在家不在家的概率不再覺得是個定值1/2，而是隨機變量。比方依照我們的經驗（比方當天周末），推測他在家的概率是0.6，但這個0.6不是說就是全然確定的。也有可能是0.7。

  如此。貝葉斯派沒法確切給出參數的確定值（0.3,0.4，0.6,0.7，0.8,0.9都有可能），但至少明確在哪個范圍或哪些取值（0.6,0.7。0.8,0.9）更有可能，哪個范圍或哪些取值（0.3,0.4） 不太可能。

  進一步。貝葉斯預計中，參數的多個預計值服從一定的先驗分布，而后依據實踐獲得的數據（比如周末不斷跑他家）。不斷修正之前的參數預計。從先驗分布慢慢過渡到后驗分布。

    OK，相信已經解釋清晰了。

假設是在機器學習班上face-to-face，更好解釋和溝通。

4.3.2 LDA生成文檔過程的進一步理解

    上面說。LDA中，主題分布  —— 比方{  P(zi), i =1,2,3 }等於{0.4,0.5,0.1}或{0.2,0.2,0.6} —— 是由dirichlet先驗給定的，不是依據文檔產生的。所以。 LDA生成文檔的過程中，先從dirichlet先驗中“隨機”抽取出主題分布，然后從主題分布中“隨機”抽取出主題。最后從確定后的主題相應的詞分布中“隨機”抽取出詞。

    那么，dirichlet先驗究竟是怎樣“隨機”抽取主題分布的呢？

    事實上。從dirichlet分布中隨機抽取主題分布，這個過程不是全然隨機的。

為了說清晰這個問題，咱們得回想下dirichlet分布。事實上。假設我們取3個事件的話，能夠建立一個三維坐標系。相似xyz三維坐標系，這里。我們把3個坐標軸弄為p1、p2、p3，例如以下圖所看到的：

    在這個三維坐標軸所划分的空間里，每一個坐標點(p1,p2,p3)就相應着一個主題分布。且某一個點(p1,p2,p3)的大小表示3個主題z1、z2、z3出現的概率大小（由於各個主題出現的概率和為1。所以p1+p2+p3 = 1，且p1、p2、p3這3個點最大取值為1）。比方(p1,p2,p3) = (0.4,0.5,0.1)便相應着主題分布{ P(zi), i =1,2,3 } = {0.4,0.5,0.1}。

    能夠想象到，空間里有非常多這樣的點(p1,p2,p3)。意味着有非常多的主題分布可供選擇，那dirichlet分布怎樣選擇主題分布呢？把上面的斜三角形放倒。映射究竟面的平面上，便得到例如以下所看到的的一些彩圖（3個彩圖中，每一個點相應一個主題分布，高度代表某個主題分布被dirichlet分布選中的概率。且選不同的。dirichlet 分布會偏向不同的主題分布）：

    我們來看上圖中左邊這個圖，高度就是代表dirichlet分布選取某個坐標點(p1,p2,p3)（這個點就是一個主題分布）的概率大小。例如以下圖所看到的，平面投影三角形上的三個頂點上的點：A=(0.9,0.05,0.05)、B=(0.05,0.9,0.05)、C=(0.05,0.05,0.9)各自相應的主題分布被dirichlet分布選中的概率值非常大。而平面三角形內部的兩個點：D、E相應的主題分布被dirichlet分布選中的概率值非常小。

    所以盡管說dirichlet分布是隨機選取隨意一個主題分布的，但依舊存在着P(A) = P(B) = P(C) >> P(D) = P(E)。即dirichlet分布還是“偏愛”某些主題分布的。至於dirichlet分布的參數 是怎樣決定dirichlet分布的形狀的。能夠從dirichlet分布的定義和公式思考。

    此外。就算說“隨機”選主題也是依據主題分布來“隨機”選取。這里的隨機不是全然隨機的意思，而是依據各個主題出現的概率值大小來抽取。比方當dirichlet先驗為文檔d生成的主題分布{ P(zi), i =1,2,3 }是{0.4,0.5,0.1}時，那么主題z2在文檔d中出現的概率便是0.5。所以。從主題分布中抽取主題，這個過程也不是全然隨機的。而是依照各個主題出現的概率值大小進行抽取。

4.3.3 pLSA跟LDA的概率圖對照

    接下來，對照下LDA跟pLSA的概率模型圖模型，左圖是pLSA。右圖是LDA（右圖不太規范，z跟w都得是小寫。 當中，陰影圓圈表示可觀測的變量。非陰影圓圈表示隱變量，箭頭表示兩變量間的條件依賴性conditional dependency，方框表示反復抽樣，方框右下角的數字代表反復抽樣的次數）：

             

    相應到上面右圖的LDA，僅僅有W / w是觀察到的變量，其它都是隱變量或者參數。當中。Φ表示詞分布，Θ表示主題分布，  是主題分布Θ的先驗分布（即Dirichlet 分布）的參數。 是詞分布Φ的先驗分布（即Dirichlet 分布）的參數，N表示文檔的單詞總數，M表示文檔的總數。

    所以，對於一篇文檔d中的每一個單詞，LDA依據先驗知識 確定某篇文檔的主題分布θ，然后從該文檔所相應的多項分布（主題分布）θ中抽取一個主題z，接着依據先驗知識 確定當前主題的詞語分布ϕ，然后從主題z所相應的多項分布（詞分布）ϕ中抽取一個單詞w。然后將這個過程反復N次。就產生了文檔d。

    換言之：

1. 假定語料庫中共同擁有M篇文章，每篇文章下的Topic的主題分布是一個從參數為的Dirichlet先驗分布中採樣得到的Multinomial分布。每一個Topic下的詞分布是一個從參數為的Dirichlet先驗分布中採樣得到的Multinomial分布。

2. 對於某篇文章中的第n個詞，首先從該文章中出現的每一個主題的Multinomial分布（主題分布）中選擇或採樣一個主題，然后再在這個主題相應的詞的Multinomial分布（詞分布）中選擇或採樣一個詞。不斷反復這個隨機生成過程，直到M篇文章全部生成完畢。

    綜上，M 篇文檔會相應於 M 個獨立的 Dirichlet-Multinomial 共軛結構。K 個 topic 會相應於 K 個獨立的 Dirichlet-Multinomial 共軛結構。

• 當中。→θ→z 表示生成文檔中的全部詞相應的主題，顯然 →θ 相應的是Dirichlet 分布，θ→z 相應的是 Multinomial 分布。所以總體是一個 Dirichlet-Multinomial 共軛結構。例如以下圖所看到的：

• 相似的，→φ→w，easy看出， 此時β→φ相應的是 Dirichlet 分布， φ→w 相應的是 Multinomial 分布， 所以總體也是一個Dirichlet-Multinomial 共軛結構，例如以下圖所看到的：
  

4.3.4 pLSA跟LDA參數預計方法的對照

    上面對照了pLSA跟LDA生成文檔的不同過程，以下，咱們反過來，假定文檔已經產生，反推其主題分布。那么，它們預計未知參數所採用的方法又有什么不同呢？

• 在pLSA中，我們使用EM算法去預計“主題-詞項”矩陣Φ（由轉換得到）和“文檔-主題”矩陣Θ（由轉換得到）這兩個參數，而且這兩參數都是個固定的值。僅僅是未知，使用的思想事實上就是極大似然預計MLE。
• 而在LDA中，預計Φ、Θ這兩未知參數能夠用變分(Variational inference)-EM算法，也能夠用gibbs採樣，前者的思想是最大后驗預計MAP（MAP與MLE相似，都把未知參數當作固定的值），后者的思想是貝葉斯預計。貝葉斯預計是對MAP的擴展，但它與MAP有着本質的不同。即貝葉斯預計把待預計的參數看作是服從某種先驗分布的隨機變量。

• 關於貝葉斯預計再舉個樣例。假設中國的大學僅僅有兩種：理工科和文科，這兩種學校數量的比例是1:1。當中，理工科男女比例7:1，文科男女比例1:7。某天你被外星人隨機扔到一個校園，問你該學校可能的男女比例是多少？然后，你實際到該校園里逛了一圈，看到的5個人全是男的。這時候再次問你這個校園的男女比例是多少？
1. 由於剛開始時，有先驗知識，所以該學校的男女比例要么是7:1。要么是1:7，即P(比例為7:1) = 1/2，P(比例為1:7) = 1/2。
2. 然后看到5個男生后又一次預計男女比例。事實上就是求P(比例7:1|5個男生）= ？，P(比例1:7|5個男生) = ？
3. 用貝葉斯公式，可得：P(比例7:1|5個男生) = P(比例7:1)*P(5個男生|比例7:1) / P(5個男生)，P(5個男生)是5個男生的先驗概率。與學校無關，所以是個常數；相似的，P(比例1:7|5個男生) = P((比例1:7)*P(5個男生|比例1:7)/P(5個男生)。
4. 最后將上述兩個等式比一下。可得：P(比例7:1|5個男生)/P(比例1:7|5個男生) = {P((比例7:1)*P(5個男生|比例7:1)} / { P(比例1:7)*P(5個男生|比例1:7)}。

    由於LDA把要預計的主題分布和詞分布看作是其先驗分布是Dirichlet分布的隨機變量，所以， 在LDA這個預計主題分布、詞分布的過程中，它們的先驗分布（即Dirichlet分布）事先由人為給定，那么LDA就是要去求它們的后驗分布（LDA中可用gibbs採樣去求解它們的后驗分布。得到期望、）！

   此外，不厭其煩的再插一句，在LDA中，主題分布和詞分布本身都是多項分布，而由上文3.2節可知“Dirichlet分布是多項式分布的共軛先驗概率分布”。因此選擇Dirichlet 分布作為它們的共軛先驗分布。意味着為多項分布的參數p選取的先驗分布是Dirichlet分布，那么以p為參數的多項分布用貝葉斯預計得到的后驗分布仍然是Dirichlet分布。

4.3.5 LDA參數預計：Gibbs採樣

    理清了LDA中的物理過程，以下咱們來看下怎樣學習預計。

    相似於pLSA。LDA的原始論文中是用的變分-EM算法預計未知參數，后來發現還有一種預計LDA未知參數的方法更好，這樣的方法就是：Gibbs Sampling，有時叫Gibbs採樣或Gibbs抽樣。都一個意思。Gibbs抽樣是馬爾可夫鏈蒙特卡爾理論（MCMC）中用來獲取一系列近似等於指定多維概率分布（比方2個或者多個隨機變量的聯合概率分布）觀察樣本的算法。

    OK，給定一個文檔集合。w是能夠觀察到的已知變量，和是依據經驗給定的先驗參數，其它的變量z，θ和φ都是未知的隱含變量，須要依據觀察到的變量來學習預計的。依據LDA的圖模型，能夠寫出全部變量的聯合分布：

    注：上述公式中及下文中。等價上文中定義的。等價於上文中定義的。等價於上文中定義的。等價於上文中定義的。

    由於產生主題分布θ，主題分布θ確定詳細主題，且產生詞分布φ、詞分布φ確定詳細詞，所以上述式子等價於下述式子所表達的聯合概率分布：

    當中，第一項因子表示的是依據確定的主題和詞分布的先驗分布參數採樣詞的過程，第二項因子是依據主題分布的先驗分布參數採樣主題的過程，這兩項因子是須要計算的兩個未知參數。

    由於這兩個過程是獨立的。所以以下能夠分別處理。各個擊破。

    第一個因子，能夠依據確定的主題和從先驗分布取樣得到的詞分布Φ產生：

    由於樣本中的詞服從參數為主題的獨立多項分布，這意味着能夠把上面對詞的乘積分解成分別對主題和對詞的兩層乘積：

    當中，是詞 t 在主題 k 中出現的次數。

    回到第一個因子上來。

目標分布須要對詞分布Φ積分。且結合我們之前在3.1節定義的Dirichlet 分布的歸一化系數的公式

    可得：

    這個結果能夠看作K個Dirichlet-Multinomial模型的乘積。
    如今開始求第二個因子。相似於的步驟。先寫出條件分布，然后分解成兩部分的乘積：

    當中。 表示的單詞 i 所屬的文檔，是主題 k 在文章 m 中出現的次數。

    對主題分布Θ積分可得：

    綜合第一個因子和第二個因子的結果，得到的聯合分布結果為：

    接下來， 有了聯合分布。咱們便能夠通過聯合分布來計算在給定可觀測變量 w 下的隱變量 z 的條件分布（后驗分布）來進行貝葉斯分析。

    換言之，有了這個聯合分布后，要求解第m篇文檔中的第n個詞（下標為 的詞）的全部條件概率就好求了。

    先定義幾個變量。 表示除去 的詞。 ， 。

    然后。排除當前詞的主題分配。即依據其它詞的主題分配和觀察到的單詞來計算當前詞主題的概率公式為：

    勘誤：考慮到 ，所以上述公式的第二行的分子，非p(w,z) *p(z)。而是p(w|z)*p(z)。

    且有：

    最后一步，便是依據Markov鏈的狀態 獲取主題分布的參數Θ和詞分布的參數Φ。

    換言之依據貝葉斯法則和Dirichlet先驗，以及上文中得到的 和 各自被分解成兩部分乘積的結果，能夠計算得到 每一個文檔上Topic的后驗分布和每一個Topic下的詞的后驗分布分別例如以下（據上文可知： 其后驗分布跟它們的先驗分布一樣，也都是 Dirichlet 分布 ）：

    當中， 是構成文檔m的主題數向量， 是構成主題k的詞項數向量。

    此外，別忘了上文中2.4節所述的Dirichlet的一個性質，例如以下：

     “ 假設，相同能夠證明有下述結論成立：

    即：假設 。則 中的任一元素 的期望是：

    能夠看出。超參數 的直觀意義就是事件先驗的偽計數(prior pseudo-count)。

 ”
    所以，終於求解的Dirichlet 分布期望為：

    然后將 和 的結果代入之前得到的 的結果中，可得：

    細致觀察上述結果。能夠發現，式子的右半部分便是 ，這個概率的值相應着 的路徑概率。

如此，K 個topic 相應着K條路徑，Gibbs Sampling 便在這K 條路徑中進行採樣。例如以下圖所看到的：

    何等奇異。就這樣，Gibbs Sampling通過求解出主題分布和詞分布的后驗分布，從而成功解決主題分布和詞分布這兩參數未知的問題。

5 讀者微評

    本文發表后。部分熱心的讀者在微博上分享了他們自己理解LDA的心得。也歡迎很多其它朋友分享你的理解心得（比方評論在本文下，或評論在 微博上），從而在分享、討論的過程中讓很多其它人能夠更好的理解：

1. @SiNZeRo：lda 假設用em就是 map預計了. lda本意是要去找后驗分布 然后拿后驗分布做bayesian分析. 比方theta的期望 . 而不是把先驗作為正則化引入。最后一點gibbs sampling事實上不是求解的過程 是去explore后驗分布 去採樣 用於求期望.
   
2. @研究者July：好問題好建議 ，這幾天我陸續完好下！//@帥廣應s：LDA這個東西該怎么用？能夠用在哪些地方？還有就是Gibbs抽樣的原理是什么？代碼怎么實現？假設用EM來做，代碼怎么實現？ LDA模型的變形和優化有哪些？LDA不適用於解決哪類的問題？總之，不明確怎么用，參數怎么調優？ 
3. @xiangnanhe：寫的非常好，4.1.3節中的那兩個圖非常贊，非常直觀的理解了LDA模型加了先驗之后在學參數的時候要比PLSI更靈活；PLSI在學參數的過程中比較easy陷入local minimum然后overfitting。
   
4. @asker2：不管是pLSA中，還是LDA中，主題分布和詞分布本身是固定的存在，但都未知。

   pLSA跟LDA的差別在於，去探索這兩個未知參數的方法或思想不一樣。

   pLSA是求到一個能擬合文本最好的參數（分布），這個值就覺得是真實的參數。

   但LDA覺得，事實上我們沒法去全然求解出主題分布、詞分布究竟是什么參數，我們僅僅能把它們當成隨機變量。通過縮小其方差（變化度）來盡量讓這個隨機變量變得更“確切”。換言之，我們不再求主題分布、詞分布的詳細值，而是通過這些分布生成的觀測值（即實際文本）來反推分布的參數的范圍，即在什么范圍比較可能，在什么范圍不太可能。所以，事實上這就是一種貝葉斯分析的思想，盡管無法給出真實值詳細是多少。但能夠依照經驗給一個相對合理的真實值服從的先驗分布。然后從先驗出發求解其后驗分布。

5. ..

6 參考文獻與推薦閱讀

1. Blei, David M.; Ng, Andrew Y.; Jordan, Michael I. Latent Dirichlet allocation（LDA原始論文）：http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf。
2. Blei. Probabilistic Topic Models：http://www.cs.princeton.edu/~blei/papers/Blei2012.pdf，一網友的翻譯：http://www.cnblogs.com/siegfang/archive/2013/01/30/2882391.html。
3. 一堆wikipedia，比方隱含狄利克雷分布LDA的wiki：http://zh.wikipedia.org/wiki/%E9%9A%90%E5%90%AB%E7%8B%84%E5%88%A9%E5%85%8B%E9%9B%B7%E5%88%86%E5%B8%83，狄利克雷分布的wiki：http://zh.wikipedia.org/wiki/%E7%8B%84%E5%88%A9%E5%85%8B%E9%9B%B7%E5%88%86%E5%B8%83。
4. 從貝葉斯方法談到貝葉斯網絡 ；
5. rickjin的LDA數學八卦（力薦，本文部分圖片和公式來自於此文檔）網頁版：http://www.flickering.cn/tag/lda/。PDF版：http://emma.memect.com/t/9756da9a47744de993d8df13a26e04e38286c9bc1c5a0d2b259c4564c6613298/LDA；
6. Thomas Hofmann.Probabilistic Latent Semantic Indexing（pLSA原始論文）：http://cs.brown.edu/~th/papers/Hofmann-SIGIR99.pdf；
7. Gregor Heinrich.Parameter estimation for text analysis（關於Gibbs 採樣最精准細致的論述）：http://www.arbylon.net/publications/text-est.pdf；
8. Probabilistic latent semantic analysis (pLSA)：http://blog.tomtung.com/2011/10/plsa/http://blog.tomtung.com/2011/10/plsa/。
9. 《概率論與數理統計教程第二版 茆詩松等人著》。假設忘了相關統計分布。建議復習此書或此文第二部分；
10. 《支持向量機通俗導論：理解SVM的三層境地》。第二部分關於拉格朗日函數的討論；
11. 機器學習班第11次課上，鄒博講EM & GMM的PPT：http://pan.baidu.com/s/1i3zgmzF；
12. 機器學習班第12次課上。鄒博講主題模型LDA的PPT：http://pan.baidu.com/s/1jGghtQm；
13. 主題模型之pLSA：http://blog.jqian.net/post/plsa.html。
14. 主題模型之LDA：http://blog.jqian.net/post/lda.html；
15. 搜索背后的奧秘——淺談語義主題計算：http://www.semgle.com/search-engine-algorithms-mystery-behind-search-on-the-calculation-of-semantic-topic；
    
16. LDA的EM推導：http://www.cnblogs.com/hebin/archive/2013/04/25/3043575.html；
17. Machine Learning讀書會第8期上，沈博講主題模型的PPT：http://vdisk.weibo.com/s/zrFL6OXKgKMAf；
18. Latent Dirichlet Allocation （LDA）- David M.Blei：http://www.xperseverance.net/blogs/2012/03/17/。
    
19. 用GibbsLDA做Topic Modeling：http://weblab.com.cityu.edu.hk/blog/luheng/2011/06/24/%E7%94%A8gibbslda%E5%81%9Atopic-modeling/#comment-87；
    
20. 主題模型在文本挖掘中的應用：http://net.pku.edu.cn/~zhaoxin/Topic-model-xin-zhao-wayne.pdf；
21. 二項分布和多項分布，beta分布的對照：http://www.cnblogs.com/wybang/p/3206719.html；
22. LDA簡介：http://cos.name/2010/10/lda_topic_model/；
23. LDA的相關論文、工具庫：http://site.douban.com/204776/widget/notes/12599608/note/287085506/。
24. 一個網友學習LDA的心得：http://www.xuwenhao.com/2011/03/20/suggestions-for-programmers-to-learn-lda/。
25. http://blog.csdn.net/hxxiaopei/article/details/7617838；
    
26. 主題模型LDA及其在微博推薦&廣告算法中的應用：http://www.wbrecom.com/?

    p=136。
    

27. LDA發明人之中的一個Blei 寫的畢業論文：http://www.cs.princeton.edu/~blei/papers/Blei2004.pdf；
    
28. LDA的一個C實現：http://www.cs.princeton.edu/~blei/lda-c/index.html。
29. LDA的一些其它資料：http://www.xperseverance.net/blogs/2012/03/657/。

7 后記

    這個LDA的筆記從11月17日下午開始動筆。到21日基本寫完，25日基本改完。前前后后。基本寫完 + 基本改完，總共花了近10 天的時間，后面還得不斷完好。

前5天就像在樹林里中行走，要走的慷慨向非常明確，但在選取哪條小道上則頗費了一番周折，但當最后走出了樹林。登上山頂，俯瞰整個森林時，奧，原來它就長這樣，會有一種徹爽的感覺！

而后5 天。則慢慢開始接近LDA的本質：pLSA的貝葉斯版本號。

    寫作過程艱難但結果透徹，也希望讀者能享受到當中。

    最后，再次感謝本文最基本的參考：LDA原始論文、pLSA原始論文、LDA數學八卦、機器學習班第12次課主題模型PPT。和Parameter estimation for text analysis等等的作者們（本文中大部分的圖片、公式截取自這些參考資料上），由於有他們的創造或分享。我才有機會理解和再加工LDA，終於讓本文得以成文。

    興許幾天會不斷改動完好本文，若有不論什么問題。可在本文下評論，thanks。

    July、二零一四年十一月二十一日。