本文轉自：v_JULY_v
- 前言
- gamma函數
- 0 整體把握LDA
- 1 gamma函數
- beta分布
- 1 beta分布
- 2 Beta-Binomial 共軛
- 3 共軛先驗分布
- 4 從beta分布推廣到Dirichlet 分布
- Dirichlet 分布
- 1 Dirichlet 分布
- 2 Dirichlet-Multinomial 共軛
- 主題模型LDA
- 1 各個基礎模型
- 11 Unigram model
- 12 Mixture of unigrams model
- 2 PLSA模型
- 21 pLSA模型下生成文檔
- 21 根據文檔反推其主題分布
- 211 EM算法的簡單介紹
- 212 EM算法估計pLSA的兩未知參數
- 3 LDA模型
- 31 pLSA跟LDA的對比生成文檔與參數估計
- 32 LDA生成文檔過程的進一步理解
- 33 pLSA跟LDA的概率圖對比
- 34 pLSA跟LDA參數估計方法的對比
- 35 LDA參數估計Gibbs采樣
- 讀者微評
- 參考文獻與推薦閱讀
- 后記
0 前言
印象中，最開始聽說“LDA”這個名詞，是緣於rickjin在2013年3月寫的一個LDA科普系列，叫LDA數學八卦，我當時一直想看來着，記得還打印過一次，但不知是因為這篇文檔的前序鋪墊太長（現在才意識到這些“鋪墊”都是深刻理解LDA 的基礎，但如果沒有人幫助初學者提綱挈領、把握主次、理清思路，則很容易陷入LDA的細枝末節之中），還是因為其中的數學推導細節太多，導致一直沒有完整看完過。
2013年12月，在我組織的Machine Learning讀書會第8期上，@夏粉_百度 講機器學習中排序學習的理論和算法研究，@沈醉2011 則講主題模型的理解。又一次碰到了主題模型，當時貌似只記得沈博講了一個汪峰寫歌詞的例子，依然沒有理解LDA到底是怎樣一個東西（但理解了LDA之后，再看沈博主題模型的PPT會很贊）。
直到昨日下午，機器學習班 第12次課上，鄒講完LDA之后，才真正明白LDA原來是那么一個東東！上完課后，趁熱打鐵，再次看LDA數學八卦，發現以前看不下去的文檔再看時竟然一路都比較順暢，一口氣看完大部。看完大部后，思路清晰了，知道理解LDA，可以分為下述5個步驟：
- 一個函數：gamma函數
- 四個分布：二項分布、多項分布、beta分布、Dirichlet分布
- 一個概念和一個理念：共軛先驗和貝葉斯框架
- 兩個模型：pLSA、LDA（在本文第4 部分闡述）
- 一個采樣：Gibbs采樣
本文便按照上述5個步驟來闡述，希望讀者看完本文后，能對LDA有個盡量清晰完整的了解。同時，本文基於鄒講LDA的PPT、rickjin的LDA數學八卦及其它參考資料寫就，可以定義為一篇學習筆記或課程筆記，當然，后續不斷加入了很多自己的理解。若有任何問題，歡迎隨時於本文評論下指出，thanks。
1 gamma函數
1.0 整體把握LDA
關於LDA有兩種含義，一種是線性判別分析（Linear Discriminant Analysis），一種是概率主題模型：隱含狄利克雷分布（Latent Dirichlet Allocation，簡稱LDA），本文講后者。
另外，我先簡單說下LDA的整體思想，不然我怕你看了半天，鋪了太長的前奏，卻依然因沒見到LDA的影子而顯得“心浮氣躁”，導致不想再繼續看下去。所以，先給你吃一顆定心丸，明白整體框架后，咱們再一步步抽絲剝繭，展開來論述。
按照wiki上的介紹，LDA由Blei, David M.、Ng, Andrew Y.、Jordan於2003年提出，是一種主題模型，它可以將文檔集 中每篇文檔的主題以概率分布的形式給出，從而通過分析一些文檔抽取出它們的主題（分布）出來后，便可以根據主題（分布）進行主題聚類或文本分類。同時，它是一種典型的詞袋模型，即一篇文檔是由一組詞構成，詞與詞之間沒有先后順序的關系。
此外，一篇文檔可以包含多個主題，文檔中每一個詞都由其中的一個主題生成。
人類是怎么生成文檔的呢？LDA的這三位作者在原始論文中給了一個簡單的例子。比如假設事先給定了這幾個主題：Arts、Budgets、Children、Education，然后通過學習訓練，獲取每個主題Topic對應的詞語。如下圖所示：
然后以一定的概率選取上述某個主題，再以一定的概率選取那個主題下的某個單詞，不斷的重復這兩步，最終生成如下圖所示的一篇文章（其中不同顏色的詞語分別對應上圖中不同主題下的詞）：
- 從狄利克雷分布
中取樣生成文檔 i 的主題分布
- 從主題的多項式分布中取樣生成文檔i第 j 個詞的主題
- 從狄利克雷分布
中取樣生成主題對應的詞語分布
- 從詞語的多項式分布中采樣最終生成詞語
其中，類似Beta分布是二項式分布的共軛先驗概率分布，而狄利克雷分布（Dirichlet分布）是多項式分布的共軛先驗概率分布。
此外，LDA的圖模型結構如下圖所示（類似貝葉斯網絡結構）：
恩，不錯，短短6句話整體概括了整個LDA的主體思想！但也就是上面短短6句話，卻接連不斷或重復出現了二項分布、多項式分布、beta分布、狄利克雷分布（Dirichlet分布）、共軛先驗概率分布、取樣，那么請問，這些都是啥呢？
這里先簡單解釋下二項分布、多項分布、beta分布、Dirichlet 分布這4個分布。
- 二項分布（Binomial distribution）。
二項分布是從伯努利分布推進的。伯努利分布，又稱兩點分布或0-1分布，是一個離散型的隨機分布，其中的隨機變量只有兩類取值，非正即負{+，-}。而二項分布即重復n次的伯努利試驗，記為 
。簡言之，只做一次實驗，是伯努利分布，重復做了n次，是二項分布。二項分布的概率密度函數為：
是二項式系數（這就是二項分布的名稱的由來），又記為
。回想起高中所學的那丁點概率知識了么：想必你當年一定死記過這個二項式系數
就是
。
- 多項分布，是二項分布擴展到多維的情況。
- Beta分布，二項分布的共軛先驗分布。
和
，取值范圍為[0,1]的隨機變量 x 的概率密度函數
：
：
，
。
便是所謂的gamma函數，下文會具體闡述。
- Dirichlet分布，是beta分布在高維度上的推廣。
OK，接下來，咱們就按照本文開頭所說的思路：“一個函數：gamma函數，四個分布：二項分布、多項分布、beta分布、Dirichlet分布，外加一個概念和一個理念：共軛先驗和貝葉斯框架，兩個模型：pLSA、LDA（文檔-主題，主題-詞語），一個采樣：Gibbs采樣”一步步詳細闡述，爭取給讀者一個盡量清晰完整的LDA。
（當然，如果你不想深究背后的細節原理，只想整體把握LDA的主體思想，可直接跳到本文第4 部分，看完第4部分后，若還是想深究背后的細節原理，可再回到此處開始看）
1.1 gamma函數
咱們先來考慮一個問題（此問題1包括下文的問題2-問題4皆取材自LDA數學八卦）：
- 問題1 隨機變量
- 把這n 個隨機變量排序后得到順序統計量
- 然后請問
的分布是什么。
為解決這個問題，可以嘗試計算落在區間[x,x+Δx]的概率。即求下述式子的值：
首先，把 [0,1] 區間分成三段 [0,x)，[x,x+Δx]，(x+Δx,1]，然后考慮下簡單的情形：即假設n 個數中只有1個落在了區間 [x,x+Δx]內，由於這個區間內的數X(k)是第k大的，所以[0,x)中應該有 k−1 個數，(x+Δx,1] 這個區間中應該有n−k 個數。如下圖所示：
種組合，所以和事件E等價的事件一共有
個。
的概率密度函數
為：
至此，本節開頭提出的問題得到解決。然仔細觀察的概率密度函數，發現式子的最終結果有階乘，聯想到階乘在實數上的推廣函數：
兩者結合是否會產生奇妙的效果呢？考慮到具有如下性質：
故將
代入到的概率密度函數中，可得：
然后取
，
，轉換得到：
如果熟悉beta分布的朋友，可能會驚呼：哇，竟然推出了beta分布！
2 beta分布
2.1 beta分布
區間的連續概率分布，有兩個參數
和
，且
。
便是
函數：
的beta分布通常寫作：
。
2.2 Beta-Binomial 共軛
，把這n 個隨機變量排序后得到順序統計量
，然后請問
的分布是什么。” 如果，咱們要在這個問題的基礎上增加一些觀測數據，變成
問題2：
- ，對應的順序統計量是，需要猜測
； 
， 
中有
個比p小，
個比
大；- 那么，請問
的分布是什么。
個比
小，
個比
大”，換言之，Yi中有
個比
小，
個比
大，所以
是
中第
大的數。
的概率密度函數為：
- 為了猜測，在獲得一定的觀測數據前，我們對的認知是：
，此稱為的先驗分布； - 然后為了獲得這個結果“ 中有個比p小，個比大”，針對是做了
次貝努利實驗，所以服從二項分布
； - 在給定了來自數據提供的
的知識后，的后驗分布變為
。
- 先驗分布
+ 樣本信息
后驗分布
的認知是先驗分布
，在得到新的樣本信息
后，人們對
的認知為
。
對應的是二項分布
的計數。
和
，我們有如下關系
針對於這種觀測到的數據符合二項分布，參數的先驗分布和后驗分布都是Beta分布的情況，就是Beta-Binomial共軛。換言之，Beta分布是二項式分布的共軛先驗概率分布。
二項分布和Beta分布是共軛分布意味着，如果我們為二項分布的參數p選取的先驗分布是Beta分布，那么以p為參數的二項分布用貝葉斯估計得到的后驗分布仍然服從Beta分布。
和
所表達的意義呢？
、
可以認為形狀參數，通俗但不嚴格的理解是，
和
共同控制Beta分布的函數“長的樣子”：形狀千奇百怪，高低胖瘦，如下圖所示：
2.3 共軛先驗分布
- 可否根據新觀測數據X，更新參數θ？
- 根據新觀測數據可以在多大程度上改變參數θ，即
- 當重新估計θ的時候，給出新參數值θ的新概率分布，即P(θ|x)。
所以，如果我們選取P(x|θ)的共軛先驗作為P(θ)的分布，那么P(x|θ)乘以P(θ)，然后歸一化的結果P(θ|x)跟和P(θ)的形式一樣。換句話說，先驗分布是P(θ)，后驗分布是P(θ|x)， 先驗分布跟后驗分布同屬於一個分布族，故稱該分布族是θ的共軛先驗分布（族）。
和
，稱為超參數（hyperparameters）。且這兩個參數決定了θ參數，其Beta分布形式為
2.4 從beta分布推廣到Dirichlet 分布
，則有：
，而對於這個分布有
從而求得
的計算式，得到：
最后的這個結果意味着對於Beta 分布的隨機變量，其均值（期望）可以用
來估計。此外，狄利克雷Dirichlet 分布也有類似的結論，即如果
，同樣可以證明有下述結論成立：
那什么是Dirichlet 分布呢？簡單的理解Dirichlet 分布就是一組連續多變量概率分布，是多變量普遍化的beta分布。為了紀念德國數學家約翰·彼得·古斯塔夫·勒熱納·狄利克雷（Peter Gustav Lejeune Dirichlet）而命名。狄利克雷分布常作為貝葉斯統計的先驗概率。
3 Dirichlet 分布
3.1 Dirichlet 分布
根據wikipedia上的介紹，維度K ≥ 2（x1,x2…xK-1維，共K個）的狄利克雷分布在參數α1, ..., αK > 0上、基於歐幾里得空間RK-1里的勒貝格測度有個概率密度函數，定義為：
其中，
相當於是多項beta函數
且
此外，x1+x2+…+xK-1+xK=1，x1,x2…xK-1>0，且在(K-1)維的單純形上，其他區域的概率密度為0。
當然，也可以如下定義Dirichlet 分布
其中的
稱為Dirichlet 分布的歸一化系數：
3.2 Dirichlet-Multinomial 共軛
下面，在2.2節問題2的基礎上繼續深入，引出問題3。
- ，
- 排序后對應的順序統計量
, - 問
的聯合分布是什么？
從而有：
繼而得到於是我們得到的聯合分布為：
觀察上述式子的最終結果，可以看出上面這個分布其實就是3維形式的 Dirichlet 分布
令
，於是分布密度可以寫為
這個就是一般形式的3維 Dirichlet 分布，即便
延拓到非負實數集合，以上概率分布也是良定義的。
將Dirichlet分布的概率密度函數取對數，繪制對稱Dirichlet分布的圖像如下圖所示（截取自wikipedia上）：
上圖中，取K=3，也就是有兩個獨立參數x1,x2，分別對應圖中的兩個坐標軸，第三個參數始終滿足x3=1-x1-x2且α1=α2=α3=α，圖中反映的是參數α從α=(0.3, 0.3, 0.3)變化到(2.0, 2.0, 2.0)時的概率對數值的變化情況。
為了論證Dirichlet分布是多項式分布的共軛先驗概率分布，下面咱們繼續在上述問題3的基礎上再進一步，提出問題4。
- 問題4
，排序后對應的順序統計量
- 令
,
,
（此處的p3非變量，只是為了表達方便），現在要猜測
； 
，Yi中落到
，
，
三個區間的個數分別為 m1,m2,m3，m=m1+m2+m3；- 問后驗分布
的分布是什么。
為了方便討論，記
，及
，根據已知條件“，Yi中落到，， 三個區間的個數分別為 m1,m2”，可得
、
分別是這m+n個數中第
大、第
大的數。於是，后驗分布
應該為
，即一般化的形式表示為：
。
同樣的，按照貝葉斯推理的邏輯，可將上述過程整理如下：
- 我們要猜測參數
，其先驗分布為
； - 數據Yi落到三個區間，， 的個數分別為
，所以
服從多項分布
- 在給定了來自數據提供的知識
后，
的后驗分布變為
上述貝葉斯分析過程的直觀表述為：
令
，可把
從整數集合延拓到實數集合，從而得到更一般的表達式如下：
和
，其多項分布為：
和多項分布
是共軛關系。
4 主題模型LDA
在開始下面的旅程之前，先來總結下我們目前所得到的最主要的幾個收獲：
- 通過上文的第2.2節，我們知道beta分布是二項式分布的共軛先驗概率分布：
- “對於非負實數和，我們有如下關系
其中
- 通過上文的3.2節，我們知道狄利克雷分布（Dirichlet分布）是多項式分布的共軛先驗概率分布：
- “ 把從整數集合延拓到實數集合，從而得到更一般的表達式如下：
針對於這種觀測到的數據符合多項分布，參數的先驗分布和后驗分布都是Dirichlet 分布的情況，就是 Dirichlet-Multinomial 共軛。 ”
-
以及貝葉斯派思考問題的固定模式：
- 先驗分布 + 樣本信息 后驗分布
上述思考模式意味着，新觀察到的樣本信息將修正人們以前對事物的認知。換言之，在得到新的樣本信息之前，人們對的認知是先驗分布
，在得到新的樣本信息
后，人們對
的認知為
。
- 先驗分布
- 順便提下頻率派與貝葉斯派各自不同的思考方式：
- 頻率派把需要推斷的參數θ看做是固定的未知常數，即概率
雖然是未知的，但最起碼是確定的一個值，同時，樣本X 是隨機的，所以頻率派重點研究樣本空間，大部分的概率計算都是針對樣本X 的分布； - 而貝葉斯派的觀點則截然相反，他們認為待估計的參數是隨機變量，服從一定的分布，而樣本X 是固定的，由於樣本是固定的，所以他們重點研究的是參數的分布。
- 頻率派把需要推斷的參數θ看做是固定的未知常數，即概率
OK，在殺到終極boss——LDA模型之前，再循序漸進理解基礎模型：Unigram model、mixture of unigrams model，以及跟LDA最為接近的pLSA模型。
為了方便描述，首先定義一些變量：
表示詞，
表示所有單詞的個數（固定值）
表示主題，
是主題的個數（預先給定，固定值）
表示語料庫，其中的
是語料庫中的文檔數（固定值）
表示文檔，其中的
表示一個文檔中的詞數（隨機變量）
4.1 各個基礎模型
4.1.1 Unigram model
對於文檔，用
表示詞
的先驗概率，生成文檔
的概率為：
其圖模型為（圖中被塗色的w表示可觀測變量，N表示一篇文檔中總共N個單詞，M表示M篇文檔）：
或為：
unigram model假設文本中的詞服從Multinomial分布，而我們已經知道Multinomial分布的先驗分布為Dirichlet分布。
上圖中的
表示在文本中觀察到的第n個詞，n∈[1,N]表示該文本中一共有N個單詞。加上方框表示重復，即一共有N個這樣的隨機變量。其中，p和α是隱含未知變量：
- p是詞服從的Multinomial分布的參數
- α是Dirichlet分布（即Multinomial分布的先驗分布）的參數。
一般α由經驗事先給定，p由觀察到的文本中出現的詞學習得到，表示文本中出現每個詞的概率。
4.1.2 Mixture of unigrams model
，再根據該主題生成文檔，該文檔中的所有詞都來自一個主題。假設主題有
，生成文檔的概率為：
4.2 PLSA模型
4.2.1 pLSA模型下生成文檔
- 1. 假設你每寫一篇文檔會制作一顆K面的“文檔-主題”骰子（扔此骰子能得到K個主題中的任意一個），和K個V面的“主題-詞項” 骰子（每個骰子對應一個主題，K個骰子對應之前的K個主題，且骰子的每一面對應要選擇的詞項，V個面對應着V個可選的詞）。
- 比如可令K=3，即制作1個含有3個主題的“文檔-主題”骰子，這3個主題可以是：教育、經濟、交通。然后令V = 3，制作3個有着3面的“主題-詞項”骰子，其中，教育主題骰子的3個面上的詞可以是：大學、老師、課程，經濟主題骰子的3個面上的詞可以是：市場、企業、金融，交通主題骰子的3個面上的詞可以是：高鐵、汽車、飛機。
- 2. 每寫一個詞，先扔該“文檔-主題”骰子選擇主題，得到主題的結果后，使用和主題結果對應的那顆“主題-詞項”骰子，扔該骰子選擇要寫的詞。
- 先扔“文檔-主題”的骰子，假設（以一定的概率）得到的主題是教育，所以下一步便是扔教育主題篩子，（以一定的概率）得到教育主題篩子對應的某個詞：大學。
- 上面這個投骰子產生詞的過程簡化下便是：“先以一定的概率選取主題，再以一定的概率選取詞”。事實上，一開始可供選擇的主題有3個：教育、經濟、交通，那為何偏偏選取教育這個主題呢？其實是隨機選取的，只是這個隨機遵循一定的概率分布。比如可能選取教育主題的概率是0.5，選取經濟主題的概率是0.3，選取交通主題的概率是0.2，那么這3個主題的概率分布便是{教育：0.5，經濟：0.3，交通：0.2}，我們把各個主題z在文檔d中出現的概率分布稱之為主題分布，且是一個多項分布。
- 同樣的，從主題分布中隨機抽取出教育主題后，依然面對着3個詞：大學、老師、課程，這3個詞都可能被選中，但它們被選中的概率也是不一樣的。比如大學這個詞被選中的概率是0.5，老師這個詞被選中的概率是0.3，課程被選中的概率是0.2，那么這3個詞的概率分布便是{大學：0.5，老師：0.3，課程：0.2}，我們把各個詞語w在主題z下出現的概率分布稱之為詞分布，這個詞分布也是一個多項分布。
- 所以，選主題和選詞都是兩個隨機的過程，先從主題分布{教育：0.5，經濟：0.3，交通：0.2}中抽取出主題：教育，然后從該主題對應的詞分布{大學：0.5，老師：0.3，課程：0.2}中抽取出詞：大學。
- 3. 最后，你不停的重復扔“文檔-主題”骰子和”主題-詞項“骰子，重復N次（產生N個詞），完成一篇文檔，重復這產生一篇文檔的方法M次，則完成M篇文檔。
。同時定義：
表示海量文檔中某篇文檔被選中的概率。
表示詞
在給定文檔
中出現的概率。- 怎么計算得到呢？針對海量文檔，對所有文檔進行分詞后，得到一個詞匯列表，這樣每篇文檔就是一個詞語的集合。對於每個詞語，用它在文檔中出現的次數除以文檔中詞語總的數目便是它在文檔中出現的概率。
表示具體某個主題
在給定文檔下出現的概率。
表示具體某個詞在給定主題
下出現的概率，與主題關系越密切的詞，其條件概率越大。
- 按照概率選擇一篇文檔
- 選定文檔后，從主題分布中按照概率選擇一個隱含的主題類別
- 選定后，從詞分布中按照概率選擇一個詞
4.2.1 根據文檔反推其主題分布
是已知的。
，訓練出文檔-主題
和主題-詞項
，如下公式所示：
由於可事先計算求出，而和未知，所以
就是我們要估計的參數（值），通俗點說，就是要最大化這個θ。
用什么方法進行估計呢，常用的參數估計方法有極大似然估計MLE、最大后驗證估計MAP、貝葉斯估計等等。因為該待估計的參數中含有隱變量z，所以我們可以考慮EM算法。
4.2.1.1 EM算法的簡單介紹
EM算法，全稱為Expectation-maximization algorithm，為期望最大算法，其基本思想是：首先隨機選取一個值去初始化待估計的值
，然后不斷迭代尋找更優的
使得其似然函數likelihood 
比原來的
要大。換言之，假定現在得到了
，想求
，使得
EM的關鍵便是要找到
的一個下界
（注：
，其中，X表示已經觀察到的隨機變量），然后不斷最大化這個下界，通過不斷求解下界的極大化，從而逼近要求解的似然函數。
所以EM算法的一般步驟為：
- 1. 隨機選取或者根據先驗知識初始化；
- 2. 不斷迭代下述兩步
- ①給出當前的參數估計，計算似然函數的下界
- ②重新估計參數θ，即求，使得
- 3. 上述第二步后，如果收斂（即收斂）則退出算法，否則繼續回到第二步。
上述過程好比在二維平面上，有兩條不相交的曲線，一條曲線在上（簡稱上曲線
），一條曲線在下（簡稱下曲線
），下曲線為上曲線的下界。現在對上曲線未知，只已知下曲線，為了求解上曲線的最高點，我們試着不斷增大下曲線，使得下曲線不斷逼近上曲線，下曲線在某一個點達到局部最大值並與上曲線在這點的值相等，記錄下這個值，然后繼續增大下曲線，尋找下曲線上與上曲線上相等的值，迭代到收斂（即收斂）停止，從而利用當前下曲線上的局部最大值當作上曲線的全局最大值（換言之，EM算法不保證一定能找到全局最優值）。如下圖所示：
以下是詳細介紹。
假定有訓練集
，包含m個獨立樣本，希望從中找到該組數據的模型p(x,z)的參數。
然后通過極大似然估計建立目標函數--對數似然函數：
這里，z是隱隨機變量，直接找到參數的估計是很困難的。我們的策略是建立
的下界，並且求該下界的最大值；重復這個過程，直到收斂到局部最大值。
令Qi是z的某一個分布，Qi≥0，且結合Jensen不等式，有：
為了尋找盡量緊的下界，我們可以讓使上述等號成立，而若要讓等號成立的條件則是：
換言之，有以下式子成立：
，且由於有：
所以可得：
最終得到EM算法的整體框架如下：
OK，EM算法還會在本博客后面的博文中具體闡述。接下來，回到pLSA參數的估計問題上。
4.2.1.2 EM算法估計pLSA的兩未知參數
首先嘗試從矩陣的角度來描述待估計的兩個未知變量
和
。
- 假定用
表示詞表
在主題
上的一個多項分布，則
可以表示成一個向量，每個元素
表示詞項
出現在主題中的概率，即
- 用
表示所有主題
在文檔
上的一個多項分布，則
可以表示成一個向量，每個元素
表示主題出現在文檔中的概率，即
這樣，巧妙的把和轉換成了兩個矩陣。換言之，最終我們要求解的參數是這兩個矩陣：
由於詞和詞之間是相互獨立的，所以整篇文檔N個詞的分布為：
再由於文檔和文檔之間也是相互獨立的，所以整個語料庫中詞的分布為（整個語料庫M篇文檔，每篇文檔N個詞）：
其中，
表示詞項在文檔中的詞頻，
表示文檔di中詞的總數，顯然有
。
從而得到整個語料庫的詞分布的對數似然函數（下述公式中有個小錯誤，正確的應該是：N為M，M為N）：
現在，我們需要最大化上述這個對數似然函數來求解參數和。對於這種含有隱變量的最大似然估計，可以使用EM算法。EM算法，分為兩個步驟：先E-step，后M-step。
- E-step：假定參數已知，計算此時隱變量的后驗概率。
利用貝葉斯法則，可以得到：
- M-step：帶入隱變量的后驗概率，最大化樣本分布的對數似然函數，求解相應的參數。
觀察之前得到的對數似然函數
的結果，由於文檔長度
可以單獨計算，所以去掉它不影響最大化似然函數。此外，根據E-step的計算結果，把 
代入，於是我們只要最大化下面這個函數 
即可（下述公式中有個小錯誤，正確的應該是：N為M，M為N）：
這是一個多元函數求極值問題，並且已知有如下約束條件（下述公式中有個小錯誤，正確的應該是：M為N）：
熟悉凸優化的朋友應該知道，一般處理這種帶有約束條件的極值問題，常用的方法便是拉格朗日乘數法，即通過引入拉格朗日乘子將約束條件和多元（目標）函數融合到一起，轉化為無約束條件的極值問題。
這里我們引入兩個拉格朗日乘子
和
，從而寫出拉格朗日函數（下述公式中有個小錯誤，正確的應該是：N為M，M為N）：
因為我們要求解的參數是和，所以分別對和求偏導，然后令偏導結果等於0，得到（下述公式中有個小錯誤，正確的應該是：N為M，M為N）：
消去拉格朗日乘子，最終可估計出參數和（下述公式中有個小錯誤，正確的應該是：N為M，M為N）：
綜上，在pLSA中：
- 由於和未知，所以我們用EM算法去估計這個參數的值。
- 而后，用表示詞項出現在主題中的概率，即
，用表示主題出現在文檔中的概率，即
，從而把轉換成了“主題-詞項”矩陣Φ（主題生成詞），把轉換成了“文檔-主題”矩陣Θ（文檔生成主題）。 - 最終求解出、。
4.3 LDA模型
事實上，理解了pLSA模型，也就差不多快理解了LDA模型，因為LDA就是在pLSA的基礎上加層貝葉斯框架，即LDA就是pLSA的貝葉斯版本（正因為LDA被貝葉斯化了，所以才需要考慮歷史先驗知識，才加的兩個先驗參數）。
4.3.1 pLSA跟LDA的對比：生成文檔與參數估計
在pLSA模型中，我們按照如下的步驟得到“文檔-詞項”的生成模型：
- 按照概率選擇一篇文檔
- 選定文檔后，確定文章的主題分布
- 從主題分布中按照概率選擇一個隱含的主題類別
- 選定后，確定主題下的詞分布
- 從詞分布中按照概率選擇一個詞 ”
下面，咱們對比下本文開頭所述的LDA模型中一篇文檔生成的方式是怎樣的：
- 按照先驗概率選擇一篇文檔
- 從狄利克雷分布（即Dirichlet分布）中取樣生成文檔 的主題分布，換言之，主題分布由超參數為的Dirichlet分布生成
- 從主題的多項式分布中取樣生成文檔第 j 個詞的主題
- 從狄利克雷分布（即Dirichlet分布）
中取樣生成主題對應的詞語分布
，換言之，詞語分布由參數為的Dirichlet分布生成 - 從詞語的多項式分布
中采樣最終生成詞語
”
從上面兩個過程可以看出，LDA在PLSA的基礎上，為主題分布和詞分布分別加了兩個Dirichlet先驗。
繼續拿之前講解PLSA的例子進行具體說明。如前所述，在PLSA中，選主題和選詞都是兩個隨機的過程，先從主題分布{教育：0.5，經濟：0.3，交通：0.2}中抽取出主題：教育，然后從該主題對應的詞分布{大學：0.5，老師：0.3，課程：0.2}中抽取出詞：大學。
- PLSA中，主題分布和詞分布是唯一確定的，能明確的指出主題分布可能就是{教育：0.5，經濟：0.3，交通：0.2}，詞分布可能就是{大學：0.5，老師：0.3，課程：0.2}。
- 但在LDA中，主題分布和詞分布不再唯一確定不變，即無法確切給出。例如主題分布可能是{教育：0.5，經濟：0.3，交通：0.2}，也可能是{教育：0.6，經濟：0.2，交通：0.2}，到底是哪個我們不再確定（即不知道），因為它是隨機的可變化的。但再怎么變化，也依然服從一定的分布，即主題分布跟詞分布由Dirichlet先驗隨機確定。
- pLSA中，主題分布和詞分布確定后，以一定的概率（、）分別選取具體的主題和詞項，生成好文檔。而后根據生成好的文檔反推其主題分布、詞分布時，最終用EM算法（極大似然估計思想）求解出了兩個未知但固定的參數的值：（由轉換而來）和（由轉換而來）。
- 文檔d產生主題z的概率，主題z產生單詞w的概率都是兩個固定的值。
- 舉個文檔d產生主題z的例子。給定一篇文檔d，主題分布是一定的，比如{ P(zi|d), i = 1,2,3 }可能就是{0.4,0.5,0.1}，表示z1、z2、z3，這3個主題被文檔d選中的概率都是個固定的值：P(z1|d) = 0.4、P(z2|d) = 0.5、P(z3|d) = 0.1，如下圖所示（圖截取自沈博PPT上）：
- 但在貝葉斯框架下的LDA中，我們不再認為主題分布（各個主題在文檔中出現的概率分布）和詞分布（各個詞語在某個主題下出現的概率分布）是唯一確定的（而是隨機變量），而是有很多種可能。但一篇文檔總得對應一個主題分布和一個詞分布吧，怎么辦呢？LDA為它們弄了兩個Dirichlet先驗參數，這個Dirichlet先驗為某篇文檔隨機抽取出某個主題分布和詞分布。
- 文檔d產生主題z（准確的說，其實是Dirichlet先驗為文檔d生成主題分布Θ，然后根據主題分布Θ產生主題z）的概率，主題z產生單詞w的概率都不再是某兩個確定的值，而是隨機變量。
- 還是再次舉下文檔d具體產生主題z的例子。給定一篇文檔d，現在有多個主題z1、z2、z3，它們的主題分布{ P(zi|d), i = 1,2,3 }可能是{0.4,0.5,0.1}，也可能是{0.2,0.2,0.6}，即這些主題被d選中的概率都不再認為是確定的值，可能是P(z1|d) = 0.4、P(z2|d) = 0.5、P(z3|d) = 0.1，也有可能是P(z1|d) = 0.2、P(z2|d) = 0.2、P(z3|d) = 0.6等等，而主題分布到底是哪個取值集合我們不確定（為什么？這就是貝葉斯派的核心思想，把未知參數當作是隨機變量，不再認為是某一個確定的值），但其先驗分布是dirichlet 分布，所以可以從無窮多個主題分布中按照dirichlet 先驗隨機抽取出某個主題分布出來。如下圖所示（圖截取自沈博PPT上）：
、
）加了兩個先驗分布的參數（貝葉斯化）：一個主題分布的先驗分布Dirichlet分布
，和一個詞語分布的先驗分布Dirichlet分布
。
好比，我去一朋友家：
- 按照頻率派的思想，我估計他在家的概率是1/2，不在家的概率也是1/2，是個定值。
- 而按照貝葉斯派的思想，他在家不在家的概率不再認為是個定值1/2，而是隨機變量。比如按照我們的經驗（比如當天周末），猜測他在家的概率是0.6，但這個0.6不是說就是完全確定的，也有可能是0.7。如此，貝葉斯派沒法確切給出參數的確定值（0.3,0.4，0.6,0.7，0.8,0.9都有可能），但至少明白在哪個范圍或哪些取值（0.6,0.7，0.8,0.9）更有可能，哪個范圍或哪些取值（0.3,0.4） 不太可能。進一步，貝葉斯估計中，參數的多個估計值服從一定的先驗分布，而后根據實踐獲得的數據（例如周末不斷跑他家），不斷修正之前的參數估計，從先驗分布慢慢過渡到后驗分布。
4.3.2 LDA生成文檔過程的進一步理解
在這個三維坐標軸所划分的空間里，每一個坐標點(p1,p2,p3)就對應着一個主題分布，且某一個點(p1,p2,p3)的大小表示3個主題z1、z2、z3出現的概率大小（因為各個主題出現的概率和為1，所以p1+p2+p3 = 1，且p1、p2、p3這3個點最大取值為1）。比如(p1,p2,p3) = (0.4,0.5,0.1)便對應着主題分布{ P(zi), i =1,2,3 } = {0.4,0.5,0.1}。
可以想象到，空間里有很多這樣的點(p1,p2,p3)，意味着有很多的主題分布可供選擇，那dirichlet分布如何選擇主題分布呢？把上面的斜三角形放倒，映射到底面的平面上，便得到如下所示的一些彩圖（3個彩圖中，每一個點對應一個主題分布，高度代表某個主題分布被dirichlet分布選中的概率，且選不同的，dirichlet 分布會偏向不同的主題分布）：
是如何決定dirichlet分布的形狀的，可以從dirichlet分布的定義和公式思考。
4.3.3 pLSA跟LDA的概率圖對比
是主題分布Θ的先驗分布（即Dirichlet 分布）的參數，
是詞分布Φ的先驗分布（即Dirichlet 分布）的參數，N表示文檔的單詞總數，M表示文檔的總數。
確定某篇文檔的主題分布θ，然后從該文檔所對應的多項分布（主題分布）θ中抽取一個主題z，接着根據先驗知識
確定當前主題的詞語分布ϕ，然后從主題z所對應的多項分布（詞分布）ϕ中抽取一個單詞w。然后將這個過程重復N次，就產生了文檔d。
- 假定語料庫中共有M篇文章，每篇文章下的Topic的主題分布是一個從參數為的Dirichlet先驗分布中采樣得到的Multinomial分布，每個Topic下的詞分布是一個從參數為的Dirichlet先驗分布中采樣得到的Multinomial分布。
- 對於某篇文章中的第n個詞，首先從該文章中出現的每個主題的Multinomial分布（主題分布）中選擇或采樣一個主題，然后再在這個主題對應的詞的Multinomial分布（詞分布）中選擇或采樣一個詞。不斷重復這個隨機生成過程，直到M篇文章全部生成完成。
- 其中，→θ→z 表示生成文檔中的所有詞對應的主題，顯然 →θ 對應的是Dirichlet 分布，θ→z 對應的是 Multinomial 分布，所以整體是一個 Dirichlet-Multinomial 共軛結構，如下圖所示：
- 類似的，→φ→w，容易看出， 此時β→φ對應的是 Dirichlet 分布， φ→w 對應的是 Multinomial 分布， 所以整體也是一個Dirichlet-Multinomial 共軛結構，如下圖所示：
4.3.4 pLSA跟LDA參數估計方法的對比
- 在pLSA中，我們使用EM算法去估計“主題-詞項”矩陣Φ（由轉換得到）和“文檔-主題”矩陣Θ（由轉換得到）這兩個參數，而且這兩參數都是個固定的值，只是未知，使用的思想其實就是極大似然估計MLE。
- 而在LDA中，估計Φ、Θ這兩未知參數可以用變分(Variational inference)-EM算法，也可以用gibbs采樣，前者的思想是最大后驗估計MAP（MAP與MLE類似，都把未知參數當作固定的值），后者的思想是貝葉斯估計。貝葉斯估計是對MAP的擴展，但它與MAP有着本質的不同，即貝葉斯估計把待估計的參數看作是服從某種先驗分布的隨機變量。
- 關於貝葉斯估計再舉個例子。假設中國的大學只有兩種：理工科和文科，這兩種學校數量的比例是1:1，其中，理工科男女比例7:1，文科男女比例1:7。某天你被外星人隨機扔到一個校園，問你該學校可能的男女比例是多少？然后，你實際到該校園里逛了一圈，看到的5個人全是男的，這時候再次問你這個校園的男女比例是多少？
- 因為剛開始時，有先驗知識，所以該學校的男女比例要么是7:1，要么是1:7，即P(比例為7:1) = 1/2，P(比例為1:7) = 1/2。
- 然后看到5個男生后重新估計男女比例，其實就是求P(比例7:1|5個男生）= ？，P(比例1:7|5個男生) = ？
- 用貝葉斯公式
，可得：P(比例7:1|5個男生) = P(比例7:1)*P(5個男生|比例7:1) / P(5個男生)，P(5個男生)是5個男生的先驗概率，與學校無關，所以是個常數；類似的，P(比例1:7|5個男生) = P((比例1:7)*P(5個男生|比例1:7)/P(5個男生)。 - 最后將上述兩個等式比一下，可得：P(比例7:1|5個男生)/P(比例1:7|5個男生) = {P((比例7:1)*P(5個男生|比例7:1)} / { P(比例1:7)*P(5個男生|比例1:7)}。
、
）！
4.3.5 LDA參數估計：Gibbs采樣
理清了LDA中的物理過程，下面咱們來看下如何學習估計。
類似於pLSA，LDA的原始論文中是用的變分-EM算法估計未知參數，后來發現另一種估計LDA未知參數的方法更好，這種方法就是：Gibbs Sampling，有時叫Gibbs采樣或Gibbs抽樣，都一個意思。Gibbs抽樣是馬爾可夫鏈蒙特卡爾理論（MCMC）中用來獲取一系列近似等於指定多維概率分布（比如2個或者多個隨機變量的聯合概率分布）觀察樣本的算法。
OK，給定一個文檔集合，w是可以觀察到的已知變量，和是根據經驗給定的先驗參數，其他的變量z，θ和φ都是未知的隱含變量，需要根據觀察到的變量來學習估計的。根據LDA的圖模型，可以寫出所有變量的聯合分布：
注：上述公式中及下文中，
等價上文中定義的，
等價於上文中定義的，
等價於上文中定義的，
等價於上文中定義的。
因為產生主題分布θ，主題分布θ確定具體主題，且產生詞分布φ、詞分布φ確定具體詞，所以上述式子等價於下述式子所表達的聯合概率分布
：
其中，第一項因子
表示的是根據確定的主題
和詞分布的先驗分布參數采樣詞的過程，第二項因子
是根據主題分布的先驗分布參數采樣主題的過程，這兩項因子是需要計算的兩個未知參數。
由於這兩個過程是獨立的，所以下面可以分別處理，各個擊破。
第一個因子，可以根據確定的主題和從先驗分布取樣得到的詞分布Φ產生：
由於樣本中的詞服從參數為主題
的獨立多項分布，這意味着可以把上面對詞的乘積分解成分別對主題和對詞的兩層乘積：
其中，
是詞 t 在主題 k 中出現的次數。
回到第一個因子上來。目標分布
需要對詞分布Φ積分，且結合我們之前在3.1節定義的Dirichlet 分布的歸一化系數的公式
可得：
這個結果可以看作K個Dirichlet-Multinomial模型的乘積。
現在開始求第二個因子。類似於
的步驟，先寫出條件分布，然后分解成兩部分的乘積：
其中， 表示的單詞 i 所屬的文檔，
是主題 k 在文章 m 中出現的次數。
對主題分布Θ積分可得：
綜合第一個因子和第二個因子的結果，得到的聯合分布結果為：
，咱們便可以通過聯合分布來計算在給定可觀測變量 w 下的隱變量 z 的條件分布（后驗分布）
來進行貝葉斯分析。
的詞）的全部條件概率就好求了。
表示除去
的詞，
，
。
，所以上述公式的第二行的分子，非p(w,z) *p(z)，而是p(w|z)*p(z)。
獲取主題分布的參數Θ和詞分布的參數Φ。
和
各自被分解成兩部分乘積的結果，可以計算得到
每個文檔上Topic的后驗分布和每個Topic下的詞的后驗分布分別如下（據上文可知：其后驗分布跟它們的先驗分布一樣，也都是Dirichlet 分布
）：
是構成文檔m的主題數向量，
是構成主題k的詞項數向量。
“ 如果，同樣可以證明有下述結論成立：
，則
中的任一元素
的期望是：
的直觀意義就是事件先驗的偽計數(prior pseudo-count)。
”
所以， 最終求解的Dirichlet 分布期望為：
和
的結果代入之前得到的
的結果中，可得：
，這個概率的值對應着
的路徑概率。如此，K 個topic 對應着K條路徑，Gibbs Sampling 便在這K 條路徑中進行采樣，如下圖所示：
5 讀者微評
- @SiNZeRo：lda 如果用em就是 map估計了. lda本意是要去找后驗分布 然后拿后驗分布做bayesian分析. 比如theta的期望 . 而不是把先驗作為正則化引入。最后一點gibbs sampling其實不是求解的過程 是去explore后驗分布 去采樣 用於求期望.
- @研究者July：好問題好建議
，這幾天我陸續完善下！//@帥廣應s：LDA這個東西該怎么用？可以用在哪些地方？還有就是Gibbs抽樣的原理是什么？代碼怎么實現？如果用EM來做，代碼怎么實現？ LDA模型的變形和優化有哪些？LDA不適用於解決哪類的問題？總之，不明白怎么用，參數怎么調優？ - @xiangnanhe：寫的很好，4.1.3節中的那兩個圖很贊，非常直觀的理解了LDA模型加了先驗之后在學參數的時候要比PLSI更靈活；PLSI在學參數的過程中比較容易陷入local minimum然后overfitting。
- @asker2：無論是pLSA中，還是LDA中，主題分布和詞分布本身是固定的存在，但都未知。pLSA跟LDA的區別在於，去探索這兩個未知參數的方法或思想不一樣。pLSA是求到一個能擬合文本最好的參數（分布），這個值就認為是真實的參數。但LDA認為，其實我們沒法去完全求解出主題分布、詞分布到底是什么參數，我們只能把它們當成隨機變量，通過縮小其方差（變化度）來盡量讓這個隨機變量變得更“確切”。換言之，我們不再求主題分布、詞分布的具體值，而是通過這些分布生成的觀測值（即實際文本）來反推分布的參數的范圍，即在什么范圍比較可能，在什么范圍不太可能。所以，其實這就是一種貝葉斯分析的思想，雖然無法給出真實值具體是多少，但可以按照經驗給一個相對合理的真實值服從的先驗分布，然后從先驗出發求解其后驗分布。
- ..
6 參考文獻與推薦閱讀
- Blei, David M.; Ng, Andrew Y.; Jordan, Michael I. Latent Dirichlet allocation（LDA原始論文）：http://www.jmlr.org/papers/volume3/blei03a/blei03a.pdf。
- Blei. Probabilistic Topic Models：http://www.cs.princeton.edu/~blei/papers/Blei2012.pdf，一網友的翻譯：http://www.cnblogs.com/siegfang/archive/2013/01/30/2882391.html；
- 一堆wikipedia，比如隱含狄利克雷分布LDA的wiki：http://zh.wikipedia.org/wiki/%E9%9A%90%E5%90%AB%E7%8B%84%E5%88%A9%E5%85%8B%E9%9B%B7%E5%88%86%E5%B8%83，狄利克雷分布的wiki：http://zh.wikipedia.org/wiki/%E7%8B%84%E5%88%A9%E5%85%8B%E9%9B%B7%E5%88%86%E5%B8%83；
- 從貝葉斯方法談到貝葉斯網絡 ；
- rickjin的LDA數學八卦（力薦，本文部分圖片和公式來自於此文檔）網頁版：http://www.flickering.cn/tag/lda/，PDF版：http://emma.memect.com/t/9756da9a47744de993d8df13a26e04e38286c9bc1c5a0d2b259c4564c6613298/LDA；
- Thomas Hofmann.Probabilistic Latent Semantic Indexing（pLSA原始論文）：http://cs.brown.edu/~th/papers/Hofmann-SIGIR99.pdf；
- Gregor Heinrich.Parameter estimation for text analysis（關於Gibbs 采樣最精准細致的論述）：http://www.arbylon.net/publications/text-est.pdf；
- Probabilistic latent semantic analysis (pLSA)：http://blog.tomtung.com/2011/10/plsa/http://blog.tomtung.com/2011/10/plsa/。
- 《概率論與數理統計教程第二版 茆詩松等人著》，如果忘了相關統計分布，建議復習此書或此文第二部分；
- 《支持向量機通俗導論：理解SVM的三層境界》，第二部分關於拉格朗日函數的討論；
- 機器學習班第11次課上，鄒博講EM & GMM的PPT：http://pan.baidu.com/s/1i3zgmzF；
- 機器學習班第12次課上，鄒博講主題模型LDA的PPT：http://pan.baidu.com/s/1jGghtQm；
- 主題模型之pLSA：http://blog.jqian.net/post/plsa.html；
- 主題模型之LDA：http://blog.jqian.net/post/lda.html；
- 搜索背后的奧秘——淺談語義主題計算：http://www.semgle.com/search-engine-algorithms-mystery-behind-search-on-the-calculation-of-semantic-topic；
- LDA的EM推導：http://www.cnblogs.com/hebin/archive/2013/04/25/3043575.html；
- Machine Learning讀書會第8期上，沈博講主題模型的PPT：http://vdisk.weibo.com/s/zrFL6OXKgKMAf；
- Latent Dirichlet Allocation （LDA）- David M.Blei：http://www.xperseverance.net/blogs/2012/03/17/；
- 用GibbsLDA做Topic Modeling：http://weblab.com.cityu.edu.hk/blog/luheng/2011/06/24/%E7%94%A8gibbslda%E5%81%9Atopic-modeling/#comment-87；
- 主題模型在文本挖掘中的應用：http://net.pku.edu.cn/~zhaoxin/Topic-model-xin-zhao-wayne.pdf；
- 二項分布和多項分布，beta分布的對比：http://www.cnblogs.com/wybang/p/3206719.html；
- LDA簡介：http://cos.name/2010/10/lda_topic_model/；
- LDA的相關論文、工具庫：http://site.douban.com/204776/widget/notes/12599608/note/287085506/；
- 一個網友學習LDA的心得：http://www.xuwenhao.com/2011/03/20/suggestions-for-programmers-to-learn-lda/；
- http://blog.csdn.net/hxxiaopei/article/details/7617838；
- 主題模型LDA及其在微博推薦&廣告算法中的應用：http://www.wbrecom.com/?p=136；
- LDA發明人之一Blei 寫的畢業論文：http://www.cs.princeton.edu/~blei/papers/Blei2004.pdf；
- LDA的一個C實現：http://www.cs.princeton.edu/~blei/lda-c/index.html；
- LDA的一些其它資料：http://www.xperseverance.net/blogs/2012/03/657/。