LDA的整體流程


LDA整體流程

先定義一些字母的含義:

  • 文檔集合D,topic集合T
  • D中每個文檔d看作一個單詞序列< w1,w2,…,wn >,wi表示第i個單詞,設d有n個單詞。(LDA里面稱之為word bag,實際上每個單詞的出現位置對LDA算法無影響)
  • D中涉及的所有不同單詞組成一個大集合VOCABULARY(簡稱VOC)

LDA以文檔集合D作為輸入(會有切詞,去停用詞,取詞干等常見的預處理,略去不表),希望訓練出的兩個結果向量(設聚成k個Topic,VOC中共包含m個詞):

  • 對每個D中的文檔d,對應到不同topic的概率θd < pt1,…, ptk >,其中,pti表示d對應T中第i個topic的概率。計算方法是直觀的,pti=nti/n,其中nti表示d中對應第i個topic的詞的數目,n是d中所有詞的總數。
  • 對每個T中的topic t,生成不同單詞的概率φt < pw1,…, pwm >,其中,pwi表示t生成VOC中第i個單詞的概率。計算方法同樣很直觀,pwi=Nwi/N,其中Nwi表示對應到topic t的VOC中第i個單詞的數目,N表示所有對應到topic t的單詞總數。

LDA的核心公式如下:

p(w|d) = p(w|t)*p(t|d)

直觀的看這個公式,就是以Topic作為中間層,可以通過當前的θd和φt給出了文檔d中出現單詞w的概率。其中p(t|d)利用θd計算得到,p(w|t)利用φt計算得到。 實際上,利用當前的θd和φt,我們可以為一個文檔中的一個單詞計算它對應任意一個Topic時的p(w|d),然后根據這些結果來更新這個詞應該對應的topic。然后,如果這個更新改變了這個單詞所對應的Topic,就會反過來影響θd和φt

LDA學習過程 LDA算法開始時,先隨機地給θd和φt賦值(對所有的d和t)。然后上述過程不斷重復,最終收斂到的結果就是LDA的輸出。再詳細說一下這個迭代的學習過程: 1)針對一個特定的文檔ds中的第i單詞wi,如果令該單詞對應的topic為tj,可以把上述公式改寫為: pj(wi|ds) = p(wi|tj)*p(tj|ds) 先不管這個值怎么計算(可以先理解成直接從θds和φtj中取對應的項。實際沒這么簡單,但對理解整個LDA流程沒什么影響,后文再說)。 2)現在我們可以枚舉T中的topic,得到所有的pj(wi|ds),其中j取值1~k。然后可以根據這些概率值結果為ds中的第i個單詞wi選擇一個topic。最簡單的想法是取令pj(wi|ds)最大的tj(注意,這個式子里只有j是變量),即 argmax[j]pj(wi|ds) 當然這只是一種方法(好像還不怎么常用),實際上這里怎么選擇t在學術界有很多方法,我還沒有好好去研究。 3)然后,如果ds中的第i個單詞wi在這里選擇了一個與原先不同的topic,就會對θd和φt有影響了(根據前面提到過的這兩個向量的計算公式可以很容易知道)。它們的影響又會反過來影響對上面提到的p(w|d)的計算。對D中所有的d中的所有w進行一次p(w|d)的計算並重新選擇topic看作一次迭代。這樣進行n次循環迭代之后,就會收斂到LDA所需要的結果了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM