LDA主題模型困惑度計算

    對於LDA模型，最常用的兩個評價方法困惑度（Perplexity）、相似度（Corre）。

    其中困惑度可以理解為對於一篇文章d，所訓練出來的模型對文檔d屬於哪個主題有多不確定，這個不確定成都就是困惑度。困惑度越低，說明聚類的效果越好。

   計算公式     分母是測試集中所有單詞之和，即測試集的總長度，不用排重。其中p(w)指的是測試集中每個單詞出現的概率，計算公式如下。p(z|d)表示的是一個文檔中每個主題出現的概率，就是程序中的.theta文件，p(w|z)表示的是詞典中的每一個單詞在某個主題下出現的概率，就是程序中的.phi文件。

public void getRe(double[][] phi, double[][] theta){
        double count = 0;
        int i = 0;
        Iterator iterator = userWords.entrySet().iterator();
        while(iterator.hasNext()){
            Map.Entry entry = (Map.Entry) iterator.next();
            ArrayList<String> list = (ArrayList<String>) entry.getValue();
            double mul = 0;
            for(int j = 0; j < list.size(); j++){
                double sum = 0;
                String word = list.get(j);
                int index = wordMap.get(word);
                for (int k = 0; k < K; k++){
                    sum = sum + phi[k][index] * theta[i][k];
                }
                mul = mul + Math.log(sum);
            }
            count = count + mul;
            i++;
        }
        count = 0 - count;
        P = Math.exp(count / N);
        System.out.println("Perplexity:" + P);

對於不同Topic所訓練出來的模型，計算它的困惑度。最小困惑度所對應的Topic就是最優的主題數。