原文：https://www.zybuluo.com/frank-shaw/note/108124 信息熵 信息是個很抽象的概念。人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比如一本五十萬字的中文書到底有多少信息量。直到1948年，香農提出了“信息熵”的概念，才解決了對信息 ...

一.最大熵原理 最大熵的思想很朴素，即將已知事實以外的未知部分看做“等可能”的，而熵是描述“等可能”大小很合適的量化指標，熵的公式如下： \[H(p)=-\sum_{i}p_i log p_i \] 這里分布\(p\)的取值有\(i\)種情況，每種情況的概率為\(p_i\)，下圖 ...

最大熵模型是指在滿足約束條件的模型集合中選取熵最大的模型，即不確定性最大的模型。 最大熵原理 最大熵思想：當你要猜一個概率分布時，如果你對這個分布一無所知，那就猜熵最大的均勻分布，如果你對這個分布知道一些情況，那么，就猜滿足這些情況的熵最大的分布。 算法推導 按照最大熵原理,我們應該 ...

最大熵模型預備知識 信息量：一個事件發生的概率越小，信息量越大，所以信息量應該為概率的減函數，對於相互獨立的兩個事有p(xy)=p(x)p(y)，對於這兩個事件信息量應滿足h(xy)=h(x)+h(y)，那么信息量應為對數函數： 對於一個隨機變量可以以不同的概率發生 ...

主題模型 作者：櫻花豬 摘要： 本文為七月算法（julyedu.com）12月機器學習第十五次課在線筆記。主題模型是對文字隱含主題進行建模的方法。它克服了傳統信息檢索中文檔相似度計算方法的缺點，並且能夠在海量互聯網數據中自動尋找出文字間的語義主題。主題模型在自然語言和基於文本 ...

1、似然函數 　　概率和似然的區別：概率是已知參數的條件下預測未知事情發生的概率，而似然性是已知事情發生的前提下估計模型的參數。我們通常都是將似然函數取最大值時的參數作為模型的參數。 　　那么為何要取似然函數取最大值的參數作為模型的參數？我們基於這樣的假設：對於已經發生的事情，在同樣 ...

Overview 統計建模方法是用來modeling隨機過程行為的。在構造模型時，通常供我們使用的是隨機過程的采樣，也就是訓練數據。這些樣本所具有的知識（較少），事實上，不能完整地反映整個隨機過程的狀態。建模的目的，就是將這些不完整的知識轉化成簡潔但准確的模型。我們可以用這個模型去預測 ...

邏輯斯諦回歸（logistic regression）是統計學習中的經典分類方法。最大熵模型是概率模型學習的一個准則，將其推廣到分類問題得到最大熵模型（maximum entropy model）。邏輯斯諦回歸模型與最大熵模型都屬於對數線性模型。 邏輯斯諦回歸 邏輯斯諦分布 ：設\(X ...