1、似然函數 　　概率和似然的區別：概率是已知參數的條件下預測未知事情發生的概率，而似然性是已知事情發生的前提下估計模型的參數。我們通常都是將似然函數取最大值時的參數作為模型的參數。 　　那么為何 ...

原文：https://www.zybuluo.com/frank-shaw/note/108124 信息熵 信息是個很抽象的概念。人們常常說信息很多，或者信息較少，但卻很難說清楚信息到底有多少。比 ...

一.最大熵原理 最大熵的思想很朴素，即將已知事實以外的未知部分看做“等可能”的，而熵是描述“等可能”大小很合適的量化指標，熵的公式如下： \[H(p)=-\sum_{i}p_i log ...

邏輯斯諦回歸是統計學習中的經典分類方法，和最大熵模型相比，具有以下的共同點和區別： 共同點 都屬於概率模型，該模型要尋找的是給定一個x，得到輸出變量Y的概率分布P(Y|x)，如 ...