https://wanghuaishi.wordpress.com/2017/02/21/%E5%9B%BE%E8%A7%A3%E6%9C%80%E5%A4%A7%E7%86%B5%E5%8E%9F%E7%90%86%EF%BC%88the-maximum-entropy-principle%EF ...

最大熵模型是指在滿足約束條件的模型集合中選取熵最大的模型，即不確定性最大的模型。 最大熵原理 最大熵思想：當你要猜一個概率分布時，如果你對這個分布一無所知，那就猜熵最大的均勻分布，如果你對這個分布知道一些情況，那么，就猜滿足這些情況的熵最大的分布。 算法推導 按照最大熵原理,我們應該 ...

最大熵模型預備知識 信息量：一個事件發生的概率越小，信息量越大，所以信息量應該為概率的減函數，對於相互獨立的兩個事有p(xy)=p(x)p(y)，對於這兩個事件信息量應滿足h(xy)=h(x)+h(y)，那么信息量應為對數函數： 對於一個隨機變量可以以不同的概率發生 ...

引入1：隨機變量函數的分布 給定X的概率密度函數為fX(x), 若Y = aX, a是某正實數，求Y得概率密度函數fY(y). 解：令X的累積概率為FX(x), Y的累積概率為FY(y) ...

1、似然函數 　　概率和似然的區別：概率是已知參數的條件下預測未知事情發生的概率，而似然性是已知事情發生的前提下估計模型的參數。我們通常都是將似然函數取最大值時的參數作為模型的參數。 　　那么為何要取似然函數取最大值的參數作為模型的參數？我們基於這樣的假設：對於已經發生的事情，在同樣 ...

Overview 統計建模方法是用來modeling隨機過程行為的。在構造模型時，通常供我們使用的是隨機過程的采樣，也就是訓練數據。這些樣本所具有的知識（較少），事實上，不能完整地反映整個隨機過程的狀態。建模的目的，就是將這些不完整的知識轉化成簡潔但准確的模型。我們可以用這個模型去預測 ...

把各種熵的好文集中一下，希望面試少受點傷，哈哈哈 1. 條件熵 https://zhuanlan.zhihu.com/p/26551798 我們首先知道信息熵是考慮該隨機變量的所有可能取值，即所有可能發生事件所帶來的信息量的期望。公式如下： 我們的條件熵的定義是：定義為X給定條件下，Y ...

邏輯回歸 sigmoid函數=\(\sigma(x)=\frac{1}{1+e^{-x}}=\frac{e^{x}}{1+e^{x}}\) 二項邏輯回歸模型 有如下條件概率分布，\(w\)內已經包含了偏置\(b\)： \[P(Y=1|x)=\frac{\exp(w\cdot x ...