邏輯回歸
因變量隨着自變量變化而變化。
多重線性回歸是用回歸方程描述一個因變量與多個自變量的依存關系，簡稱多重回歸，其基本形式為：Y= a + bX1+CX2+*+NXn。
二項分布即重復n次獨立的伯努利試驗。在每次試驗中只有兩種可能的結果，而且兩種結果發生與否互相對立，並且相互獨立，與其它各次試驗結果無關，事件發生與否的概率在每一次獨立試驗中都保持不變，則這一系列試驗總稱為n重伯努利實驗，當試驗次數為1時，二項分布服從0-1分布。
邏輯分布
二項邏輯回歸
如何求邏輯回歸中的參數W
首先介紹似然函數
求出W以后，即求出了相應的邏輯回歸模型
多項邏輯回歸
多項是指Y的取值有多項，不再是兩個.
優缺點：
優點：
1）容易使用和解釋，實用價值高的常用市場預測方法；
2）它是直接對分類可能性建模，無需事先假設數據分布，這樣就避免了假設分布不准確問題；
3）可以適用於連續性和類別性自變量；
缺點：
1）對模型中自變量多重共線性較為敏感，例如兩個高度相關自變量同時放入模型，可能導致較弱的一個自變量回歸符號不符合預期，符號被扭轉.需要利用因子分析或者變量聚類分析等手段來選擇代表性的自變量，以減少候選變量之間的相關性；
2）預測結果呈“S”型，因此從log(odds)向概率轉化的過程是非線性的，在兩端隨着log(odds)值的變化，概率變化很小，邊際值太小，slope太小，而中間概率的變化很大，很敏感.導致很多區間的變量變化對目標概率的影響沒有區分度，無法確定閥值.
最大熵模型
最大熵原理
注意：當X是均勻分布的時候，H(p)=log|x|，取最大值
根據已有的數據，可以求出P~(X,Y),P~(X),以及特征函數f(x,y).
擁有上述變量以后，只要滿足下列等式的model都稱為最大熵模型
最大熵模型的學習
上面對於這個約束最優化問題進行了簡單的改寫，這樣便於我們統一理解這個問題（凸優化問題的統一形式），也便於程序的求解。
先應用拉格朗日定理，然后將其轉換到對偶問題。其中P為變量，在集合C中取值。
其中的
對於左邊，是原帶約束優化問題的數學形式，只是將他寫成了一個式子，首先在固定P的時候，求W使L(p,W)最大，這相當於在盡量去滿足它的約束。然后是min，就相當於在滿足約束的情況下求最小值，即原問題的表述。
對於右邊，則是對偶問題的定義，minL(P,W)是對偶函數，整個右邊式子定義為原問題的對偶問題。
其中的P屬於C集合，P中的唯一變量就是P(y|x),因此需要對P(y|x)求導。
上面求出了Pw(y|x),其中的分母exp(1-w0)在歸一化的過程中抵消掉了。
上面的Pw(y|x)相當於最大熵模型（只是具體形式，其中的Wi目前還是未知數），接下來就需要求Wi，Wi可以通過對偶問題最外層的maxw求出。這樣就求出了最終的最大熵模型Pw(y|x).還不明白的同學可以對照《統計學習方法》中的具體例子來計算一遍。
極大似然估計
總結
最大熵模型與邏輯斯諦回歸模型有類似的形式,它們又 稱為對數線性模型(log linear model). 模型學習就是在 給定的訓練數據條件下對模型進行極大似然估計或正則 化的極大似然估計。
轉自於：http://www.dongzhuoyao.com/logistic-regression-and-max-entropymodel/