常見的廣義線性模型有：probit模型、poisson模型、對數線性模型等等。對數線性模型里有：logistic regression、Maxinum entropy。
在二分類問題中，為什么棄用傳統的線性回歸模型，改用邏輯斯蒂回歸？
線性回歸用於二分類時，首先想到下面這種形式，p是屬於類別的概率：
但是這時存在的問題是：
1、等式兩邊的取值范圍不同，右邊是負無窮到正無窮，左邊是[0,1]
2、實際中的很多問題，都是當x很小或很大時，對於因變量P的影響很小，當x達到中間某個閾值時，影響很大。即實際中很多問題，概率P與自變量並不是直線關系。
邏輯回歸模型的求解過程？ ==> 目標函數(損失函數)的推導過程
邏輯回歸中，Y服從二項分布，誤差服從二項分布，而非高斯分布，所以不能用最小二乘進行模型參數估計，可以用極大似然估計來進行參數估計。
預測函數：
似然函數：這里負類的label為0，如果負類的label為-1的話，將$y_i$ 變為$(1+y_i) / 2$,將$1 - y_i$變為$(1-y_i) / 2$,帶入下列似然函數即可
對數似然函數，優化目標函數如下：
邏輯回歸有兩種形式：http://www.cnblogs.com/ljygoodgoodstudydaydayup/p/6340129.html 整理在一起
為什么我們在實際中，經典線性模型的優化目標函數是最小二乘，而邏輯回歸則是似然函數？
1） 經典線性模型的滿足下面等式：
這里有個假設，即最后這個誤差擾動項獨立同分布於均值為0的正態分布，即：
從而：
由於有上面的假設，從而就有下面的似然函數：
從而這線性回歸的問題就可轉化為最大化下面的對數似然估計，由於下面公式前面的項是常數，所以這個問題等價於最小化下面等式中的最后一項，即least mean squares。
2）邏輯斯蒂回歸中，因變量y不再是連續的變量，而是二值的{0,1}，中間用到logit變換，將連續性的y值通過此變換映射到比較合理的0~1區間。在廣義線性回歸用於分類問題中，也有一個假設（對應於上面回歸問題中誤差項獨立同分布於正態分布），其中h(x)是logistic function
即，給定x和參數，y服從二項分布，上面回歸問題中，給定x和參數，y服從正態分布。從而
問題不同（一個是分類、一個是回歸）對應假設也就不同，決定了logistic regression問題最優化目標函數是上面這項，而非回歸問題中的均方誤差LMS。
參考：
http://blog.csdn.net/lilyth_lilyth/article/details/10032993?utm_source=tuicool&utm_medium=referral