logistic回歸和廣義線性模型

logistic回歸：

　　logistic回歸一般是用來解決二元分類問題，它是從貝努力分布轉換而來的

　　h_θ(x) = g(z)=1/1+e^-z ;z=θ^Tx

　　最大似然估計L(θ) = p(Y|X;θ)

　　　　　　　　　　 =∏p(y⁽ⁱ⁾|x⁽ⁱ⁾;θ)

　　　　　　　　　　 =∏(h_θ(x))^y(i)(1-h_θ(x))^1-y(i)

     l(θ) = logL(θ)

           =Σy⁽ⁱ⁾logh_θ(x⁽ⁱ⁾)+(1-y⁽ⁱ⁾)log(1-h_θ(x⁽ⁱ⁾))

　  θ的優化目的就是讓最大似然估計最大，用梯度上升法求θ

　　θ_j=θ_j+α∂l(θ)/∂θ_j=θ_j+α(y⁽ⁱ⁾-h_θ(x⁽ⁱ⁾))x⁽ⁱ⁾_j

　　logistic回歸用梯度上升法求得的θ的迭代公式看起來跟線性回歸很像，但這跟線性回歸是有本質區別的

　　1.線性回歸是由高斯分布推導而來，而logistic回歸是由貝努力分布推導而來

　　2.二種回歸的最大似然估計是不一樣的，只不過求完導后的結果看似相同

      3.二種回歸h_θ(x)是不同的

廣義線性模型：

　　之前已經寫了線性回歸和logistic回歸，基本的形式都是先設定h_θ(x)，然后求最最大似然估計L(θ),然后求出l(θ)=logL(θ),然后用梯度上升法或其它方法求出θ，二種回歸如此想你的原因就是在於它都都是廣義線性模型里的一員。

　　如果一個概念分布可以表示成p(y;η)=b(y)exp(η^TT(y)-a(η))時，那么這個概率分布可以稱之為指數分布

　　貝努力分布轉換為指數分布：p(y;ø)=ø^y(1-ø)^1-y

　　　　　　　　　　　　　　　　　　 =exp(log(ø^y(1-ø)^1-y))

　　　　　　　　　　　　　　　　　　 =exp(ylogø+(1-y)log(1-ø))

　　　　　　　　　　　　　　　　　　 =exp((log(ø/(1-ø)))y+log(1-ø))

　　根據上面指數分布的公式可得出：

　　　　　　　　　　　　　　　  b(y)=1

　　　　　　　　　　　　　　　  η=logø/(1-ø);ø=1/(1+e^-η)

　　　　　　　　　　　　　　　  T(y) = y

　　　　　　　　　　　　　　　  a(η)=-log(1-ø)

　　高斯分布轉換為指數(因為σ的取值對最后的結果沒影響，所以設σ²=1)：p(y;μ)=(1/2π)exp(-1/2(y-μ)²);2π上有根號

                                          =(1/2π)exp(-1/2y²).exp(μy-1/2μ²)

　　根據上面指數分布的公式可得出：

　　　　　　　　　　　　　　　 b(y)=(1/2π)exp(-1/2y²);2π上有根號

                                           η=μ

                                           T(y) = y

                                           a(η)=1/2μ²

　　廣義線性模型的三步是：
　　　　　　　　1.將y|x;θ變換成以η為參數的指數分布的形式

　　　　　　　   2.因為h(x)=E[y|x],所以能過第1步的變換可以得到E[y|x]與η的對應關系(對於logistic回歸，期望值是ø，ø與η的關系是ø=1/(1+e^-η)；對於線性回歸，期望值是μ，μ與η的關系是η=μ)

　　　　　　　　3.設定η=θ^Tx(如果η是一個向量值的話，那么η_i=θ_i^Tx)