轉載請注明出自BYRans博客：http://www.cnblogs.com/BYRans/
前面的文章已經介紹了一個回歸和一個分類的例子。在邏輯回歸模型中我們假設：
在分類問題中我們假設：
他們都是廣義線性模型中的一個例子，在理解廣義線性模型之前需要先理解指數分布族。
指數分布族（The Exponential Family）
如果一個分布可以用如下公式表達，那么這個分布就屬於指數分布族：
公式中y是隨機變量；h(x)稱為基礎度量值（base measure）；
η稱為分布的自然參數（natural parameter），也稱為標准參數（canonical parameter）；
T(y)稱為充分統計量，通常T(y)=y；
a(η)稱為對數分割函數（log partition function）；
本質上是一個歸一化常數，確保
概率和為1。
當T(y)被固定時，a(η)、b(y)就定義了一個以η為參數的一個指數分布。我們變化η就得到這個分布的不同分布。
伯努利分布屬於指數分布族。伯努利分布均值為φ，寫為Bernoulli(φ)，是一個二值分布，y ∈ {0, 1}。所以p(y = 1; φ) = φ; p(y = 0; φ) = 1 − φ。當我們變化φ就得到了不同均值的伯努利分布。伯努利分布表達式轉化為指數分布族表達式過程如下：
其中，
再舉一個高斯分布的例子，高斯分布也屬於指數分布族。由高斯分布可以推導出線性模型（推導過程將在EM算法中講解），由線型模型的假設函數可以得知，高斯分布的方差
與假設函數無關，因而為了計算簡便，我們設方差
=1。高斯分布轉化為指數分布族形式的推導過程如下：
其中
許多其他分部也屬於指數分布族，例如：伯努利分布（Bernoulli）、高斯分布（Gaussian）、多項式分布（Multinomial）、泊松分布（Poisson）、伽馬分布（Gamma）、指數分布（Exponential）、β分布、Dirichlet分布、Wishart分布。
構建廣義線性模型（Constructing GLMs）
在分類和回歸問題中，我們通過構建一個關於x的模型來預測y。這種問題可以利用廣義線性模型（Generalized linear models，GMLs）來解決。構建廣義線性模型我們基於三個假設，也可以理解為我們基於三個設計決策，這三個決策幫助我們構建廣義線性模型：
-
,假設
滿足一個以為參數的指數分布。例如，給定了輸入x和參數θ，那么可以構建y關於η的表達式。
-
給定x，我們的目標是要確定T(y)，即
。大多數情況下T(y)=y，那么我們實際上要確定的是
。即給定x，假設我們的目標函數是
。（在邏輯回歸中期望值是，因此目標函數h是φ；在線性回歸中期望值是μ，而高斯分布中
，因此線性回歸中目標函數
）。
-
假設自然參數η和x是線性相關，即假設：
假設有一個預測問題：基於特征商店促銷活動、最近的廣告、天氣、星期幾等特征x，來預測商店在任一小時內的顧客數目y。
根據概率知識可知，x、y符合泊松分布。泊松分布屬於指數分布族，我們可以利用上面的3個假設，構建一個廣義線性模型來進行構建預測模型。
GLMs構建最小二乘模型
線性回歸中的優化目標y（損失函數）是由最小二乘法得到的，可以使用廣義線性模型構建最小二乘模型。三個假設：
-
最小二乘法得到的目標變量y是一個連續值，我們假設給定x下y的分布符合高斯分布。假設1中的ExponentialFamily(η)就是高斯分布。
-
在高斯分布中
，目標函數
-
假設：
推導過程如下：
第一步變換根據假設2：
第二步變換根據y|x; θ ∼ N(μ, σ2)，高斯分布的期望值是μ
第三步根據假設1：高斯分布中
第四步根據假設3：
現在已經使用廣義線性模型構建出了最小二乘模型，接下來的工作就是利用梯度下降、牛頓方法來求解θ。梯度下降、牛頓方法的內容請參考之前的講義。
GLMs構建邏輯回歸
邏輯回歸可以用於解決二分類問題，而分類問題目標函數y是二值的離散值，
。根據統計知識，二分類問題可以選擇伯努利分布來構建模型。
在伯努利分布的指數分布族表達式中我們已知：
，從而得到
。
構建廣義線性模型的三個假設：
-
假設符合伯努利分布，
-
，伯努利分布中
-
推導過程如下：
同最小二乘模型一樣，接下來的工作就由梯度下降或牛頓方法來完成。
注意一下上面的推到結果
，回憶一下，在邏輯回歸中，我們選用Sigmoid函數
。
之所以在邏輯回歸中選用這個g(z)作為Sigmoid函數是由一套理論作支持的，這個理論便是廣義線性模型。