Machine Learning 學習筆記 (3) —— 泊松回歸與Softmax回歸

本系列文章允許轉載，轉載請保留全文！

【請先閱讀】【說明&總目錄】http://www.cnblogs.com/tbcaaa8/p/4415055.html

 

1. 泊松回歸 (Poisson Regression)

在生活中，經常會遇到一類問題需要對一段時間內某一小概率事件的發生次數建模，例如癌症、火災等。

假設向量x表示引起這一事件發生的因素，向量θ表示因素的權重，則使用h_θ(x)=exp(θ^Tx)表示事件發生次數的期望。θ^Tx位於指數位置，意味着其每增加1個單位，將導至事件發生次數的期望值翻倍。

此時，因變量與自變量近似滿足泊松分布，即：y⁽ⁱ⁾~π(h_θ(x⁽ⁱ⁾))。

下面求參數θ的極大似然估計。似然函數：

對數似然函數：

定義損失函數：

要使似然函數最大，只需使損失函數最小。使用損失函數的極小值代替最小值：

化簡，有：

最后，使用梯度下降法迭代求解：

其中，為學習率。

 

2. Softmax回歸  (Softmax Regression)

利用之前介紹的邏輯回歸模型，我們已經可以解決二分類問題。下面，我們將二分類問題推廣為k分類問題。

在邏輯回歸中，因變量y∈{0,1}，分別對應兩個分類；而在Softmax回歸模型中，因變量y∈{1,2,...,k}，分別對應k個分類。Softmax回歸假定因變量服從參數為Φ₁,...,Φ_k的多項分布，即y(i)~Mult(Φ₁,...,Φ_k)。其中：

參數Φ_k是冗余的，利用概率之和等於1的條件，可以得到：

同時定義：

容易證明，Φ具有如下性質：

尤其需要注意的是，上述性質對i=k的情況仍然成立，盡管推導過程並不相同。后續證明中將直接使用這些性質。

下面求參數θ的極大似然估計，似然函數：

其中，函數1{expression}定義如下：當expression為真時，函數值為1；否則為0。Φ的性質可以利用1{·}進一步化簡。

對數似然函數：

定義損失函數：

要使似然函數最大，只需使損失函數最小。使用損失函數的極小值代替最小值：

可以將上式進一步整理為向量形式：

最后，使用梯度下降法迭代求解：

 

 

至此，本系列已經探討了四個常用的回歸模型，其中的泊松回歸和Softmax回歸初看並不容易理解。關於h_θ(x)的來歷，以及不同模型中J(θ)相似的原因，將在后續文章中作出說明。