logistic回歸具體解釋(二）：損失函數（cost function）具體解釋

有監督學習

機器學習分為有監督學習，無監督學習，半監督學習。強化學習。對於邏輯回歸來說，就是一種典型的有監督學習。

既然是有監督學習，訓練集自然能夠用例如以下方式表述：

{(x1,y1),(x2,y2),⋯,(xm,ym)}

對於這m個訓練樣本，每一個樣本本身有n維特征。

再加上一個偏置項 x0 , 則每一個樣本包括n+1維特征：

x=[x0,x1,x2,⋯,xn]T

當中 x∈Rn+1 , x0=1 , y∈{0,1}

李航博士在統計學習方法一書中給分類問題做了例如以下定義：
分類是監督學習的一個核心問題，在監督學習中，當輸出變量Y取有限個離散值時，預測問題便成為分類問題。這時。輸入變量X能夠是離散的，也能夠是連續的。

監督學習從數據中學習一個分類模型或分類決策函數。稱為分類器(classifier)。分類器對新的輸入進行輸出的預測(prediction)，稱為分類(classification).

在logistic回歸具體解釋一(http://blog.csdn.net/bitcarmanlee/article/details/51154481）中，我們花了一整篇篇幅闡述了為什么要使用logistic函數:

hθ(x)=g(θTx)=11+e−θTx

當中一個重要的原因。就是要將Hypothesis(NG課程里的說法)的輸出映射到0與1之間，既：

0≤hθ(x)≤1

相同是李航博士統計學習方法一書中，有下面描寫敘述：
統計學習方法都是由模型，策略，和算法構成的，即統計學習方法由三要素構成，能夠簡單表示為：

方法=模型+策略+算法

對於logistic回歸來說，模型自然就是logistic回歸，策略最經常使用的方法是用一個損失函數(loss function)或代價函數(cost function)來度量預測錯誤程度，算法則是求解過程，后期會具體描寫敘述相關的優化算法。

logistic函數求導

g′(z)=ddz11+e−z=1(1+e−z)2(e−z)=1(1+e−z)⋅(1−1(1+e−z))=g(z)(1−g(z))

此求導公式在興許推導中會使用到

常見的損失函數

機器學習或者統計機器學習常見的損失函數例如以下：

1.0-1損失函數 （0-1 loss function）

L(Y,f(X))={1,0,Y ≠ f(X)Y = f(X)

2.平方損失函數（quadratic loss function)

L(Y,f(X))=(Y−f(x))2

3.絕對值損失函數(absolute loss function)

L(Y,f(x))=|Y−f(X)|

4.對數損失函數（logarithmic loss function) 或對數似然損失函數(log-likehood loss function)

L(Y,P(Y|X))=−logP(Y|X)

邏輯回歸中，採用的則是對數損失函數。假設損失函數越小，表示模型越好。

說說對數損失函數與平方損失函數

在邏輯回歸的推導中國。我們假設樣本是服從伯努利分布(0-1分布)的。然后求得滿足該分布的似然函數，終於求該似然函數的極大值。總體的思想就是求極大似然函數的思想。而取對數，僅僅是為了方便我們的在求MLE(Maximum Likelihood Estimation)過程中採取的一種數學手段而已。

損失函數具體解釋

依據上面的內容，我們能夠得到邏輯回歸的對數似然損失函數cost function：

cost(hθ(x),y)={−log(hθ(x))−log(1−hθ(x))if y=1if y=0

略微解釋下這個損失函數，或者說解釋下對數似然損失函數：
當y=1時，假定這個樣本為正類。

假設此時 hθ(x)=1 ,則單對這個樣本而言的cost=0,表示這個樣本的預測全然准確。

那假設全部樣本都預測准確。總的cost=0
可是假設此時預測的概率 hθ(x)=0 ，那么 cost→∞ 。

直觀解釋的話，由於此時樣本為一個正樣本，可是預測的結果 P(y=1|x;θ)=0 , 也就是說預測 y=1的概率為0。那么此時就要對損失函數加一個非常大的懲處項。
當y=0時。推理過程跟上述全然一致。不再累贅。

將以上兩個表達式合並為一個，則單個樣本的損失函數能夠描寫敘述為：

cost(hθ(x),y)=−yilog(hθ(x))−(1−yi)log(1−hθ(x))

由於 yi 僅僅有兩種取值情況，1或0，分別令y=1或y=0，就可以得到原來的分段表示式。

全體樣本的損失函數能夠表示為：

cost(hθ(x),y)=∑i=1m−yilog(hθ(x))−(1−yi)log(1−hθ(x))

這就是邏輯回歸終於的損失函數表達式