二分類邏輯回歸及案例


一、模型的構建

銀行在放貸之前都會對客戶做一個評估,來判定其是否有大概率會違約。這里我們用1表示其不會違約,用0表示會違約,假設影響因素有m個。

邏輯回歸的目的是得到一個p(概率),如果給定一個臨界值就可判斷其屬於哪一類,一般默認臨界值為0.5,若p>0.5,則判定為第一類,既不會違約,若p<0.5,則判定為會違約。

sigmoid函數:    

 

 

 

 

把z帶入sigmoid函數:  

變換得到邏輯回歸的模型:

 

於是邏輯回歸模型可以視為分對數變換下關於X的一個線性模型

若將y視為不違約的可能性,則1-y是違約的可能性


於是有:

於是我們可以通過極大似然估計來估計:為了方便討論:wTX+b可以簡寫為:βTX

極大似然估計擬合邏輯回歸模型的基本思想是:尋找一組β的估計,代入模型中,使所有不違約的人的值接近於1,而違約的人值接近於0。

1.構建似然函數:

2.取對數,即對數擬然函數。

3.求偏導。令其為 0,解方程組,求得對應一組回歸參數𝛽 𝑙 的最優解。

二、模型的解釋:

ln(p/ (1-pi))=βTX

假設模型中只包含一個自變量:

等式兩側同時取對數的反函數:

 

 兩等式相除:

 

e𝛽1 表示為,x 每增加一個單位風險增加的倍數,如果𝛽1 為 0.44,即e𝛽1為 1.53,解釋為其他變量處於控制狀態下,x每增加一個單位,判斷為不違約的概率比原來增加了1.53倍。

三、模型的評估:

roc曲線

1.混淆矩陣:

 

 TPR=TP/(TP+FN)

FPR=FP/(FP+TN)

 roc曲線:

auc:

 

 

 

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM