由於模型是以特定時期的樣本所開發的,此模型是否適用於開發樣本之外的族群,必須經過穩定性測試才能得知。穩定度指標(population stability index ,PSI)可衡量測試樣本及模型開發樣本評分的的分布差異,為最常見的模型穩定度評估指針。其實PSI表示的就是按分數分檔后,針對不同樣本,或者不同時間的樣本,population分布是否有變化,就是看各個分數區間內人數占總人數的占比是否有顯著變化。公式如下:
這里的AC與EX為不同時間段的模型輸出分數,如果PSI過大,說明模型輸出的分數分布變化很大了,需要更新模型。
PSI實際應用范例:
1)樣本外測試
針對不同的樣本測試一下模型穩定度,比如訓練集與測試集,也能看出模型的訓練情況,我理解是看出模型的方差情況。
2)時間外測試
測試基准日與建模基准日相隔越遠,測試樣本的風險特征和建模樣本的差異可能就越大,因此PSI值通常較高。至此也可以看出模型建的時間太長了,是不是需要重新用新樣本建模了。
變量的PSI計算:
PSI:檢驗變量的穩定性,當一個變量的psi值大於0.0001時,變量不穩定。一個變量,將它的取值按照分位數來分組一下,每一組中測試模型的客戶數占比減去訓練模型中的客戶數占比再乘以這兩者相除的對數,就是這一組的穩定性系數psi,然后變量的psi系數就是把這個變量的所有組的psi相加總起來。
https://blog.csdn.net/sinat_26917383/article/details/51721107
IV與WOE:
IV表示一個變量的預測能力:
<=0.02,沒有預測能力,不可用
0.02~0.1 弱預測性
0.1~0.2 有一定預測能力
0.2+高預測性
IV還可以用來挑選變量,IV就越大,它就越應該進入到入模變量列表中。
WOE計算公式:
要對一個變量進行WOE編碼,需要首先把這個變量進行分組處理(也叫離散化、分箱等等,說的都是一個意思)。分組后,對於第i組,WOE的計算公式如下:
IV計算公式:
IV和woe參考:https://blog.csdn.net/kevin7658/article/details/50780391