原文:【風控算法】二、SQL->Python->PySpark計算KS,AUC及PSI

KS,AUC 和 PSI 是風控算法中最常計算的幾個指標,本文記錄了多種工具計算這些指標的方法。 生成本文的測試數據: 一 KS KS 指標來源於 Kolmogorov Smirnov 檢驗,通常用於比較兩組樣本是否來源於同一分布。在建模中划分訓練集與測試集后,通常運用 KS 檢驗來檢驗訓練集與測試集的分布差異,如果分布差異過大,那可能就會因為訓練集 測試集划分不合理而降低模型的泛化性。 關於 K ...

2021-12-14 16:21 0 2682 推薦指數:

查看詳情

算法】一、變量分箱、WOE和IV值計算

一、變量分箱 變量分箱常見於邏輯回歸評分卡的制作中,在入模前,需要對原始變量值通過分箱映射成woe值。舉例來說,如”年齡“這一變量,我們需要找到合適的切分點,將連續的年齡打散到不同的”箱“中,並按年 ...

Fri Aug 20 05:56:00 CST 2021 0 516
【轉】中的特征評價指標(三)——KS

轉自:https://zhuanlan.zhihu.com/p/79934510 業務背景 在中,我們常用KS指標來評估模型的區分度(discrimination)。這也是模型同學最為追求的指標之一。那么,有多少人真正理解KS背后的內涵?本文將從區分度的概念、KS計算方法、業務 ...

Tue Jan 05 01:22:00 CST 2021 0 738
auc ks 新理解

轉https://www.zybuluo.com/frank-shaw/note/152851 新理解:我認為auc,和ks異曲同工。auc是根據預測概率(由大到小排序)作為閾值,可分割為不多於樣本個數n個閾值。即可得到n個recall和precision把這些點連成線即為roc曲線。auc即為 ...

Sun Sep 30 08:14:00 CST 2018 0 1664
Python計算AUC

AUC(Area under curve)是機器學習常用的二分類評測手段,直接含義是ROC曲線下的面積。另一種解釋是:隨機抽出一對樣本(一個正樣本,一個負樣本),然后用訓練得到的分類器來對這兩個樣本進行預測,預測得到正樣本的概率大於負樣本概率的概率。 在有M個正樣本,N個負樣本的數據集里,利用公式 ...

Mon Oct 21 18:14:00 CST 2019 0 1540
python計算auc指標

1.安裝scikit-learn 1.1Scikit-learn 依賴 Python (>= 2.7 or >= 3.3), NumPy (>= 1.8.2), SciPy (>= 0.13.3). 分別查看上述三個依賴的版本 ...

Thu Jul 13 03:13:00 CST 2017 0 9342
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM