特征工程 - 分箱

卡方分箱

卡方分箱原理

數據分析與數據挖掘之四大分布三大檢驗

python自帶分箱函數  --  無法實現對分類型數據的分箱，可借助卡方分箱算法實現

import numpy as np
import pandas as pd

data = np.random.randint(100, size=(10000,))

#自定義分箱
#cut(x, bins, right=True, labels=None, retbins=False, precision=3, include_lowest=False, duplicates='raise')
pd.cut(data, bins=[0, 10, 20, 50, 70, 100], right=False)

#等寬分箱
pd.cut(data, bins=5, right=False, labels=range(5))

#等頻分箱
#qcut(x, q, labels=None, retbins=False, precision=3, duplicates='raise')
pd.qcut(data, q=5, labels=range(5))

#等頻分箱 - 老版本重復值過多報錯問題
'''該代碼傾向於將重復值全划分到更高的組，自帶的qcut則傾向於將其划分到更低的組'''
def pct_rank_qcut(series, n):
    '''
    series：要分箱的列
    n：箱子數
    '''
    edages = pd.Series(range(1,n+1))/n #轉換成百分比
    func = lambda x: (edages >= x).argmax() #返回列表中第一次出現true的索引值
    return series.rank(pct=1).astype(float).apply(func) #百分位數,返回組下標，數據類型若為object，結果會有問題，因此進行了astype