利用python將連續指標離散化，離散變量啞元化--pandas中的cut()、qcut()、get_dummies()

       在實際分析中，經常遇到連續值需要離散化，或者離散值需要啞元化的問題，下面將分別舉例說明。

       1、連續指標離散化

       可以根據自己的需求划分不同的區間，然后使用pandas中cut()、qcut()函數來完成連續變量離散化操作。

#導入模塊
import pandas as pd

# 將范圍划分為(0, 18]、(18, 25]、(25, 35]、(35, 60]、(60, 100]
ages = [10, 21, 24, 25, 32, 23, 22, 42, 35, 66, 21]
bins = [0, 18, 25, 35, 60, 100]
cats = pd.cut(ages, bins, right=True)  #right=False表示區間是左閉右開的
  cats
  [(0, 18], (18, 25], (18, 25], (18, 25], (25, 35], ..., (18, 25],  
  (35, 60], (25, 35], (60, 100], (18, 25]]
  Length: 11
  Categories (5, interval[int64]): [(0, 18] < (18, 25] < (25, 35] < (35, 60] < (60, 100]]
#查看ages中不同值對應的標簽
cats.codes
array([0, 1, 1, 1, 2, 1, 1, 3, 2, 4, 1], dtype=int8)                                       
#對不同區間的數進行統計
cats.value_counts()
  (0, 18]      1
  (18, 25]     6
  (25, 35]     2
  (35, 60]     1
  (60, 100]    1 
  dtype: int64　

import numpy as np

data = np.random.rand(20)
#cut傳入的是區間數量時候，他會根據數據的最小值和最大值計算等長面元
pd.cut(data, 4, precision=2)
  [(0.53, 0.76], (0.76, 0.99], (0.068, 0.3], (0.3, 0.53], (0.53, 0.76], ..., (0.76,0.99], (0.76, 0.99], (0.068, 0.3], (0.53, 0.76], (0.068, 0.3]]
  Length: 20 
  Categories (4, interval[float64]): [(0.068, 0.3] < (0.3, 0.53] < (0.53, 0.76] <(0.76, 0.99]]

#qcut()是pandas中的一個類似於cut的函數，根據樣本分位數對數據進行面元划分
data = np.random.rand(1000)
cats = pd.qcut(data, 4)   #按四分位數切割
cats.value_count()
  (-0.000589, 0.257]    250
  (0.257, 0.516]        250
  (0.516, 0.761]        250
  (0.761, 0.994]        250
  dtype: int64

#自定義分位數
cats = pd.qcut(data, [0, 0.1, 0.5, 0.9, 1.])
cats.value_counts()
  (-0.000589, 0.115]    100
  (0.115, 0.516]        400
  (0.516, 0.908]        400
  (0.908, 0.994]        100
  dtype: int64

         2、離散指標啞元化

        分類變量啞元化是指將分類變量轉換成“啞變量矩陣”（dummy matrix），如果DataFrame中的某一列中含有k個不同的值，則可以派生出一個k列矩陣，pandas中的get_dummies()函數可以實現該功能。

df = pd.DataFrame({'key':['b', 'b', 'a', 'c', 'a', 'b'],
                  'data1':range(6)})
dummies = pd.get_dummies(df['key'], prefix='key')

        

#合並
df[['data1']].join(dummies)
      

         如果遇到DataFrame中某行同屬於多個類，處理如下。

df = pd.DataFrame({'id':range(6), 
                  'key':['b|a|c', 'a|b|d', 'e|f', 'c', 'a', 'b'],
                  })
df
      

keys_iter = (set(x.split('|')) for x in df.key)   
keys = sorted(set.union(*keys_iter))
keys   #['a', 'b', 'c', 'd', 'e', 'f']

dummies = pd.DataFrame(np.zeros((len(df), len(keys))), columns=keys)
dummies

for i, key in enumerate(df.key):    #enumerate(df.key)   返回迭代對象的（索引，值）
　　dummies.loc[i, key.split('|')] = 1 
dummies
      

df.join(dummies.add_prefix("key_"))

        

        3、二者結合使用

np.random.seed(12345)
values = np.random.randn(10)
bins = [0, 0.2, 0.4, 0.6, 0.8, 1]

pd.get_dummies(pd.cut(values, bins))