Python數據挖掘—分類—貝葉斯分類

pandas之get_dummies

方法：pandas.get_dummies(data,prefix=None,prefix_sep="_",dummy_na=False,columns=None,sparse=False,drop_first=False)

該方法可以將類別變量轉換成新增的虛擬變量/指示變量

參數說明：

• data：array-like、Series 、 DataFrame  ， 輸入數據

• prefix：string、list of strings、dict of strings ，default為None，get_dummies轉換后，列名的前綴

• columns：list-like， default為False，指定需要實現類別轉換的列名

• dummy_na：bool， default為False，增加一列表示空缺值，如果False就忽略空缺值

• drop_first：fool，default為False ，獲取K中的K-1個類別之，去除第一個

舉例：

下面通過例子來進一步說明get_dummies()

1、首先構造一個數據列

import pandas as pd 2 s=pd.Series(list('abca')) 3 
s_1=pd.get_dummies(s)

1、兩個變量：s為Series、s_1為DataFrame

變成→

2、去除第一列

b=pd.get_dummies(s,drop_first=True)

得到：

 

3、查看dummy_na功能

創建數據

import numpy as np
s_2=["a","b",np.nan]

結果為：

pd.get_dummies(s_2,dummy_na=True)
pd.get_dummies(s_2,dummy_na=False)

結果為：

、

 

 4、創建數據框

df=pd.DataFrame({
    "A":["a","b","a"],"B":["b","a","c"],
    "C":[1,2,3]})
pd.get_dummies(df,prefix=["col_1","col_2"])      

 結果為：

 變為→

 

 

 實例：

import pandas

data=pandas.read_csv(
        "C:\\Users\\Jw\\Desktop\\python_work\\Python數據挖掘實戰課程課件\\5.2\\data1.csv",
        encoding='utf-8')


dummyColumns=['症狀','職業']

for column in dummyColumns:
    data[column]=data[column].astype('category')
    

dummiesData=pandas.get_dummies(
    data,
    columns=dummyColumns,
    prefix=dummyColumns,
    prefix_sep=' ')

dummiesData=pandas.get_dummies(
    data,
    columns=dummyColumns,
    prefix=dummyColumns,
    prefix_sep=' ',
    drop_first=True)

 

 構造虛擬變量

drop_first后

 

實例

步驟：

• 　導入數據，設置虛擬變量，將虛擬變量轉變為category類，(category變量)類別變量轉換成新增的虛擬變量/指示變量
• 通過pandas自帶的get_dummies功能，將所有分類扁平化擴張以增加列的形式實現，離散數據按照[0，1]分布。

　　知識點：

Categorical Type：什么是categorical Type?不知道確切的英文翻譯,但是可以按照字面意思來也就是分類數據,比如皮膚的顏色,可以分為黃色,白色,黑色等等,但是這些數據的均值以及數值計算比如加減的結果是沒有意義的;但是我們可以將不同的數據分為這幾類,在比如人類的性別,男女也屬於categorical 類別; 英文中歐冠也可以稱之為Nominal Data.

import pandas;

data = pandas.read_csv(
    "C:\\Users\\Jw\\Desktop\\python_work\\Python數據挖掘實戰課程課件\\5.2\\data1.csv",
    encoding='utf8'
)

dummyColumns = ['症狀', '職業']

for column in dummyColumns:
    data[column]=data[column].astype('category')

dummiesData = pandas.get_dummies(  #調用get_dummyColumns方法進行不可比較大小虛擬變量的轉換
    data, 
    columns=dummyColumns,
    prefix=dummyColumns,
    prefix_sep=" "
)

dummiesData = pandas.get_dummies(
    data, 
    columns=dummyColumns,
    prefix=dummyColumns,
    prefix_sep=" ",
    drop_first=True
)

#伯努利貝葉斯
from sklearn.naive_bayes import BernoulliNB
BNBModel = BernoulliNB()

fNames = ['症狀 打噴嚏', '職業 建築工人', '職業 護士', '職業 教師']
tData = dummiesData['疾病']
fData = dummiesData[fNames]

BNBModel.fit(fData, tData)

上述代碼：建模，構造伯努利方程，設置自變量和因變量，訓練變量，得到訓練集

#病症是打噴嚏的建築工人
newData = pandas.DataFrame({
    '症狀':['打噴嚏'],
    '職業':['建築工人']
})

for column in dummyColumns:
    newData[column] = newData[column].astype(
        'category', 
        categories=data[column].cat.categories
    )

dummiesNewData = pandas.get_dummies(
    newData, 
    columns=dummyColumns,
    prefix=dummyColumns,
    prefix_sep=" ",
    drop_first=True
)

pData = dummiesNewData[fNames]
BNBModel.predict(pData)

 

訓練：

#病症是打噴嚏的建築工人
newData=pandas.DataFrame({
        '症狀':['打噴嚏'],
        '職業':['建築工人']})

for column in dummyColumns:
    newData[column]=newData[column].astype(
        'category', 
        categories=data[column].cat.categories
)
    
dummiesNewData=pandas.get_dummies(
        newData,
        columns=dummyColumns,
        prefix=dummyColumns,
        prefix_sep=' ',
        drop_first=True)

pData=dummiesNewData[fNames]
BNBModel.predict(pData)