Python數據挖掘—特征工程—數據處理

概念：

特征工程：本質上是一項工程活動，他目的是最大限度地從原始數據中提取特征以供算法和模型使用

特征工程的重要性：特征越好，靈活性越強、模型越簡單、性能越出色。

 

特征工程包括：數據處理、特征選擇、維度壓縮

 

量綱不一:

就是單位，特征的單位不一致，不能放在一起比較

通過：0-1標准化、Z標准化、Normalizer歸一化

 

 

 

 

 

數據處理-歸一化：

import pandas

data=pandas.read_csv(
            "C:\\Users\\Jw\\Desktop\\python_work\\Python數據挖掘實戰課程課件\\6.1\\data1.csv")

#Min-Max標准化
from sklearn.preprocessing import MinMaxScaler

scaler=MinMaxScaler()

data["標准化累計票房"]=scaler.fit_transform(data[["累計票房"]])
data["標准化豆瓣得分"]=scaler.fit_transform(data[["豆瓣評分"]])

#Z-Score標准化
from sklearn.preprocessing import scale

data["標准化累計票房"]=scale(data["累計票房"])
data["標准化豆瓣評分"]=scale(data["豆瓣評分"])


#Normalizer歸一化
from sklearn.preprocessing import Normalizer

scaler = Normalizer()

data['歸一化累計票房'] = scaler.fit_transform(
    data['累計票房']
)[0]
data['歸一化豆瓣評分'] = scaler.fit_transform(       
    data['豆瓣評分']
)[0]

 

 

數據處理-虛擬變量：

虛擬變量也叫啞變量和離散特征編碼，可用來表示分類變量、非數量因素可能產生的影響

使用get_dummies獲取虛擬變量

如果新數據分類較少，要獲取前面的category類，可以用categories=data["列名"].cat.categories來得到之前的分類，與之前的列一一對應

 

import pandas

data=pandas.read_csv(
        "C:\\Users\\Jw\\Desktop\\python_work\\Python數據挖掘實戰課程課件\\6.1\\data2.csv")

data["症狀"]=data["症狀"].astype("category")

dummiesData = pandas.get_dummies(
    data, 
    columns=['症狀'],
    prefix=['症狀'],
    prefix_sep="_"
)


newData=pandas.read_csv(
        "C:\\Users\\Jw\\Desktop\\python_work\\Python數據挖掘實戰課程課件\\6.1\\data2New.csv")


newData["症狀"]=newData["症狀"].astype(
    "category",
    categories=data["症狀"].cat.categories)

dummiesNewData=pandas.get_dummies(
    newData,
    columns=["症狀"],
    prefix=["症狀"],
    prefix_sep="_")

 數據處理—缺失值

缺失值產生原因：有些信息暫時無法獲取、有些信息被遺漏或者錯誤的處理了

缺失值處理方法：數據補齊、刪除缺失行、不處理

 

導入Imputer類，該類有三個備選項：mean、median、most_frequent

import pandas

data=pandas.read_csv("C:\\Users\\Jw\\Desktop\\python_work\\Python數據挖掘實戰課程課件\\6.1\\data3.csv")

from sklearn.preprocessing import Imputer

#mean,median,most_frequent

imputer=Imputer(strategy="mean")

data["累計票房"]=imputer.fit_transform(data[["累計票房"]])