機器學習100天——數據預處理(第一天)

有個叫Avik Jain的老外在github上發起了一個100天學習機器學習的項目，每天花一個小時學習機器學習，學習內容由淺入深。今天是第一天，內容是如何進行數據預處理。該教程的編程語言是Python。

 

數據預處理分為6步：

 

第一步：導入NumPy和Pandas庫。NumPy和Pandas是每次都要導入的庫，其中Numpy包含了數學計算函數，Pnadas是一個用於導入和管理數據集(Data Sets)的類庫。

 

第二步：導入數據集。數據集一般都是.csv格式，csv文件以文本形式存儲數據。每一行數據是一條記錄。我們使用pandas類庫的read_csv方法讀取本地的csv文件作為一個dataframe。然后從datafram中分別創建自變量和因變量的矩陣和向量。

 

第三步：處理缺失的數據。我們得到的數據很少是完整的。數據可能因為各種原因丟失，為了不降低機器學習模型的性能，需要處理數據。我們可以用整列的平均值或者中間值替換丟失的數據。我們用sklearn.preprocessing庫中的Inputer類完成這項任務。

 

第四步：對分類數據進行編碼。分類數據指的是含有標簽值而不是數字值得變量。取值范圍通常是固定的。例如“YES”和“NO”不能用於模型的數學計算，所以需要編碼成數字。為數顯這一功能，我們從sklearn.preprocessing庫中導入LabelEncoder類。

 

第五步：拆分數據集為測試集合和訓練集合。把數據集拆分成兩個，一個是用來訓練模型的訓練集合，另一個是用來驗證模型的測試集合。兩種比例一般是80:20。我們導入sklearn.crossvalidation庫中的train_test_split()方法。

 

第六步：特征縮放。大部分模型算法使用兩點間的歐式近距離表示，但此特征在幅度、單位和范圍姿態問題上變化很大。在距離計算中，高幅度的特征比低幅度特征權重大。可用特征標准化或Z值歸一化解決。導入sklearn.preprocessing庫的StandardScalar類。

代碼如下：

1: 導入類庫

import numpy as np
import pandas as pd

2: 導入數據集
dataset = pd.read_csv('Data.csv')
X = dataset.iloc[ : , :-1].values
Y = dataset.iloc[ : , 3].values

3: 處理缺失的數據
from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values = "NaN", strategy = "mean", axis = 0)
imputer = imputer.fit(X[ : , 1:3])
X[ : , 1:3] = imputer.transform(X[ : , 1:3])

Step 4:編碼分類數據
from sklearn.preprocessing import LabelEncoder, OneHotEncoder
labelencoder_X = LabelEncoder()
X[ : , 0] = labelencoder_X.fit_transform(X[ : , 0])
Creating a dummy variable

onehotencoder = OneHotEncoder(categorical_features = [0])
X = onehotencoder.fit_transform(X).toarray()
labelencoder_Y = LabelEncoder()
Y =  labelencoder_Y.fit_transform(Y)

Step 5: 切分數據集成訓練數據和測試數據
from sklearn.cross_validation import train_test_split
X_train, X_test, Y_train, Y_test = train_test_split( X , Y , test_size = 0.2, random_state = 0)

Step 6: 特征縮放
from sklearn.preprocessing import StandardScaler
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.fit_transform(X_test)

 

本教程的測試數據請關注本人的公眾號獲取：