機器學習：數據歸一化（Scaler）

數據歸一化（Feature Scaling）

一、為什么要進行數據歸一化

• 原則：樣本的所有特征，在特征空間中，對樣本的距離產生的影響是同級的；
• 問題：特征數字化后，由於取值大小不同，造成特征空間中樣本點的距離會被個別特征值所主導，而受其它特征的影響比較小；
• 例：特征1 = [1, 3, 2, 6, 5, 7, 9]，特征2 = [1000, 3000, 5000, 2000, 4000, 8000, 3000]，計算兩個樣本在特征空間的距離時，主要被特征2所決定；
• 定義：將所有的數據（具體操作時，對每一組特征數據進行分別處理）映射到同一個尺度中；
• 歸一化的過程，是算法的一部分；

 

二、數據歸一化的方法

　1）最值歸一化（normalization）

　　1、思路：把所有數據映射到0~1之間；

　　2、公式：

　　　

　　　# x為數據集中每一種特征的值；

　　　# 將數據集中的每一種特征都做映射；

　　3、特點：多適用於分布有明顯邊界的情況；如考試成績、人的身高、顏色的分布等，都有范圍；而不是些沒有范圍約定，或者范圍非常大的數據；

　　　# 明顯邊界：同一特征的數據大小相差不大；不會出現大部分數據在0~200之間，有個別數據在100000左右；

　　4、缺點：受outlier影響較大；

 

　2）Z-score（standardization）

　　1、思路：把所有數據歸一到均值為0方差為1的分布中；

　　2、公式：X_scale = (X - X_mean ) / σ

　　　# Xmean：特征的均值（均值就是平均值）；

　　　# σ：每組特征值的標准差；

　　　# X：每一個特征值；

　　　# Xscale：歸一化后的特征值；

　　3、特點1：使用於數據分布沒有明顯的邊界；（有可能存在極端的數據值）

　　　# 歸一化后，數據集中的每一種特征的均值為0，方差為1；

　　4、優點（相對於最值歸一化）：即使原數據集中有極端值，歸一化有的數據集，依然滿足均值為0方差為1，不會形成一個有偏的數據；

 

三、訓練數據集的歸一化

　　1）最值歸一化：

import numpy as np

# 對一維向量做歸一化
x = np.random.randint(0, 100, size = 100)
x = np.array(x, dtype=float)
x = (x - np.min(x)) / (np.max(x) - np.min(x))


# 對二維矩陣做歸一化
X = np.random.randint(0, 100, (50, 2))
X = np.array(X, dtype=float)
# 分別對每一列進行最值歸一化，方式與向量做最值歸一化一樣

　

　2）均值方差歸一化：

import numpy as np

X2 = np.random.randint(0, 100, (50, 2))
X2 = np.array(X2, dtype=float)
X2[:,0] = (X2[:,0] - np.mean(X2[:,0])) / np.std(X2[:,0])
X2[:,1] = (X2[:,1] - np.mean(X2[:,1])) / np.std(X2[:,1])

　　# np.mean(array)：求向量的平均值；

　　# np.std(array)：求向量的標准差；

 

四、測試數據集的歸一化

　1）問題

• 訓練數據集歸一化，用於訓練模型，測試數據集如何歸一化？

　2）方案

• 不能直接對測試數據集按公式進行歸一化，而是要使用訓練數據集的均值和方差對測試數據集歸一化；

　3）原因

• 原因1：真實的環境中，數據會源源不斷輸出進模型，無法求取均值和方差的；
• 原因2：訓練數據集是模擬真實環境中的數據，不能直接使用自身的均值和方差；
• 原因3：真實環境中，無法對單個數據進行歸一化；

　　# 對數據的歸一化也是算法的一部分；

　4）方式

• (X_test - mean_train) / std_train

1. X_test：測試數據集；
2. mean_train：訓練數據集的均值；
3. std_train：訓練數據集的標准差；

 

　

五、使用scikit-learn中的Scaler類

　1）調用的步驟

• scikit-learn中將訓練數據集的均值和方差封裝在了類Scalar中；

1. fit：根據訓練數據集獲取均值和方差，scikit-learn中返回一個Scalar對象；
2. transform：對訓練數據集、測試數據集進行歸一化；

 

　2）代碼實現

import numpy as np
from sklearn import datasets

iris = datasets.load_iris()
X = iris.data
y = iris.target

# 1）歸一化前，將原始數據分割
from ALG.train_test_split import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, seed = 666)

# 2）導入均值方差歸一化模塊：StandardScaler
from sklearn.preprocessing import StandardScaler

# 實例化，不需要傳入參數
standardScaler = StandardScaler()

# 3）fit過程：返回StandardScaler對象，對象內包含訓練數據集的均值和方差
# fit過程，傳入訓練數據集；
standardScaler.fit(X_train)
# 輸出：StandardScaler(copy=True, with_mean=True, with_std=True)

# fit后可通過standardScaler查看均值和標准差
# standardScaler.mean_：查看均值
# standardScaler.scale_：查看標准差

# 4）transform：對訓練數據集和測試數據集進行歸一化,分別傳入對應的數據集
# 歸一化並沒有改變訓練數據集，而是又生成一個新的矩陣，除非將新生成的數據集賦給原數據集,一般不改變原數據
X_train_standard = standardScaler.transform(X_train)
X_test_standard = standardScaler.transform(X_test)

# 接下來就是使用歸一化后的數據集訓練並測試模型

 

　3）注意

1. 步驟：數據分割——導入並實例化歸一化模塊——fit（得到均值和方差）——transform（得到歸一化后的數據集）；
2. 實例化StandardScaler()時，不需要傳入參數；
3. 歸一化並沒有改變數據集，而是又生成一個新的矩陣，一般不要改變原數據；

 

　4）實現scikit-learn的StandardScaler類中的內部邏輯

import numpy as np

class StandardScaler:

    def __init__(self):
        self.mean_ = None
        self.scale_ = None

    def fit(self, X):
        """根據訓練數據集獲取均值和標准差"""
        assert X.ndim == 2,"the dimension of X must be 2"
        self.mean_ = np.array([np.mean(X[:,i]) for i in range(0,X.shape[1])])
        self.scale_ = np.array([np.std(X[:,i]) for i in range(0,X.shape[1])])

        return self

    def transform(self, X):
        """將X根據這個StandardScaler進行均值方差歸一化處理"""
        assert X_train.ndim == 2, "the dimension of X_train must be 2"
        assert self.mean_ is not None and self.scale_ is not None,\
            "must fit before transform"
        assert X.shape[1] == len(self.mean_),\
            "the feature number of X must be equal to mean_ and std_"

        reasX = np.empty(shape=X.shape, dtype=float)
        for col in range(X.shape[1]):
            resX[:,col] = (X[:,col] - self.mean_[col]) / self.scale_[col]

        return resX