sklearn-數據預處理scale

python機器學習-乳腺癌細胞挖掘（博主親自錄制視頻,包含數據預處理scale）

https://study.163.com/course/introduction.htm?courseId=1005269003&utm_campaign=commission&utm_source=cp-400000000398149&utm_medium=share

數據預處理方法包括scale,normalization,Binarizer

 

# -*- coding: utf-8 -*-
"""
Created on Sat Apr 14 09:09:41 2018

@author:Toby 
standardScaler==features with a mean=0 and variance=1
minMaxScaler==features in a 0 to 1 range
normalizer==feature vector to a euclidean length=1

normalization
bring the values of each feature vector on a common scale
L1-least absolute deviations-sum of absolute values(on each row)=1;it is insensitive to outliers
L2-Least squares-sum of squares(on each row)=1;takes outliers in consideration during traing

"""

from sklearn import preprocessing
import numpy as np

data=np.array([[2.2,5.9,-1.8],[5.4,-3.2,-5.1],[-1.9,4.2,3.2]])
bindata=preprocessing.Binarizer(threshold=1.5).transform(data)
print('Binarized data:',bindata)

#mean removal
print('Mean(before)=',data.mean(axis=0))
print('standard deviation(before)=',data.std(axis=0))

#features with a mean=0 and variance=1
scaled_data=preprocessing.scale(data)
print('Mean(before)=',scaled_data.mean(axis=0))
print('standard deviation(before)=',scaled_data.std(axis=0))
print('scaled_data:',scaled_data)
'''
scaled_data: [[ 0.10040991  0.91127074 -0.16607709]
 [ 1.171449   -1.39221918 -1.1332319 ]
 [-1.27185891  0.48094844  1.29930899]]
'''

#features in a 0 to 1 range
minmax_scaler=preprocessing.MinMaxScaler(feature_range=(0,1))
data_minmax=minmax_scaler.fit_transform(data)
print('MinMaxScaler applied on the data:',data_minmax)
'''
MinMaxScaler applied on the data: [[ 0.56164384  1.          0.39759036]
 [ 1.          0.          0.        ]
 [ 0.          0.81318681  1.        ]]
'''

data_l1=preprocessing.normalize(data,norm='l1')
data_l2=preprocessing.normalize(data,norm='l2')
print('l1-normalized data:',data_l1)
'''
[[ 0.22222222  0.5959596  -0.18181818]
 [ 0.39416058 -0.23357664 -0.37226277]
 [-0.20430108  0.4516129   0.34408602]]
'''
print('l2-normalized data:',data_l2)
'''
[[ 0.3359268   0.90089461 -0.2748492 ]
 [ 0.6676851  -0.39566524 -0.63059148]
 [-0.33858465  0.74845029  0.57024784]]
'''

數據處理——One-Hot Encoding

一、One-Hot Encoding

    One-Hot編碼，又稱為一位有效編碼，主要是采用 位狀態寄存器來對 個狀態進行編碼，每個狀態都由他獨立的寄存器位，並且在任意時候只有一位有效。

    在實際的機器學習的應用任務中，特征有時候並不總是連續值，有可能是一些分類值，如性別可分為“male”和“female”。在機器學習任務中，對於這樣的特征，通常我們需要對其進行特征數字化，如下面的例子：

有如下三個特征屬性：

• 性別：["male"，"female"]
• 地區：["Europe"，"US"，"Asia"]
• 瀏覽器：["Firefox"，"Chrome"，"Safari"，"Internet Explorer"]

對於某一個樣本，如["male"，"US"，"Internet Explorer"]，我們需要將這個分類值的特征數字化，最直接的方法，我們可以采用序列化的方式：[0,1,3]。但是這樣的特征處理並不能直接放入機器學習算法中。

二、One-Hot Encoding的處理方法

    對於上述的問題，性別的屬性是二維的，同理，地區是三維的，瀏覽器則是思維的，這樣，我們可以采用One-Hot編碼的方式對上述的樣本“["male"，"US"，"Internet Explorer"]”編碼，“male”則對應着[1，0]，同理“US”對應着[0，1，0]，“Internet Explorer”對應着[0,0,0,1]。則完整的特征數字化的結果為：[1,0,0,1,0,0,0,0,1]。這樣導致的一個結果就是數據會變得非常的稀疏。

 

 

 python機器學習生物信息學系列課（博主錄制）：http://dwz.date/b9vw

歡迎關注博主主頁，學習python視頻資源