機器學習之路：python 特征降維 特征篩選 feature_selection

 

特征提取：
    特征降維的手段
    拋棄對結果沒有聯系的特征
    拋棄對結果聯系較少的特征
    以這種方式，降低維度
    
數據集的特征過多，有些對結果沒有任何關系，
這個時候，將沒有關系的特征刪除，反而能獲得更好的預測結果

下面使用決策樹，預測泰坦尼克號幸存情況，
對不同百分比的篩選特征，進行學習和預測，比較准確率

python3學習使用api

使用到聯網的數據集，我已經下載到本地，可以到我的git中下載數據集

git: https://github.com/linyi0604/MachineLearning

代碼：

import pandas as pd
from sklearn.cross_validation import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier
from sklearn import feature_selection
from sklearn.cross_validation import cross_val_score
import numpy as np
import pylab as pl

'''
特征提取：
    特征降維的手段
    拋棄對結果沒有聯系的特征
    拋棄對結果聯系較少的特征
    以這種方式，降低維度
    
數據集的特征過多，有些對結果沒有任何關系，
這個時候，將沒有關系的特征刪除，反而能獲得更好的預測結果

下面使用決策樹，預測泰坦尼克號幸存情況，
對不同百分比的篩選特征，進行學習和預測，比較准確率
'''

# 1 准備數據
titanic = pd.read_csv("../data/titanic/titanic.txt")
# 分離數據特征與目標
y = titanic["survived"]
x = titanic.drop(["row.names", "name", "survived"], axis=1)
# 對缺失值進行補充
x['age'].fillna(x['age'].mean(), inplace=True)
x.fillna("UNKNOWN", inplace=True)

# 2 分割數據集 25%用於測試 75%用於訓練
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25, random_state=33)

# 3 類別型特征向量化
vec = DictVectorizer()
x_train = vec.fit_transform(x_train.to_dict(orient='record'))
x_test = vec.transform(x_test.to_dict(orient='record'))
# 輸出處理后向量的維度
# print(len(vec.feature_names_))  # 474

# 4 使用決策樹對所有特征進行學習和預測
dt = DecisionTreeClassifier(criterion='entropy')
dt.fit(x_train, y_train)
print("全部維度的預測准確率：", dt.score(x_test, y_test))  # 0.8206686930091185

# 5 篩選前20%的特征，使用相同配置的決策樹模型進行評估性能
fs = feature_selection.SelectPercentile(feature_selection.chi2, percentile=20)
x_train_fs = fs.fit_transform(x_train, y_train)
x_test_fs = fs.transform(x_test)
dt.fit(x_train_fs, y_train)
print("前20%特征的學習模型預測准確率：", dt.score(x_test_fs, y_test))     # 0.8237082066869301

# 6 通過交叉驗證 按照固定間隔百分比篩選特征， 展示性能情況
percentiles = range(1, 100, 2)
results = []
for i in percentiles:
    fs = feature_selection.SelectPercentile(feature_selection.chi2, percentile=i)
    x_train_fs = fs.fit_transform(x_train, y_train)
    scores = cross_val_score(dt, x_train_fs, y_train, cv=5)
    results = np.append(results, scores.mean())
# print(results)
'''
[0.85063904 0.85673057 0.87501546 0.88622964 0.86284271 0.86489384
 0.87303649 0.86689342 0.87098536 0.86690373 0.86895485 0.86083282
 0.86691404 0.86488353 0.86895485 0.86792414 0.86284271 0.86995465
 0.86486291 0.86385281 0.86384251 0.86894455 0.86794475 0.86690373
 0.86488353 0.86489384 0.86590394 0.87300557 0.86995465 0.86793445
 0.87097506 0.86998557 0.86692435 0.86892393 0.86997526 0.87098536
 0.87198516 0.86691404 0.86691404 0.87301587 0.87202639 0.8648423
 0.86386312 0.86388374 0.86794475 0.8618223  0.85877139 0.86285302
 0.86692435 0.8577819 ]
'''
# 找到最佳性能的篩選百分比
opt = np.where(results == results.max())[0][0]
print("最高性能的篩選百分比是：%s%%" % percentiles[opt])  # 7

pl.plot(percentiles, results)
pl.xlabel("特征篩選的百分比")
pl.ylabel("准確率")
pl.show()

生成的准確率圖：