Python機器學習：泰坦尼克號獲救預測一

數據集下載地址：

https://github.com/fayduan/Kaggle_Titanic/blob/master/train.csv

視頻地址：

http://study.163.com/course/courseLearn.htm?courseId=1003551009#/learn/video?lessonId=1004052093&courseId=1003551009

 

 

一、項目概要

1、應用

　　模式識別、數據挖掘（核心）、統計學習、計算機視覺、語言識別、自然語言處理

 

2、模式、流程

　　訓練樣本 --> 特征提取 --> 學習函數 --> 預測

二、Python實踐

1、應用的模塊

　　Numpy：科學計算庫

　　pandas：數據分析處理庫

　　Matplotlib：數據可視化庫

　　Scikit-learn：機器學習庫

 

2、數據源處理

① 導入數據：

　　

#coding: utf-8
import pandas
titanic = pandas.read_csv('train.csv')

② 對缺失數據的列進行填充：

#對於缺失的數據進行補充 median 填充中位數
titanic['Age'] = titanic['Age'].fillna(titanic['Age'].median())

③ 屬性轉換，把某些列的字符串值轉為數字項：

print titanic['Sex'].unique()
titanic.loc[titanic['Sex'] == 'male','Sex'] = 0
titanic.loc[titanic['Sex'] == 'female','Sex'] = 1

print titanic['Embarked'].unique()
titanic['Embarked'] = titanic['Embarked'].fillna('S')
titanic.loc[titanic['Embarked'] == 'S','Embarked'] = 0
titanic.loc[titanic['Embarked'] == 'C','Embarked'] = 1
titanic.loc[titanic['Embarked'] == 'Q','Embarked'] = 2

 

3、建立模型

① 引入機器學習庫，核心

from sklearn.linear_model import LinearRegression  #分類算法 線性回歸
from sklearn.cross_validation import KFold   #交叉驗證庫，將測試集進行切分驗證取平均值

② 實例化模型

predictors = ['Pclass','Sex','Age','SibSp','Parch','Fare','Embarked']   #用到的特征
alg = LinearRegression() #線性回歸模型實例化對象
kf = KFold(titanic.shape[0],n_folds=3,random_state=1) #將m個平均分成3份進行交叉驗證

③ 把數據傳入模型 預測結果

predictions = []
#for循環： 訓練集、測試集、交叉驗證
for train, test in kf:
    #print train
    #print test
    train_predictors = (titanic[predictors].iloc[train,:]) #將predictors作為測試特征
    #print train_predictors
    train_target = titanic['Survived'].iloc[train]
    #print train_target
    alg.fit(train_predictors,train_target)  #構建線性模型 樣本的x（訓練數據） 樣本的y（標簽值）
    test_prediction = alg.predict(titanic[predictors].iloc[test,:]) #預測結果值
    predictions.append(test_prediction)

 

4、算法概率計算

import numpy as np
#使用線性回歸得到的結果是在區間【0，1】上的某個值，需要將該值轉換成0或1
predictions = np.concatenate(predictions, axis=0)
predictions[predictions >.5] = 1
predictions[predictions <=.5] = 0
accury = sum(predictions[predictions == titanic['Survived']]) / len(predictions) #測試准確率 進行模型評估
print accury #精度值

 

5、集成算法 構造多個分類樹

① 構造多個分類器

from sklearn.linear_model import LogisticRegression #邏輯回歸
from sklearn import cross_validation
alg = LogisticRegression(random_state=1)
scores = cross_validation.cross_val_score(alg, titanic[predictors],titanic['Survived'],cv=3)
print scores.mean()

② 隨機森林

from sklearn.ensemble import RandomForestClassifier
from sklearn import cross_validation
predictions = ['Pclass','Sex','Age','SibSp','Parch','Fare','Embarked']
# Initialize our algorithm with the default paramters
# random_state = 1 表示此處代碼多運行幾次得到的隨機值都是一樣的，如果不設置，兩次執行的隨機值是不一樣的
# n_estimators  指定有多少顆決策樹，樹的分裂的條件是:
# min_samples_split 代表樣本不停的分裂，某一個節點上的樣本如果只有2個了 ，就不再繼續分裂了
# min_samples_leaf 是控制葉子節點的最小個數
alg = RandomForestClassifier(random_state=1,n_estimators=100,min_samples_split=4,min_samples_leaf=2)
#進行交叉驗證
kf = cross_validation.KFold(titanic.shape[0],n_folds=3,random_state=1)
scores = cross_validation.cross_val_score(alg,titanic[predictors],titanic['Survived'],cv=kf)
print scores.mean()

 

6、特征提取

# ## 關於特征提取問題 (非常關鍵)
# - 盡可能多的提取特征
# - 看不同特征的效果
# - 特征提取是數據挖掘里很- 要的一部分
# - 以上使用的特征都是數據里已經有的了，在真實的數據挖掘里我們常常沒有合適的特征，需要我們自己取提取
① 把多個特征組合成一個特征
titanic['Familysize'] = titanic['SibSp'] + titanic['Parch'] #家庭總共多少人
titanic['NameLength'] = titanic['Name'].apply(lambda x: len(x)) #名字的長度
import re

def get_title(name):
    title_reserch = re.search('([A-Za-z]+)\.',name)
    if title_reserch:
        return title_reserch.group(1)
    return ""
titles = titanic['Name'].apply(get_title)
#print pandas.value_counts(titles)

#將稱號轉換成數值表示
title_mapping = {"Mr":1,"Miss":2,"Mrs":3,"Master":4,"Dr":5,"Rev":6,"Col":7,"Major":8,"Mlle":9,"Countess":10,"Ms":11,"Lady":12,"Jonkheer":13,"Don":14,"Mme":15,"Capt":16,"Sir":17}
for k,v in title_mapping.items():
    titles[titles==k] = v
    #print (pandas.value_counts(titles))
titanic["titles"] = titles #添加title特征

② 進行特征選擇

# 進行特征選擇
# 特征重要性分析
# 分析 不同特征對 最終結果的影響
# 例如 衡量age列的重要程度時，什么也不干，得到一個錯誤率error1，
# 加入一些噪音數據，替換原來的值(注意，此時其他列的數據不變)，又得到一個一個錯誤率error2
# 兩個錯誤率的差值 可以體現這一個特征的重要性
import numpy as np
from sklearn.feature_selection import SelectKBest,f_classif#引入feature_selection看每一個特征的重要程度
import matplotlib.pyplot as plt

predictors = ['Pclass','Sex','Age','SibSp','Parch','Fare','Embarked','Familysize','NameLength','titles']
selector = SelectKBest(f_classif,k=5)
selector.fit(titanic[predictors],titanic['Survived'])
scores = -np.log10(selector.pvalues_)

③用視圖的方式展示

plt.bar(range(len(predictors)),scores)
plt.xticks(range(len(predictors)),predictors,rotation='vertical')
plt.show()

 

7、集成分類器

# 在競賽中常用的耍賴的辦法:集成多種算法，取最后每種算法的平均值，來減少過擬合
from sklearn.ensemble import GradientBoostingClassifier
import numpy as np
# GradientBoostingClassifier也是一種隨機森林的算法，可以集成多個弱分類器，然后變成強分類器
algorithas = [
        [GradientBoostingClassifier(random_state=1,n_estimators=25,max_depth=3),['Pclass','Sex','Age','SibSp','Parch','Fare','Embarked','Familysize','NameLength','titles']],
        [LogisticRegression(random_state=1),['Pclass','Sex','Age','SibSp','Parch','Fare','Embarked','Familysize','NameLength','titles']]
        ]
kf = KFold(titanic.shape[0],n_folds=3,random_state=1)
predictions = []
for train, test in kf:
   train_target = titanic['Survived'].iloc[train]
   full_test_predictions = []
   for alg,predictors in algorithas:
       alg.fit(titanic[predictors].iloc[train,:],train_target)
       test_prediction = alg.predict_proba(titanic[predictors].iloc[test,:].astype(float))[:,1]
       full_test_predictions.append(test_prediction)
   test_predictions = (full_test_predictions[0] + full_test_predictions[1]) / 2
   test_predictions[test_predictions >.5] = 1
   test_predictions[test_predictions <=.5] = 0
   predictions.append(test_predictions)
predictions = np.concatenate(predictions,axis=0)
accury = sum(predictions[predictions == titanic['Survived']]) / len(predictions)#測試准確率
print accury