常見分類算法模型的運用與比較——K近鄰、朴素貝葉斯、決策樹、隨機森林

from sklearn.datasets import load_iris, fetch_20newsgroups, load_boston
from sklearn.model_selection import train_test_split, GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier, export_graphviz
from sklearn.ensemble import RandomForestClassifier
import pandas as pd

# li = load_iris()

# print("獲取特征值")
# print(li.data)
# print("目標值")
# print(li.target)
# print(li.DESCR)

# 注意返回值, 訓練集 train  x_train, y_train        測試集  test   x_test, y_test
# x_train, x_test, y_train, y_test = train_test_split(li.data, li.target, test_size=0.25)
#
# print("訓練集特征值和目標值：", x_train, y_train)
# print("測試集特征值和目標值：", x_test, y_test)

# news = fetch_20newsgroups(subset='all')
#
# print(news.data)
# print(news.target)
#
# lb = load_boston()
#
# print("獲取特征值")
# print(lb.data)
# print("目標值")
# print(lb.target)
# print(lb.DESCR)

k-近鄰算法采用測量不同特征值之間的距離來進行分類

• 優點：精度高、對異常值不敏感、無數據輸入假定
• 缺點：計算復雜度高、空間復雜度高
  使用數據范圍：數值型和標稱型

def knncls():
    """
    K-近鄰預測用戶簽到位置
    :return:None
    """
    # 讀取數據
    data = pd.read_csv("train.csv")

    # print(data.head(10))

    # 處理數據
    # 1、原數據太大，縮小數據,查詢數據篩選
    data = data.query("x > 1.0 &  x < 1.25 & y > 2.5 & y < 2.75")

    # 處理時間的數據
    time_value = pd.to_datetime(data['time'], unit='s')

    print(time_value)

    # 把日期格式轉換成 字典格式
    time_value = pd.DatetimeIndex(time_value)

    # 構造一些特征
    data['day'] = time_value.day
    data['hour'] = time_value.hour
    data['weekday'] = time_value.weekday

    # 把時間戳特征刪除
    data = data.drop(['time'], axis=1)

    print(data)

    # 把簽到數量少於n個目標位置刪除
    place_count = data.groupby('place_id').count()

    tf = place_count[place_count.row_id > 3].reset_index()

    data = data[data['place_id'].isin(tf.place_id)]

    # 取出數據當中的特征值和目標值
    y = data['place_id']

    x = data.drop(['place_id'], axis=1)

    # 進行數據的分割訓練集合測試集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 特征工程（標准化）
    std = StandardScaler()

    # 對測試集和訓練集的特征值進行標准化
    x_train = std.fit_transform(x_train)

    x_test = std.transform(x_test)

    # 進行算法流程 # 超參數
    knn = KNeighborsClassifier()

    # # fit， predict,score
    # knn.fit(x_train, y_train)
    #
    # # 得出預測結果
    # y_predict = knn.predict(x_test)
    #
    # print("預測的目標簽到位置為：", y_predict)
    #
    # # 得出准確率
    # print("預測的准確率:", knn.score(x_test, y_test))

    # 構造一些參數的值進行搜索
    param = {"n_neighbors": [3, 5, 10]}

    # 進行網格搜索
    gc = GridSearchCV(knn, param_grid=param, cv=2)

    gc.fit(x_train, y_train)

    # 預測准確率
    print("在測試集上准確率：", gc.score(x_test, y_test))

    print("在交叉驗證當中最好的結果：", gc.best_score_)

    print("選擇最好的模型是：", gc.best_estimator_)

    print("每個超參數每次交叉驗證的結果：", gc.cv_results_)

    return None

if __name__ == "__main__":
    knncls()

def naviebayes():
    """
    朴素貝葉斯進行文本分類
    :return: None
    """
    news = fetch_20newsgroups(subset='all')

    # 進行數據分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.25)

    # 對數據集進行特征抽取
    tf = TfidfVectorizer()

    # 以訓練集當中的詞的列表進行每篇文章重要性統計['a','b','c','d']
    x_train = tf.fit_transform(x_train)

    print(tf.get_feature_names())

    x_test = tf.transform(x_test)

    # 進行朴素貝葉斯算法的預測
    mlt = MultinomialNB(alpha=1.0)

    print(x_train.toarray())

    mlt.fit(x_train, y_train)

    y_predict = mlt.predict(x_test)

    print("預測的文章類別為：", y_predict)

    # 得出准確率
    print("准確率為：", mlt.score(x_test, y_test))

    print("每個類別的精確率和召回率：", classification_report(y_test, y_predict, target_names=news.target_names))

    return None

if __name__ == "__main__":
    naviebayes()

決策樹是一種基本的分類方法，也可以用於回歸。決策樹模型呈樹形結構。在分類問題中，表示基於特征對實例進行分類的過程，它可以認為是if-then規則的集合。在決策樹的結構中，每一個實例都被一條路徑或者一條規則所覆蓋。通常決策樹包括三個步驟：特征選擇、決策樹的生成和決策樹的修剪

• 優點：計算復雜度不高，輸出結果易於理解，對中間值的缺失不敏感，可以處理邏輯回歸等不能解決的非線性特征數據
• 缺點：可能產生過度匹配問題
  適用數據類型：數值型和標稱型

隨機森林是一個包含多個決策樹的分類器，並且其輸出的類別是由個別樹輸出的類別的眾數而定。利用相同的訓練數搭建多個獨立的分類模型，然后通過投票的方式，以少數服從多數的原則作出最終的分類決策。例如, 如果你訓練了5個樹, 其中有4個樹的結果是True, 1個數的結果是False, 那么最終結果會是True

數據說明

泰坦尼克號數據，來源

目標值為個別乘客的生存狀態。

數據集中的特征是票的類別，存活，乘坐班，年齡，登陸，home.dest，房間，票，船和性別。

乘坐班是指乘客班（1，2，3），是社會經濟階層的代表。

其中age數據存在缺失。

def decision():
    """
    決策樹對泰坦尼克號進行預測生死
    :return: None
    """
    # 獲取數據
    titan = pd.read_csv("http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt")

    # 處理數據，找出特征值和目標值
    x = titan[['pclass', 'age', 'sex']]

    y = titan['survived']

#     print(x)
    # 缺失值處理
    x['age'].fillna(x['age'].mean(), inplace=True)

    # 分割數據集到訓練集合測試集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

    # 進行處理（特征工程）特征-》類別-》one_hot編碼
    dict = DictVectorizer(sparse=False)

    x_train = dict.fit_transform(x_train.to_dict(orient="records"))

    print(dict.get_feature_names())

    x_test = dict.transform(x_test.to_dict(orient="records"))

    # print(x_train)
    # 用決策樹進行預測
    # dec = DecisionTreeClassifier()
    #
    # dec.fit(x_train, y_train)
    #
    # # 預測准確率
    # print("預測的准確率：", dec.score(x_test, y_test))
    #
    # # 導出決策樹的結構
    # export_graphviz(dec, out_file="./tree.dot", feature_names=['年齡', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', '女性', '男性'])

    # 隨機森林進行預測 （超參數調優）
    rf = RandomForestClassifier()

    param = {"n_estimators": [120, 200, 300, 500, 800, 1200], "max_depth": [5, 8, 15, 25, 30]}

    # 網格搜索與交叉驗證
    gc = GridSearchCV(rf, param_grid=param, cv=2)

    gc.fit(x_train, y_train)

    print("准確率：", gc.score(x_test, y_test))

    print("查看選擇的參數模型：", gc.best_params_)

    return None


if __name__ == "__main__":
    decision()

['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male']
准確率： 0.8689057750759878
查看選擇的參數模型： {'max_depth': 5, 'n_estimators': 120}