旋轉隨機森林算法

 

　　當輸入數據中存在非線性關系的時候，基於線性回歸的模型就會失效，而基於樹的算法則不受數據中非線性關系的影響，基於樹的方法最大的一個困擾時為了避免過擬合而對樹進行剪枝的難度，對於潛在數據中的噪聲，大型的樹傾向於受影響，導致低偏差（過度擬合）或高方差（極度不擬合）。不過如果我們生成大量的樹，最終的預測值采用集成所有樹產生的輸出的平均值，就可以避免方差的問題。

1. 隨機森林：集成技術，采用大量的樹來建模，但這里我們要保證樹之間沒有相互關聯，不能選擇所有屬性，而是隨機選擇一個屬性的子集給某個樹。雖然我們再隨機森林中構建最大深度的樹，這樣它們可以很好適應自舉的樣本，得到的偏差較低，后果是引入了高方差，但通過構建大量樹，使用平均法則作為最后的預測值，可以解決方差問題。

2. 超隨機樹：比隨機森林引入更多隨機化，可以更高效地解決方差問題，它的運算復雜度也略有降低。隨機森林是自舉部分實例來給每棵樹，但超隨機樹是使用完整的訓練集數據，另外關於給定K作為給定節點隨機選擇的屬性數量，它隨機選擇割點，不考慮目標變量，不像隨機森林那樣基於基尼不純度或熵標准。這種更多隨機化帶來的架構可以更好的降低方差。而且由於划分節點不需要相關標准，因此不需要花費時間來鑒定最適合用來划分數據集的屬性。

3. 旋轉森林：前兩種需要集成大量的樹才能獲得好效果，而旋轉森林可以用較小的樹來獲取相同甚至更好的效果。算法場景是投票場景，屬性被划分為大小相等的K個不重疊的子集，然后結合PCA、旋轉矩陣來完成模型的構建。

下面是代碼：

# -*- coding: utf-8 -*-
"""
Created on Wed Apr 11 17:01:22 2018
@author: Alvin AI
"""

from sklearn.datasets import make_classification
from sklearn.metrics import classification_report
from sklearn.cross_validation import train_test_split
from sklearn.decomposition import PCA
from sklearn.tree import DecisionTreeClassifier
import numpy as np


# 加載數據
def get_data():
    no_features = 50
    redundant_features = int(0.1 * no_features)
    informative_features = int(0.6 * no_features)
    repeated_features = int(0.1 * no_features)
    x, y = make_classification(n_samples=500, n_features=no_features, \
                               flip_y=0.03, n_informative=informative_features, \
                               n_redundant=redundant_features, \
                               n_repeated=repeated_features, random_state=7)
    return x, y


# 得到隨機子集
def get_random_subset(iterable, k):
    subsets = []
    iteration = 0
    np.random.shuffle(iterable)  # 打亂特征索引
    subset = 0
    limit = len(iterable) / k
    while iteration < limit:
        if k <= len(iterable):
            subset = k
        else:
            subset = len(iterable)
        subsets.append(iterable[-subset:])
        del iterable[-subset:]
        iteration += 1
    return subsets


# 建立旋轉森林模型
def build_rotationtree_model(x_train, y_train, d, k):
    models = []  # 決策樹
    r_matrices = []  # 與樹相關的旋轉矩陣
    feature_subsets = []  # 迭代中用到的特征子集
    for i in range(d):
        x, _, _, _ = train_test_split(x_train, y_train, test_size=0.3, random_state=7)
        # 特征的索引
        feature_index = range(x.shape[1])
        # 獲取特征的子集
        # 10個子集，每個子集包含5個索引
        random_k_subset = get_random_subset(feature_index, k)  # 10個子集
        feature_subsets.append(random_k_subset)  # 25個樹，每個樹10個子集
        R_matrix = np.zeros((x.shape[1], x.shape[1]), dtype=float)  # 旋轉矩陣
        for each_subset in random_k_subset:
            pca = PCA()
            x_subset = x[:, each_subset]  # 提取出子集內索引對應的x值
            pca.fit(x_subset)  # 主成分分析
            for ii in range(0, len(pca.components_)):
                for jj in range(0, len(pca.components_)):
                    R_matrix[each_subset[ii], each_subset[jj]] = \
                        pca.components_[ii, jj]
        x_transformed = x_train.dot(R_matrix)

        model = DecisionTreeClassifier()
        model.fit(x_transformed, y_train)
        models.append(model)
        r_matrices.append(R_matrix)
    return models, r_matrices, feature_subsets


def model_worth(models, r_matrices, x, y):
    predicted_ys = []
    for i, model in enumerate(models):
        x_mod = x.dot(r_matrices[i])
        predicted_y = model.predict(x_mod)
        predicted_ys.append(predicted_y)

        predicted_matrix = np.asmatrix(predicted_ys)  # 轉化為矩陣 25*350

        final_prediction = []
        for i in range(len(y)):
            pred_from_all_models = np.ravel(predicted_matrix[:, i])  # 將多維數組降為一維
            non_zero_pred = np.nonzero(pred_from_all_models)[0]  # nonzeros(a)返回數組a中值不為零的元素的下標
            is_one = len(non_zero_pred) > len(models) / 2  # 如果非0預測大於模型內樹的總數的一半則為1
            final_prediction.append(is_one)
        print classification_report(y, final_prediction)
    return predicted_matrix


# 主函數
if __name__ == "__main__":
    x, y = get_data()
    # 數據集划分
    x_train, x_test_all, y_train, y_test_all = train_test_split(x, y, \
                                                                test_size=0.3, random_state=9)
    x_dev, x_test, y_dev, y_test = train_test_split(x_test_all, y_test_all, \
                                                    test_size=0.3, random_state=9)
    models, r_matrices, features = build_rotationtree_model(x_train, y_train, 25, 5)  # 輸的數量25，要用的特征子集5
    predicted_matrix1 = model_worth(models, r_matrices, x_train, y_train)
    predicted_matrix2 = model_worth(models, r_matrices, x_dev, y_dev)

詳情參見https://blog.csdn.net/qq_33704653/article/details/80090175