PCA降維算法

PCA主成分分析算法，是一種線性降維，將高維坐標系映射到低維坐標系中。

如何選擇低維坐標系呢？

通過協方差矩陣的特征值和特征向量，特征向量代表坐標系，特征值代表映射到新坐標的長度。

算法步驟：

輸入：樣本集D={x₁,x₂,...,x_m}；

　　　低維空間維數k

第一步：將樣本集中心化。每一列的特征值減去當前列的均值

第二步：求協方差矩陣的特征值和特征向量

　　　　協方差矩陣：矩陣×矩陣的轉置；

　　　　　　方法：np.dot(x, np.transpot(x))

　　　　特征值和特征向量：協方差矩陣特征分解。

　　　　　　方法一：np.linalg.eig()，返回：特征值，一維數組，沒有排序；特征向量，二維數組，列表示特征向量

　　　　　　方法二：np.linalg.svd()，返回：酉矩陣；奇異值，從大到小排序；酉矩陣

第三步：選取前k個特征值，對應的特征向量

　　　　新樣本集：對應的特征向量×中心化數據

輸出：降維后樣本集。

k選擇問題：

　　方差貢獻率：特征值與所有特征值總和的比值

　　累計貢獻率：前k個特征值和與所有特征值總和的比值

　　一般根據累計貢獻率選取k值。

代碼如下：

import numpy as np


def feature_Normalize(x):
    """
    歸一化數據
    (每個數據-當前列的均值)/當前列的標准差
    :param x: 樣本集
    :return: 歸一化后樣本集,均值,標准差
    """
    m, n = x.shape
    mean = np.zeros((1, n))
    std = np.zeros((1, n))
    # 計算各列均值
    mean = np.mean(x, axis=0)
    # 計算各列標准差
    std = np.std(x, axis=0)
    # 對每個特征值歸一化
    for i in range(n):
            x[:, i] = (x[:, i] - mean[i]) / std[i]
    return x, mean, std


def cal_eigenvalue(nor_x):
    """
    求樣本協方差矩陣的特征值和特征向量
    :param nor_x: 歸一化后的樣本集
    :return: 特征值,特征向量,排序索引號
    """
    m, n = nor_x.shape
    # 協方差矩陣
    sigma = np.dot(np.transpose(nor_x), nor_x)/(m - 1)
    # 求協方差矩陣的特征值和特征向量,eig_vec[:,i]是對應於eig_val[i]的特征向量
    eig_val, eig_vec = np.linalg.eig(sigma)
    index = eig_val.argsort()
    return eig_val, eig_vec, index


def pca(x, k):
    """
    提取前k個主成分
    :param x: 樣本集
    :param k: 前k個特征值
    :return: 返回降維后樣本,累計貢獻度,主成分索引
    """
    # 歸一化
    nor_x, mean, std = feature_Normalize(x)
    # 求特征值和特征向量
    eig_val, eig_vec, index = cal_eigenvalue(nor_x)
    eig_index = index[:-(k+1):-1]
    # 累計貢獻度
    sum_con = sum(eig_val[eig_index])/sum(eig_val)
    # 前k個特征值對應的特征向量
    k_eig_vec = eig_vec[:, eig_index]
    lowDData = np.dot(nor_x, k_eig_vec)
    return lowDData, sum_con, eig_index