原创博文，转载请注明出处！ 包裹式特征选择法的特征选择过程与学习器相关，使用学习器的性能作为特征选择的评价准则，选择最有利于学习器性能的特征子集。常用的包裹式特征选择法有递归特征消除法RFE。 # 递归特征消除法 递归特征消除法RFE 递归特征消除法的英文全名 ...

# 过滤式特征选择法的原理 使用发散性或相关性指标对各个特征进行评分，选择分数大于阈值的特征或者选择前K个分数最大的特征。具体来说，计算每个特征的发散性，移除发散性小于阈值的特征/选择前k个分数最大的特征；计算每个特征与标签的相关性，移除相关性小于阈值的特征/选择前k个分数 ...

使用方差选择法，先要计算各个特征的方差，然后根据阈值，选择方差大于阈值的特征。如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。 方差过滤可以使用在巨大的稀疏矩阵中，稀疏矩阵中可以考虑将方差的过滤阈值设置为0，这样就会 ...

3.2 Embedded嵌入法 嵌入法是一种让算法自己决定使用哪些特征的方法，即特征选择和算法训练同时进行。在使用嵌入法时，我们先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据权值系数从大到小选择特征。这些权值系数往往代表了特征对于模型的某种贡献或某种重要性，比如决策树和树 ...

一、正则化 1.L1/Lasso 　　L1正则方法具有稀疏解的特性，因此天然具备特征选择的特性，但是要注意，L1没有选到的特征不代表不重要，原因是两个具有高相关性的特征可能只保留了一个，如果要确定哪个特征重要应再通过L2正则方法交叉检验。 举例：下面的例子在波士顿房价数据上运行了Lasso ...

官网的一个例子（需要自己给出计算公式、和k值） 参数 1、score_func ...

概述 针对某种数据，通过一定的特征提取手段，或者记录观测到的特征，往往得到的是一组特征，但其中可能存在很多特征与当前要解决的问题并不密切等问题。另一方面，由于特征过多，在处理中会带来计算量大、泛化能力差等问题，即所谓的“维数灾难”。 特征选择便是从给定的特征集合中选出相关特征子集的过程 ...

1、介绍 　　Max-Relevance and Min-Redundancy，最大相关—最小冗余。最大相关性保证特征和类别的相关性最大；最小冗余性确保特征之间的冗余性最小。它不仅考虑到了特征和标注之间的相关性，还考虑到了特征和特征之间的相关性。度量标准使用的是互信息(Mutual ...