前言 这是百度的周末AI课程的第三讲。主要讲的是如何进行特征选择，分成两部分的内容，第一部分是特征选择的理论，第二部分是代码。 理论部分：一个典型的机器学习任务是通过样本的特征来预测样本所对应的值。特征过多会导致模型过于复杂，从而导致过拟合；而特征过少则会导致模型过于简单，从而导致欠拟合 ...

曾经的我只知道，这台电脑缺一个好的显卡；现在的我还知道，原来这台电脑还缺一个好的CPU。 ——作者 遗传算法介绍 源码 一、算法 1.初始化种群 一个种群有好几条染色体 一条染色体大概长这样：[0,1,1,0,0,1,0,1,1,0,1] 1表示选择这个特征，0表示不选择 ...

...

3.2 Embedded嵌入法 嵌入法是一种让算法自己决定使用哪些特征的方法，即特征选择和算法训练同时进行。在使用嵌入法时，我们先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据权值系数从大到小选择特征。这些权值系数往往代表了特征对于模型的某种贡献或某种重要性，比如决策树和树 ...

一、关于特征选择 主要参考连接为：参考链接，里面有详细的特征选择内容。 介绍 特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(irrelevant)或冗余(redundant )的特征，从而达到减少特征个数，提高模型精确度，减少运行时间的目的。另一方 ...

　　在做文本挖掘，特别是有监督的学习时，常常需要从文本中提取特征，提取出对学习有价值的分类，而不是把所有的词都用上，因此一些词对分类的作用不大，比如“的、是、在、了”等停用词。这里介绍两种常用的特征选择方法： 互信息 　　一个常用的方法是计算文档中的词项t与文档类别c的互信息MI，MI度量 ...

曾经的我只知道，这台电脑缺一个好的显卡；现在的我还知道，原来这台电脑还缺一个好的CPU。 ——作者 模拟退火算法介绍 源码 一、算法 1.生成初始随机解x 一个解x大概长这样：[0,1,1,0,0,1,0,1,1,0,1] 1表示选择这个特征，0表示不选择这个特征 解的长度 ...

毫无疑问，解决一个问题最重要的是恰当选取特征、甚至创造特征的能力，这叫做特征选取和特征工程。对于特征选取工作，我个人认为分为两个方面： 1）利用python中已有的算法进行特征选取。 2）人为分析各个变量特征与目标值之间的关系，包括利用图表等比较直观的手段方法，剔除无意义或者说不重要 ...