遗传算法（Genetic algorithm）遵循适者生存、优胜劣汰的法则，即寻优过程中保留有用的，去除无用的。在科学和生产实践中表现为在所有可能的解决方法中找出最符合该问题所要求的条件的解决方法，即找出一个最优解。 遗传算法有4个参数需要提前设定，一般在以下范围内进行设置： （1）群体大小 ...

遗传算法适应度的选择： 机器学习的适应度可以是任何性能指标 —准确度，精确度，召回率，F1分数等等。根据适应度值，我们选择表现最佳的父母（“适者生存”），作为幸存的种群。 交配： 存活下来的群体中的父母将通过交配产生后代，使用两个步骤的组合:交叉/重组和突变。 交叉：交配父母的基因(参数 ...

引言 　　在这篇文章中，我们将探讨决策树模型的最重要参数，以及它们如何防止过度拟合和欠拟合，并且将尽可能少地进行特征工程。我们将使用来自kaggle的泰坦尼克号数据。 导入数据 查看缺失值 把Cabin’, ‘Name’ and ‘Ticket’移除 ...

信息增益。一般说使用默认的基尼系数"gini"就可以了，即CART算法。除非你更喜欢类似ID3, C4.5 ...

1. 决策树算法 1.1 背景知识 信息量\(I(X)\)：指一个样本/事件所蕴含的信息，如果一个事情的概率越大，那么就认为该事件所蕴含的信息越少，确定事件不携带任何信息量 \(I(X)=-log(p(x))\) 信息熵\(H(X)\)：用来描述系统信息量 ...

算法思想 决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。 其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。 使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出 ...

利用ID3算法来判断某天是否适合打网球。 （1）类别属性信息熵的计算由于未分区前，训练数据集中共有14个实例， 其中有9个实例属于yes类（适合打网球的），5个实例属于no类（不适合打网球）， 因此分区前类别属性的熵为： （2）非类别属性信息熵 ...

###决策树基础概念 在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。Entropy （熵） 表示的是系统的凌乱程度，它是决策树的决策依据，熵的概念来源于香侬的信息论。 ###决策树的决策过程 选择分裂特征：根据某一指标（信息增益，信息增益比或基尼 ...