统计学习方法——KD树K近邻搜索
李航老师书上的的算法说明没怎么看懂，看了网上的博客，悟出一套循环（建立好KD树以后的K近邻搜索），我想应该是这样的（例子是李航《统计学习算法》第三章56页；例3.3）： 步骤 结点查询标记 栈内元素（本次循环结束后） 最近点 ...
原文：统计学习方法学习（四）--KNN及kd树的java实现
K近邻法 基本概念 K近邻法，是一种基本分类和回归规则。根据已有的训练数据集 含有标签 ，对于新的实例，根据其最近的k个近邻的类别，通过多数表决的方式进行预测。 模型相关 . 距离的度量方式 定义距离 欧式距离：p 。 曼哈顿距离：p 。 各坐标的最大值：p 。 . K值的选择 通常使用交叉验证法来选取最优的k值。 k值大小的影响： k越小，只有距该点较近的实例才会起作用，学习的近似误差会较小。但 ...
2017-10-07 20:08 2 993 推荐指数：
相关推荐
统计学习方法---K-近邻（kd树实现）
https://blog.csdn.net/App_12062011/article/details/51986805 一：kd树构建 以二维平面点((x,y))的集合(2,3)，(5,4)，(9,6)，(4,7)，(8,1)，(7,2)为例结合下图来说明k-d tree的构建过程 ...
《统计学习方法》——从零实现决策树
决策树 决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶子节点代表一种分类结果。 决策树学习的三个步骤： 特征选择 通常使用信息增益最大、信息增益比最大或基尼指数最小作为特征选择的准则。 树的生成 决策树的生成 ...
李航-统计学习方法-笔记-3：KNN
KNN算法 基本模型：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例。这k个实例的多数属于某个类，就把输入实例分为这个类。 KNN没有显式的学习过程。 KNN使用的模型实际上对应于特征空间的划分。特征空间中，对每个训练实例点\(x_i\)，距离该点比其它点更近 ...
统计学习方法——实现AdaBoost
Adaboost 适用问题：二分类问题 模型：加法模型 \[f(x)=\sum_{m=1}^{M} \alpha_{m} G_{m}(x) \] 策略：损失函数为指数函 ...
统计学习方法（一）
等组成。 统计学习方法包括假设空间、模型选择的准则、模型学习的算法，这些统称为统计学习方法的三要素： ...
5、统计学习方法--决策树
决策树（ID3、C4.5、CART） 1、决策树基本介绍 决策树是一种基本的分类与回归方法，他既可以是if-then 规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。 主要有点：可读性、分类快 本质：从训练数据集中归纳出一组分类规则 2、 决策树模型 ...
【统计学习方法】 决策树
决策树模型和学习 决策树模型 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由节点（node）和有向边（directed edge）组成。有向边有两种类型：内部节点（internal node）和叶节点（leaf node）。内部节点表示一个特征或属性， 叶节点表示一个类。 决策树 ...