数据预处理的常用流程： 　　　　1）去除唯一属性 　　　　2）处理缺失值 　　　　3）属性编码 　　　　4）数据标准化、正则化 　　　　5）特征选择 　　　　6）主成分分析 1、去除唯一属性 　　如id属性，是唯一属性，直接去除就好 2、处理缺失值 (1)直接使用含有缺失值 ...

　　注：本文中涉及到的公式一律省略（公式不好敲出来），若想了解公式的具体实现，请参考原著。 1、基本概念 　　（1）聚类的思想： 　　　　将数据集划分为若干个不想交的子集（称为一个簇cluster），每个簇潜在地对应于某一个概念。但是每个簇所具有现实意义由使用者自己决定，聚类算法仅仅会进行 ...

　　半监督学习：综合利用有类标的数据和没有类标的数据，来生成合适的分类函数。它是一类可以自动地利用未标记的数据来提升学习性能的算法 1、生成式半监督学习 　　优点：方法简单，容易实现。通常在有标记数据极少时，生成式半监督学习方法比其他方法性能更好 　　缺点：假设的生成式模型必须与真实数据 ...

1、损失函数和风险函数 (1)损失函数：常见的有 0-1损失函数 绝对损失函数 平方损失函数 对数损失函数 (2)风险函数：损失函数的期望 经验风险：模型在数据集T上的平均损失 　 根据大数定律，当N趋向于∞时，经验风险趋向于风险函数 2、模型评估方法 (1)训练误差 ...

一 矩阵求导 复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。 x is a column vector, A is a matrix d(A&am ...

背景与原理： PCA（主成分分析）是将一个数据的特征数量减少的同时尽可能保留最多信息的方法。所谓降维，就是在说对于一个$n$维数据集，其可以看做一个$n$维空间中的点集（或者向量集），而我们要把这个向量集投影到一个$k<n$维空间中，这样当然会导致信息损失，但是如果这个$k$维空间的基底 ...

　　在机器学习的过程中，我们经常会遇见过拟合的问题。而输入数据或features的维度过高就是导致过拟合的问题之一。。维度越高，你的数据在每个特征维度上的分布就越稀疏，这对机器学习算法基本都是灾难性的。所有出现了很多降维的方法。今天我们要讨论的就是LDA降维。 LDA降维的思路是：如果两类数据 ...

数据降维的目的:数据降维，直观地好处是维度降低了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。 数据降维的好处：降维可以方便数据可视化+数据分析+数据压缩+数据提取等。 降维方法 __ 属性选择：过滤法；包装法；嵌入法； 　　　　　　|_ 映射方法 _线性映射 ...