回归，我第一次看到回归的时候，想的就是回归是什么意思？后来看了一个答案解释很有意思，回归这个词来自于生物学，在调查父母与子代身高问题的时候，发现父母如果过高的话，子女就会比父母矮一点，如果父母矮的话，子女又会比父母高，这使得身高不会向高矮俩个极端发展，而是趋于回到中心，后来做统计的时候引入统计学 ...

机器学习--分类问题 分类问题是监督学习的一个核心问题，它从数据中学习一个分类决策函数或分类模 型(分类器（classifier）)，对新的输入进行输出预测，输出变量取有限个离散值。 决策树 决策树 ...

在机器学习的分类问题中，我们都假设所有类别的分类代价是一样的。但是事实上，不同分类的代价是不一样的，比如我们通过一个用于检测患病的系统来检测马匹是否能继续存活，如果我们把能存活的马匹检测成患病，那么这匹马可能就会被执行安乐死；如果我们把不能存活的马匹检测成健康，那么就会继续喂养这匹马。一个代价是错 ...

判别式模型和生成式模型的区别？ 判别方法：由数据直接学习决策函数 Y = f（X），或者由条件分布概率 P（Y|X）作为预测模型，即判别模型。 生成方法：由数据学习联合概率密度分布函数 P（X,Y）,然后求出条件概率分布P(Y|X)作为预测的模型，即生成模型。 由生成模型可以得到判别模型 ...

1.凸集与凸函数 2.凸优化问题 3.拉格朗日乘子法 4.对偶问题,slater条件,KKT条件 1.凸集与凸函数 凸集：在点集拓扑学与欧几里得空间中，凸集是一个点集，其中每两点之间的直线上的点都落在该点集中。千言万语不如一张图来的明白，请看 ...

(1) 无监督和有监督算法的区别？ 有监督学习： 　　　　对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。因此，训练样本的岐义性低。 无监督学习： 　　　　对没有概念标记（分类）的训练样本进行学习，以发现训练样本 ...

伪代码实现：LR、梯度下降、最小二乘、KNN、Kmeans; LR,SVM,XGBOOST推公式(手推) LR,SVM,RF,KNN，EM，Adaboost,PageRank，GBDT，Xgboost，HMM，DNN，推荐算法，聚类算法，等等机器学习领域的算法 基本知识： 1）监督与非监督 ...

，贝叶斯估计 线性判别分析 Fishre判别，特征向量求解 ...