应该是去年的这个时候，我开始接触机器学习的相关知识，当时的入门书籍是《数据挖掘导论》。囫囵吞枣般看完了各个知名的分类器：决策树、朴素贝叶斯、SVM、神经网络、随机森林等等；另外较为认真地复习了统计学，学习了线性回归，也得以通过orange、spss、R做一些分类预测工作。可是对外说自己是搞机器学习 ...

稍微了解有监督机器学习的人都会知道，我们先通过训练集训练出模型，然后在测试集上测试模型效果，最后在未知的数据集上部署算法。然而，我们的目标是希望算法在未知的数据集上有很好的分类效果（即最低的泛化误差），为什么训练误差最小的模型对控制泛化误差也会有效呢？这一节关于学习理论的知识就是让大家知其然也知 ...

SVM被许多人认为是有监督学习中最好的算法，去年的这个时候我就在尝试学习。不过，面对长长的公式和拗口的中文翻译最终放弃了。时隔一年，看到Andrew讲解SVM，总算对它有了较为完整的认识，总体思路是这样的：1.介绍间隔的概念并重新定义符号；2.分别介绍functional margins ...

CS229 斯坦福大学机器学习复习材料(数学基础) - 线性代数 线性代数回顾与参考 1 基本概念和符号 1.1 基本符号 2 矩阵乘法 2.1 向量-向量乘法 ...

本文简单整理了以下内容： （一）线性回归 （二）二分类：二项Logistic回归 （三）多分类：Softmax回归 （四）广义线性模型 闲话：二项Logistic回归是我去年入门机器学习时学的第一个模型（忘记了为什么看完《统计学习方法》第一章之后直接就跳去了第六章 ...

　　逻辑回归和线性回归都是广义线性模型中的一种，接下来我们来解释为什么是这样的？ 1、指数族分布 　　指数族分布和指数分布是不一样的，在概率统计中很对分布都可以用指数族分布来表示，比如高斯分布、伯努利分布、多项式分布、泊松分布等。指数族分布的表达式如下 　　 　　其中&#x03B7 ...

Anomaly Detection Problem motivation: 首先描写叙述异常检測的样例：飞机发动机异常检測 watermark/2/text/ ...

logistic回归： 　　logistic回归一般是用来解决二元分类问题，它是从贝努力分布转换而来的 　　hθ(x) = g(z)=1/1+e-z ;z=θTx 　　最大似然估计L(θ) = p(Y|X;θ) 　　　　　　　　　　 =∏p(y(i)|x(i ...