应该是去年的这个时候，我开始接触机器学习的相关知识，当时的入门书籍是《数据挖掘导论》。囫囵吞枣般看完了各个知名的分类器：决策树、朴素贝叶斯、SVM、神经网络、随机森林等等；另外较为认真地复习了统计学，学习了线性回归，也得以通过orange、spss、R做一些分类预测工作。可是对外说自己是搞机器学习 ...

(Notes and Codes of Machine Learning by Andrew Ng from Stanford University) 说明：为了保证连贯性，文章按照专题而不是原本的课程进度来组织。 零、什么是机器学习？ 机器学习就是：根据已有的训练集D，采用学习算法A，得到 ...

一直听闻Logistic Regression逻辑回归的大名，比如吴军博士在《数学之美》中提到，Google是利用逻辑回归预测搜索广告的点击率。因为自己一直对个性化广告感兴趣，于是疯狂google过逻辑回归的资料，但没有一个网页资料能很好地讲清到底逻辑回归是什么。幸好，在CS229第三节课介绍 ...

在有监督学习里面有几个逻辑上的重要组成部件[3]，初略地分可以分为：模型，参数 和 目标函数。（此部分转自 XGBoost 与 Boosted Tree） 一、模型和参数   模型指给定输入xi如何去预测 输出 yi。我们比较常见的模型如线性模型（包括线性回归和logistic ...

斯坦福大学机器学习，EM算法求解高斯混合模型。一种高斯混合模型算法的改进方法---将聚类算法与传统高斯混合模型结合起来的建模方法, 并同时提出的运用距离加权的矢量量化方法获取初始值，并采用衡量相似度的方法来融合高斯分量。从对比结果可以看出，基于聚类的高斯混合模型的说话人识别相对于传统的高斯混合模型 ...

稍微了解有监督机器学习的人都会知道，我们先通过训练集训练出模型，然后在测试集上测试模型效果，最后在未知的数据集上部署算法。然而，我们的目标是希望算法在未知的数据集上有很好的分类效果（即最低的泛化误差），为什么训练误差最小的模型对控制泛化误差也会有效呢？这一节关于学习理论的知识就是让大家知其然也知 ...

SVM被许多人认为是有监督学习中最好的算法，去年的这个时候我就在尝试学习。不过，面对长长的公式和拗口的中文翻译最终放弃了。时隔一年，看到Andrew讲解SVM，总算对它有了较为完整的认识，总体思路是这样的：1.介绍间隔的概念并重新定义符号；2.分别介绍functional margins ...

课程设置和内容 视频课程分为20集，每集72-85分钟。实体课程大概一周2次，中间还穿插助教上的习题课，大概一个学期的课程。 内容涉及四大部分，分别是：监督学习（2-8集）、学习理论（9集-11集）、无监督学习（12-15集）、强化学习（16-20集）。监督学习和无监督学习，基本上是机器学习 ...