#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得； #注:此笔记是我自己认为本节课里比较重要、难理解或容易忘记的内容并做了些补充，并非是课堂详细笔记和要点； #标记为<补充>的是我自己加的内容而非课堂内容，参考文献列于文末。博主能力有限，若有错误，恳请指正； #------------------------------------------------ ...

1.背景 PCA(Principal Component Analysis)，PAC的作用主要是减少数据集的维度，然后挑选出基本的特征。 PCA的主要思想是移动坐标轴，找到方差最大的方向上的特征值。什么叫方差最大的方向的特征值呢。就像下图 ...

对于线性不可分的数据集，可以利用核函数（kernel）将数据转换成易于分类器理解的形式。 　　如下图，如果在x轴和y轴构成的坐标系中插入直线进行分类的话， 不能得到理想的结果，或许我们可以对圆中的数据进行某种形式的转换，从而得到某些新的变量来表示数据。在这种表示情况下，我们就更容易得到大于 ...

一.简介 前两节分别实现了硬间隔支持向量机与软间隔支持向量机，它们本质上都是线性分类器，只是软间隔对“异常点”更加宽容，它们对形如如下的螺旋数据都没法进行良好分类，因为没法找到一个直线（超平面）能将其分隔开，必须使用曲线（超曲面）才能将其分隔，而核技巧便是处理这类问题的一种常用 ...

机器学习——聚类分析和主成分分析 在机器学习中，非监督性学习主要用来分类。其中重要的两种就是聚类分析和主成分分析。这两类算法在数据压缩和数据可视化方面有着广泛的应用。 所谓无监督学习是指训练集里面只有点\(\{x^{(1)},x^{(2)},\ldots,x^{(m ...

基本概念 利用线性的方法，模拟因变量与一个或多个自变量之间的关系。自变量是模型输入值，因变量是模型基于自变量的输出值。 因变量是自变量线性叠加和的结果。 线性回归模型背后的逻辑——最小二乘法计算线性系数 最小二乘法怎么理解？ 它的主要思想就是求解未知参数，使得理论值与观测值之差 ...

SVM--简介 支持向量机（Support Vector Machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。 在机器学习领域，是一个有监督的学习模型，通常用来进行 ...

一、核函数（Kernel Function） 　1）格式 K(x, y)：表示样本 x 和 y，添加多项式特征得到新的样本 x'、y'，K(x, y) 就是返回新的样本经过计算得到的值； 在 SVM 类型的算法 SVC() 中，K(x, y) 返回点乘：x' . y' 得到的值 ...