本笔记主要记录学习《机器学习》的总结体会。如有理解不到位的地方，欢迎大家指出，我会努力改正。 在学习《机器学习》时，我主要是通过Andrew Ng教授在mooc上提供的《Machine Learning》课程，不得不说Andrew Ng老师在讲授这门课程时，真的很用心，特别是编程 ...

输出是一个连续的数值。 模型表示 对于一个目标值，它可能受到多个特征的加权影响。例如宝可梦精灵的进化的 cp 值，它不仅受到进化前的 cp 值的影响，还可能与宝可梦的 hp 值、类型、高度以及重量相关。因此，对于宝可梦进化后的 cp 值，我们可以用如下线性公式来表示： \[y=b+ ...

回归是统计学中最有力的工具之一。机器学习监督学习算法分为分类算法和回归算法两种，其实就是根据类别标签分布类型为离散型、连续性而定义的。回归算法用于连续型分布预测，针对的是数值型的样本，使用回归，可以在给定输入的时候预测出一个数值，这是对分类方法的提升，因为这样可以预测连续型数据而不仅仅是离散的类别 ...

看下面三幅图，x 轴是房间面积，y 轴是房价。 左图是 y = θ0 + θ1x 拟合数据集的结果。可以看到数据并不贴靠在直线上，所以拟合并不好。 中图是 y = θ0 + θ1x + θ2x ...

多元线性回归 一元线性回归只有一个特征$x$，而多元线性回归可以有多个特征$x_1, x_2, \ldots, x_n$ 假设 (Hypothesis)：$h_\theta(x)=\theta^Tx=\theta_0x_0+\theta_1x_1+\ldots+\theta_nx_n$ 参数 ...

第一章讲述了基本的机器学习的概念以及分类，这里从单变量的线性回归入手，吴恩达讲解了机器学习中的几个重要因素，如模型、损失函数、优化方法等 更多内容参考 机器学习&深度学习 首先以房价预测入手： 房子的面积 每平米的房价 ...

前言 由于本部分内容讲解资源较多，本文不做过多叙述，重点放在实际问题的应用上。 一、线性回归 线性回归中的线性指的是对于参数的线性的，对于样本的特征不一定是线性的。 线性模型（矩阵形式）：y=XA+e 其中：A为参数向量，y为向量，X为矩阵,e为噪声向量。 对于线性模型 ...

一、决策树与随机森林 1、信息论基础 香农：奠定了现代信息论基础，定义信息的单位比特。 32支球队，预测世界杯冠军，不知道任何信息的情况下，使用二分法最少需要猜5次。(log32=5) 　　5 = - (1/32log1/32 + 1/32log1/32 + ...+ 1/32log1 ...