一 预备知识 凸函数 凸函数：对于一元函数f x ，如果对于任意t , 均满足f tx t x tf x t f x 。 凸函数特征： 凸函数的割线在函数曲线的上方。 凸函数具有唯一的极小值，该极小值就是最小值。也就意味着我们求得的模型是全局最优的，不会陷入局部最优值。 图 . . 图 . . 判断是否为凸函数方法： 对于一元函数f x ，我们可以通过其二阶导数f x 的符号来判断。如果函数的二阶 ...
2020-01-30 17:27 0 1125 推荐指数：
四、逻辑回归 逻辑回归是属于机器学习里面的监督学习，它是以回归的思想来解决分类问题的一种非常经典的二分类分类器。由于其训练后的参数有较强的可解释性，在诸多领域中，逻辑回归通常用作baseline模型，以方便后期更好的挖掘业务相关信息或提升模型性能。 1、逻辑回归思想 当一看到“回归 ...
三、线性回归 5、线性回归训练流程 线性回归模型训练流程如下： 6、线性回归的正规方程解 对线性回归模型，假设训练集中 m个训练样本，每个训练样本中有 n个特征，可以使用矩阵的表示方法，预测函数可以写为： Y ...
机器学习最通俗的解释就是让机器学会决策。对于我们人来说，比如去菜市场里挑选芒果，从一堆芒果中拿出一个，根据果皮颜色、大小、软硬等属性或叫做特征，我们就会知道它甜还是不甜。类似的，机器学习就是把这些属性信息量化后输入计算机模型，从而让机器自动判断一个芒果是甜是酸，这实际上就是一个分类问题。 分类 ...
四、逻辑回归 5、梯度下降法 （1）梯度解释 偏导数：简单来说是对于一个多元函数，选定一个自变量并让其他自变量保持不变，只考察因变量与选定自变量的变化关系。 梯度：梯度的本意是一个向量，由函数对每个参数的偏导组成，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处 ...
线性回归, 是回归分析中的一种, 其表示自变量与因变量之间存在线性关系. 回归分析是从数据出发, 考察变量之间的数量关系, 并通过一定的数学关系式将这种关系描述出来, 再通过关系式来估计某个变量的取值, 同时给出该估计的可靠程度. 下面我们从一元线性回归开始说起. 1. 一元线性回归 在回归 ...
1. 线性回归 什么是回归？ 从大量的函数结果和自变量反推回函数表达式的过程就是回归。线性回归是利用数理统计中回归分析来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。 一元线性回归： 只包括一个自变量（）和一个因变量（），且二者的关系可用一条直线近似表示，这种回归分析称为 ...
四、逻辑回归 6、逻辑回归实现二分类 （1）对于每个样本x利用线性回归模型得到输出z： （2）将线性回归模型的输出z利用sigmoid函数得到概率： （3）构造损失函数： （4）损失函数关于向量W=( w ...
1. 线性模型简介 0x1：线性模型的现实意义 在一个理想的连续世界中，任何非线性的东西都可以被线性的东西来拟合（参考Taylor Expansion公式），所以理论上线性模型可以模拟物理世界中的绝大多数现象。而且因为线性模型本质上是均值预测，而大部分事物的变化都只是围绕着均值而波动，即大数 ...
