损失函数 总损失定义为： yi为第i个训练样本的真实值 h(xi)为第i个训练样本特征值组合预测函数 又称最小二乘法 正规方程 理解：X为特征值矩阵，y为目标值矩阵。直接求到最好的结果 缺点：当特征过多过复杂时，求解速度太慢并且得不到 ...

参考：【351】实数对向量求导公式 参考：【352】矩阵转置性质 参考：机器学习实战教程（十一）：线性回归基础篇之预测鲍鱼年龄 其他方法可参考 回归算法之线性回归。 参考：通过一个例子快速上手矩阵求导 线性回归的损失函数如下：$$E_b = {(X b - y)^T (X b - y ...

转载自：线性回归与非线性回归：1.0一元线性回归与代价函数（损失函数） 回归分析：用来建立方程模拟两个或者多个变量之间如何关联 因变量：被预测的变量（结果/标签），输出 自变量：被用来进行预测的变量（特征），输入 一元线性回归：包含一个自变量与一个因变量，并且变量的关系用一条 ...

和回归是机器学习可以解决两大主要问题，从预测值的类型上看，连续变量预测的定量输出称为回归；离散变量预测的 ...

线性回归是一种较为简单，但十分重要的机器学习方法。掌握线性的原理及求解方法，是深入了解线性回归的基本要求。除此之外，线性回归也是监督学习的基石，希望你能最终掌握机器学习的一些重要的思想。 今天就给大家展开讲讲线性回归里的一元线性回归和平方损失函数。 线性回归介绍 回归问题旨在实现对连续值的预测 ...

sum_weights 可以通过参数设置。 如果不设置，那么值就是样本的个数。 指定每个样本的权重。 我突然想到基金预测，可以设置样本的权重。 真实涨幅越高，权重越小。 反之，权重越高。 因为如果预测偏低，那么loss 损失越大 ...

一、预备知识 1、凸函数 　　凸函数：对于一元函数f(x)，如果对于任意tϵ[0,1]均满足 f(tx1+(1−t)x2) ≤ tf(x1)+(1−t)f(x2) 。 　　凸函数特征： 　　　　（1）凸函数的割线在函数曲线的上方。 　　　　（2）凸函数具有唯一的极小值，该极小值 ...

四、逻辑回归 　　逻辑回归是属于机器学习里面的监督学习，它是以回归的思想来解决分类问题的一种非常经典的二分类分类器。由于其训练后的参数有较强的可解释性，在诸多领域中，逻辑回归通常用作baseline模型，以方便后期更好的挖掘业务相关信息或提升模型性能。 1、逻辑回归思想 　　当一看到“回归 ...