《机器学习(周志华)》笔记--线性模型（1）--凸函数、损失函数、线性模型的基本形式、线性回归、w* 的代码实现
一、预备知识 1、凸函数 凸函数：对于一元函数f(x)，如果对于任意tϵ[0,1]均满足 f(tx1+(1−t)x2) ≤ tf(x1)+(1−t)f(x2) 。 凸函数特征： （1）凸函数的割线在函数曲线的上方。 （2）凸函数具有唯一的极小值，该极小值 ...
原文：《机器学习(周志华)》笔记--线性模型（3）--逻辑回归思想、概率计算、sigmoid 函数、逻辑回归的损失函数计算
四 逻辑回归 逻辑回归是属于机器学习里面的监督学习，它是以回归的思想来解决分类问题的一种非常经典的二分类分类器。由于其训练后的参数有较强的可解释性，在诸多领域中，逻辑回归通常用作baseline模型，以方便后期更好的挖掘业务相关信息或提升模型性能。 逻辑回归思想 当一看到 回归 这两个字，可能会认为逻辑回归是一种解决回归问题的算法，然而逻辑回归是通过回归的思想来解决二分类问题的算法。 逻辑回归的基 ...
2020-02-01 10:40 0 751 推荐指数：
相关推荐
机器学习基础---逻辑回归（假设函数与线性回归不同）
一：分类 （一）分类基础 在分类问题中，你要预测的变量y是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。 在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封 ...
机器学习笔记之为什么逻辑回归的损失函数是交叉熵
0x00 概要 逻辑回归（logistic regression）在机器学习中是非常经典的分类方法，周志华教授的《机器学习》书中称其为对数几率回归，因为其属于对数线性模型。 在算法面试中，逻辑回归也经常被问到，常见的面试题包括： 逻辑回归推导； 逻辑回归如何实现多分类？ SVM ...
《机器学习》学习笔记（一）：线性回归、逻辑回归
本笔记主要记录学习《机器学习》的总结体会。如有理解不到位的地方，欢迎大家指出，我会努力改正。 在学习《机器学习》时，我主要是通过Andrew Ng教授在mooc上提供的《Machine Learning》课程，不得不说Andrew Ng老师在讲授这门课程时，真的很用心，特别是编程 ...
逻辑回归--计算概率
许多问题需要将概率估算值作为输出。逻辑回归是一种极其高效的概率计算机制。实际上，您可以通过下两种方式之一使用返回的概率： “按原样” 转换成二元类别 我们来了解一下如何“按原样”使用概率。假设我们创建一个逻辑回归模型来预测狗在半夜发出叫声的概率。我们将此概率称为 ...
机器学习实战---逻辑回归梯度上升（更好的理解sigmoid函数的含义并改进）
回顾： 梯度下降 梯度下降和梯度上升区别 一：加载数据和实现sigmoid函数（同梯度下降） 二：实现批量梯度上升（重点） （一）代码实现 （二）结果预测 三：绘制图像决策边界 四：随机梯度下降法 （一）简陋版随机 ...
机器学习之线性回归，预测函数，损失函数
机器学习最通俗的解释就是让机器学会决策。对于我们人来说，比如去菜市场里挑选芒果，从一堆芒果中拿出一个，根据果皮颜色、大小、软硬等属性或叫做特征，我们就会知道它甜还是不甜。类似的，机器学习就是把这些属性信息量化后输入计算机模型，从而让机器自动判断一个芒果是甜是酸，这实际上就是一个分类问题。 分类 ...
《机器学习(周志华)》笔记--线性模型（5）--逻辑回归实现二分类、LogisticRegression、多分类学习、纠错输出码(ECOC)
四、逻辑回归 6、逻辑回归实现二分类 （1）对于每个样本x利用线性回归模型得到输出z： （2）将线性回归模型的输出z利用sigmoid函数得到概率： （3）构造损失函数： （4）损失函数关于向量W=( w0 ...