过的损失函数，例如线性回归用到的平方损失函数和softmax回归用到的交叉熵损失函数。 机器学习模型 ...

过拟合现象，即模型的训练误差远⼩于它在测试集上的误差。虽然增⼤训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价⾼昂。本节介绍应对过拟合问题的常⽤⽅法：权重衰减（weight decay）。 一、方法 权重衰减等价于 范数正则化（regularization ...

深度学习中常常会存在过拟合现象,比如当训练数据过少时,训练得到的模型很可能在训练集上表现非常好,但是在测试集上表现不好. 应对过拟合,可以通过数据增强,增大训练集数量.我们这里先不介绍数据增强,先从模型训练的角度介绍常用的应对过拟合的方法. 权重衰减 权重衰减等价于 \(L_2\) 范数正则化 ...

概念 之前一直对“权重衰减”和“学习率衰减”存在误解，我甚至一度以为它们是同一个东西，以至于使用的时候感觉特别困惑。在优化器中使用了“权重衰减”，竟然发现模型的准确率下降了，假如它们是同一个东西，至少应该是学得慢，而不是学坏了。因此，专门查了一下资料，了解两者的区别，这篇随笔做一下记录 ...

获取和读取数据 初始化模型参数 实现softmax运算 定义模型 定义损失函数 计算分类准确率 训练模型 小结 获取和读取数据 我们将使用Fahs ...

task0101.线性回归 优化函数 - 随机梯度下降 当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接用公式表达出来。这类解叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能 ...

⽂本分类是⾃然语⾔处理的⼀个常⻅任务，它把⼀段不定⻓的⽂本序列变换为⽂本的类别。它的⼀个⼦问题：使⽤⽂本情感分类来分析⽂本作者的情绪。这个问题也叫情感分析，并有着⼴泛的应⽤。例如，我们 ...

目录 竞赛总结 QA 竞赛总结 我们讲知识，也不可能所有东西都cover到，让大家竞赛不是让大家去学某个特定的知识，而是说大家遇到一个问题，怎么去找一个 ...