正则化的基本概念之前博客已有记录， 这里仅对正则化的实现做一点介绍 权重衰减（weight decay） 模型的复杂性——如何衡量函数与0的距离——Lp范数 L2">L2正则化线性模型构成经典的岭回归（ridge regression）算法， L1">L1正则化线性回归通常被称为套索 ...

画loss,但是一直遇到一个问题，定义窗口时，需要画第一个点（一般是原点），但是这边后面增加点，导致append到后面，但是第一点没办法处理。 安装visdom 打开 使用visdom 解决画图中，第一个点需要替换 推荐教程： https://github.com ...

本节简单总结Pytorch中用于学习率调整的函数，如何使用tensorboard可视化曲线、梯度、权重、特征图、卷积核，以及如何使用torchvision.utils.make_grid()制作网格图。【文中思维导图采用MindMaster软件 ...

1.深度学习中的正则化 　　提高泛化能力，防止过拟合 　　大多数正则化策略都会对估计进行正则化,估计的正则化以偏差的增加换取方差的减少 　　正则化方法是在训练数据不够多时，或者over training时，常常会导致过拟合（overfitting）。这时向原始模型引入额外信息，以便防止 ...

神经网络的拟合能力非常强，通过不断迭代，在训练数据上的误差率往往可以降到非常低，从而导致过拟合（从偏差-方差的角度来看，就是高方差）。因此必须运用正则化方法来提高模型的泛化能力，避免过拟合。 在传统机器学习算法中，主要通过限制模型的复杂度来提高泛化能力，比如在损失函数中加入L1范数或者L2范数 ...

提前终止   在对模型进行训练时，我们可以将我们的数据集分为三个部分，训练集、验证集、测试集。我们在训练的过程中，可以每隔一定量的step，使用验证集对训练的模型进行预测，一般来说，模型在训练集和验 ...

正则化方法有如下几种： 一、参数范数惩罚 其中L2、L1参数正则化介绍与关系如下 1、L2 参数正则化 直观解释如下： 2、L1 参数正则化 二、获取更多数据（扩样本） 避免过拟合的基本方法之一是从数据源获得更多数据，当训练数据 ...

一、正则化介绍 问题：为什么要正则化？ 　　NFL（没有免费的午餐）定理： 　　　　没有一种ML算法总是比别的好 　　　　好算法和坏算法的期望值相同，甚至最优算法跟随机猜测一样 　　　　前提：所有问题等概率出现且同等重要 　　　　实际并非如此，具体情况具体分析，把当前问题解决好 ...