0. 引子 在训练轻量化模型时，经常发生的情况就是，明明 GPU 很闲，可速度就是上不去，用了多张卡并行也没有太大改善。 如果什么优化都不做，仅仅是使用nn.DataParallel这个模块，那么实测大概只能实现一点几倍的加速（按每秒处理的总图片数计算），不管用多少张卡。因为卡越多，数据传输 ...

1.加载预训练模型： 只加载模型，不加载预训练参数：resnet18 = models.resnet18(pretrained=False) print resnet18 打印模型结构 resnet18.load_state_dict(torch.load ...

这篇博客是在pytorch中基于apex使用混合精度加速的一个偏工程的描述，原理层面的解释并不是这篇博客的目的，不过在参考部分提供了非常有价值的资料，可以进一步研究。 一个关键原则：“仅仅在权重更新的时候使用fp32，耗时的前向和后向运算都使用fp16”。其中的一个技巧是：在反向计算开始前 ...

One-hot编码 将标签转换为one-hot编码形式 示例 分别初始化 checkpoint检查是否接着训练 根据迭代次数调整学习率 批量数据维度不一致 自定义torch.utils.data.Dataloader(dataset ...

本次分类问题使用的数据集是MNIST，每个图像的大小为\(28*28\)。 编写代码的步骤如下 载入数据集，分别为训练集和测试集 让数据集可以迭代 定义模型，定义损失函数，训练模型 代码 输出如下 ...

在模型训练过程中，一个 epoch 指遍历一遍训练集，而一般的模型训练也是指定多少个 epoch，每个 epoch 结束后看看模型在验证集上的效果并保存模型。 但在有些场景下，如半监督学习，有标记的样本很少，一个 epoch 甚至只有一个 batch 的数据，这个时候频繁查看验证集效果很耗时 ...

torchvision中提供了很多训练好的模型，这些模型是在1000类，224*224的imagenet中训练得到的，很多时候不适合我们自己的数据，可以根据需要进行修改。 1、类别不同 2、添加层后，加载部分参数 参考：https://blog.csdn.net ...

假定我们要拟合的线性方程是：\(y=2x+1\) \(x\)：[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14] \(y\)：[1, 3, 5, ...