1、学习率设置策略 Pytorch 已经实现了两种方法：「torch.optim.lr_scheduler.CyclicLR」和「torch.optim.lr_scheduler.OneCycleLR」。参考文档：https://pytorch.org/docs/stable ...

这篇博客是在pytorch中基于apex使用混合精度加速的一个偏工程的描述，原理层面的解释并不是这篇博客的目的，不过在参考部分提供了非常有价值的资料，可以进一步研究。 一个关键原则：“仅仅在权重更新的时候使用fp32，耗时的前向和后向运算都使用fp16”。其中的一个技巧是：在反向计算开始前 ...

一、默认gpu加速 一般来说我们最常见到的用法是这样的： 或者说: 这样我们就可以把某一个向量或者模型进行gpu训练 二、指定gpu加速 来指定使用的具体设备。如果没有显式指定设备序号的话则使用torch.cuda.current_device()对应的序号。 ...

背景 在深度学习的时候，如果你的batch size调的很大，或者你每次获取一个batch需要许多的预操作，那么pytorch的Dataloader获取一个batch就会花费较多的时间，那么训练的时候就会出现GPU等CPU的情况，训练的效率就会下降。 为了应对这种情况，Tensorflow ...

代码示例： ...

使用npm install 包，是见比较头疼的事情，比较慢，很难等，经过探索，还是发现有办法加速的，方法有两个，让我一一道来： 1. 在npm 后添加参数 --registry=... 指定镜像源地址 2.第二个方法我比较喜欢，就是直接使用 cpm ,不用npm了，集体步骤 ...

每当我pip install ＊ 的时候，总是发现速度很慢，通过google，发现还是有方法来解决这种状况的 在~/ 命令下，创建 .pip/pip.conf,我用的是阿里的镜像，速度还是杠杠的 ...

　　最近刚开始学习深度学习，参考了一篇深度学习的入门文章，原文链接：https://medium.freecodecamp.org/everything-you-need-to-know-to-mas ...