tensorflow识别Mnist时，训练集与验证集精度acc高，但是测试集精度低的比较隐蔽的原因除了网上说的主要原因https://blog.csdn.net/wangdong2017/article/details/90176323 之外，还有一种是比较隐蔽的原因（可能对于大多数人不会犯这种 ...

论文：https://arxiv.org/pdf/1710.03740.pdf 译文：混合精度训练 摘要 增加神经网络的size，可以提高准确率。但同时，也加大了训练模型所需的内存和计算量。我们介绍一种使用半精度浮点数来训练深度神经网络的方法，不会损失准确率，也不需要修改超参数。这种 ...

想起一个关于运维的段子：很多问题可以通过重启解决，想说算法工(diao)程(bao)师(xia)的很多问题可以通过换版本解决。 起因是白嫖到一个tensorflow的架子跑bert，自己花一上午时间搞定了单机多卡训练，之后花了两个下午也没有搞定半精度，症状是不报错，但是显存不降，速度不涨（32G ...

GPU的性能主要分为两部分：算力和显存，前者决定了显卡计算的速度，后者则决定了显卡可以同时放入多少数据用于计算。在可以使用的显存数量一定的情况下，每次训练能够加载的数据更多（也就是batch size更大）,则可以提高训练效率。另外有时候数据本身也比较大（比如3D图像、视频等），显存较小的情况下 ...

低数值精度推理和训练 介绍 如今，大多数商业深度学习应用程序使用 32 位浮点精度 ( ) 来处理训练和推理工作负载。各种研究人员已经证明，深度学习训练和推理都可以以较低的数值精度进行，使用 16 位乘法器进行训练，使用 8 位乘法器进行推理，精度损失最小甚至没有。使用这些较低的数值精度（使用 ...

当我们使用Caffe训练AlexNet网络时，会遇到精度一值在低精度（30%左右）升不上去，或者精度总是为0，如下图所示： 出现这种情况，可以尝试使用以下几个方法解决： 1.数据样本量是否太少，最起码要千张图片样本。 2.在制作训练样本标签时，是否打乱样本顺序，这样在训练时每取 ...

由于网络优化器使用的是目前各个激光网络开源库Second、Openpcdet等使用的adam_onecycle 无法使用apex.amp进行初始化，应该是无法识别优化器的问题 怎么都无法解决这个问 ...

通常我们训练神经网络模型的时候默认使用的数据类型为单精度FP32。近年来，为了加快训练时间、减少网络训练时候所占用的内存，并且保存训练出来的模型精度持平的条件下，业界提出越来越多的混合精度训练的方法。这里的混合精度训练是指在训练的过程中，同时使用单精度（FP32）和半精度（FP16 ...