原文：https://blog.csdn.net/jacke121/article/details/79874555 train loss 不断下降，test loss不断下降，说明网络仍在学习; train loss 不断下降，test loss趋于不变，说明网络过拟合; train ...

1. 网络训练时train loss与test loss的结果分析: 2. 出现loss不下降的问题时检查: （1）数据 数据本身以及label是否有异常 数据是否过于脏乱，没有经过清洗 数据输入是否有问题，比如图片与label是否一致 数据 ...

1.train loss 不断下降，dev（或test） loss不断下降：说明网络仍在学习。 2.train loss 不断下降，dev（或test） loss趋于不变：说明网络过拟合。 3.train loss 趋于不变，dev（或test） loss不断下降：说明数据集100%有问题 ...

的问题：（好吧，这块受训练水平的影响，还是借鉴另一篇博客的翻译：神经网络六大坑） 　　1，you d ...

在前面的博客人工神经网络入门和训练深度神经网络，也介绍了与本文类似的内容。前面的两篇博客侧重的是如何使用TensorFlow实现，而本文侧重相关数学公式及其推导。 1 神经网络基础 1.1 单个神经元 一个神经元就是一个计算单元，传入$n$个输入，产生一个输出，再应用于激活函数。记$n$维 ...

...

　　为什么要加速神经网络，数据量太大，学习效率太慢。越复杂的神经网络 , 越多的数据，需要在训练神经网络的过程上花费的时间也就越多。原因很简单，就是因为计算量太大了。可是往往有时候为了解决复杂的问题，复杂的结构和大数据又是不能避免的，所以需要寻找一些方法, 让神经网络训练变得快起来。为了便于理解 ...

神经网络训练的过程可以分为三个步骤 1.定义神经网络的结构和前向传播的输出结果 2.定义损失函数以及选择反向传播优化的算法 3.生成会话并在训练数据上反复运行反向传播优化算法 神经元 神经元是构成神经网络的最小单位，神经元的结构如下 一个神经元可以有多个输入和一个输出，每个神经 ...