training set 训练集　　validation set 验证集　　test set测试集 这些与衡量你做的怎么样有关 当你知道怎么衡量你在一个问题的表现，问题就解决了一半。（衡量表现 ...

本文摘自：学习率和batchsize如何影响模型的性能？ 初始的学习率一般有一个最优值，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习，下图展示了不同大小的学习率下模型收敛情况的可能性， ...

python实现bgd，sgd，mini-bgd，newton，bfgs，lbfgs优化算法 数据样本三列特征，一列线性回归目标 ...

1.找到最优学习率的方法 （1）笨方法——指数提高学习率 从0.0001开始尝试，然后用0.001，每个量级的学习率都去跑一下网络，然后观察一下loss的情况，选择一个相对合理的学习率，但是 ...