这篇经典论文，甚至可以说是2015年最牛的一篇论文，早就有很多人解读，不需要自己着摸，但是看了论文原文Batch normalization: Accelerating deep network training by reducing internal covariate shift 和下面 ...

转自：https://www.zhihu.com/people/xutan 最近在进行多GPU分布式训练时，也遇到了large batch与learning rate的理解调试问题，相比baseline的batch size，多机同步并行（之前有答案是介绍同步并行的通信框架NCCL（谭旭 ...

Large-Scale Adversarial Training for Vision-and-Language Representation Learning 2020-06-12 10:25:21 Paper: https://arxiv.org/abs ...

背景 特征工程是绕不开的话题，巧妙的特征组合也许能够为模型带来质的提升。但同时，特征工程耗费的资源也是相当可观的，对于后期模型特征的维护、模型线上部署不太友好。2016年，微软提出Deep Crossing模型，旨在解决特征工程中特征组合的难题，降低人力特征组合的时间开销，通过模型自动学习特征 ...

说实话，这篇paper看了很久，，到现在对里面的一些东西还不是很好的理解。 下面是我的理解，当同行看到的话，留言交流交流啊！！！！！ 这篇文章的中心点：围绕着如何降低 internal covariate shift 进行的， 它的方法就是进行batch normalization ...

　　内容： 　　本文主要是参考论文：On optimization methods for deep learning，文章内容主要是笔记SGD（随机梯度下降），LBFGS（受限的BFGS），CG（共轭梯度法）三种常见优化算法的在deep learning体系中的性能。下面是一些读完的笔记 ...

covariate shift”，由于每一层的分布不一样，就会导致训练很慢 梯度消失和梯度爆炸：深度网络中微小 ...

1，Introduction 　　当你想训练好一个神经网络时，你需要做好三件事情：一个合适的网络结构，一个合适的训练算法，一个合适的训练技巧： 　　合适的网络结构：包括网络结构和激活函数，你可以选 ...