ICML, S. Ioffe and C. Szegedy 解决什么问题 What 分布不一致导致训练慢：每一层的分布会受到前层的影响，当前层分布发生变化时，后层网络需要去适应这个分布，训练时参数的变化会导致各层分布的不断变化，这个问题被定义为 internal covariate shift ，由于每一层的分布不一样，就会导致训练很慢 梯度消失和梯度爆炸：深度网络中微小的参数变动引起梯度上的剧变 ...
2018-07-01 16:30 0 1777 推荐指数：
说实话，这篇paper看了很久，，到现在对里面的一些东西还不是很好的理解。 下面是我的理解，当同行看到的话，留言交流交流啊！！！！！ 这篇文章的中心点：围绕着如何降低 internal covariate shift 进行的， 它的方法就是进行batch normalization ...
这篇经典论文，甚至可以说是2015年最牛的一篇论文，早就有很多人解读，不需要自己着摸，但是看了论文原文Batch normalization: Accelerating deep network training by reducing internal covariate shift 和下面 ...
在神经网络的训练过程中，总会遇到一个很蛋疼的问题：梯度消失/爆炸。关于这个问题的根源，我在上一篇文章的读书笔记里也稍微提了一下。原因之一在于我们的输入数据（网络中任意层的输入）分布在激活函数收敛的区域，拿 sigmoid 函数举例： 如果数据分布在 [-4, 4] 这个区间两侧 ...
批标准化（Bactch Normalization，BN）是为了克服神经网络加深导致难以训练而诞生的，随着神经网络深度加深，训练起来就会越来越困难，收敛速度回很慢，常常会导致梯度弥散问题(Vanishing Gradient Problem)。 统计机器学习中有一个经典的假设 ...
论文地址：https://arxiv.org/abs/1707.06168 代码地址：https://github.com/yihui-he/channel-pruning 采用方法 这篇文章主要讲诉了采用裁剪信道(channel pruning)的方法实现深度网络的加速 ...
Dueling Network Architectures for Deep Reinforcement Learning ICML 2016 Best Paper 摘要：本文的贡献点主要是在 DQN 网络结构上，将卷积神经网络提出的特征，分为两路走，即：the state ...
Deep Attention Recurrent Q-Network 5vision groups 摘要：本文将 DQN 引入了 Attention 机制，使得学习更具有方向性和指导性。（前段时间做一个工作打算就这么干，谁想到，这么快就被这几个孩子给实现了，自愧不如 ...
作者： ShijieSun, Naveed Akhtar, HuanShengSong, Ajmal Mian, Mubarak Shah 来源： arXiv:1810.11780v1 项目： ...
