论文解读《Understanding the Effective Receptive Field in Deep Convolutional Neural Networks》
感知野的概念尤为重要，对于理解和诊断CNN网络是否工作，其中一个神经元的感知野之外的图像并不会对神经元的值产生影响，所以去确保这个神经元覆盖的所有相关的图像区域是十分重要的；需要对输出图像的单个像素进 ...
原文：Understanding the difficulty of training deep feedforward neural networks
本文作者为：Xavier Glorot与Yoshua Bengio。 本文干了点什么呢 第一步：探索了不同的激活函数对网络的影响 包括：sigmoid函数，双曲正切函数和softsign y x x 函数 。 文中通过不断的实验： ，来monitor网络中隐藏单元的激活值来观察它的饱和性 . 梯度。 并且evaluate 所选择的激活函数与初始化方法 预训练被看作一种特殊的初始化方法 。 实验数据 ...
2017-02-17 22:14 1 4447 推荐指数：
相关推荐
MLHPC 2016 | Communication Quantization for Data-parallel Training of Deep Neural Networks
本文主要研究HPC上进行数据并行训练的可行性。作者首先在HPC上实现了两种通信量化算法（1 Bit SGD以及阈值量化），然后提出了自适应量化算法以解决它们的缺点。此外，发挥出量化算法的性能，作者还自 ...
论文笔记—Flattened convolution neural networks for feedforward acceleration
1. 论文思想 一维滤过器。将三维卷积分解成三个一维卷积。convolution across channels(lateral), vertical and horizontal directio ...
《Population Based Training of Neural Networks》论文解读
很早之前看到这篇文章的时候，觉得这篇文章的思想很朴素，没有让人眼前一亮的东西就没有太在意。之后读到很多Multi-Agent或者并行训练的文章，都会提到这个算法，比如第一视角多人游戏(Quake ...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 摘要 我们引入了一个新的叫做bert的语言表示模型，它用transformer的双向编码器表示。与最近的语言表示模型不同，BERT ...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
摘要： 提出了一个新的语言表示模型(language representation), BERT: Bidirectional Encoder Representations from Transf ...
ReLU——Deep Sparse Rectifier Neural Networks
1. 摘要 ReLU 相比 Tanh 能产生相同或者更好的性能，而且能产生真零的稀疏表示，非常适合自然就稀疏的数据。 采用 ReLU 后，在大量的有标签数据下，有没有无监督预训练模 ...