論文解讀《Understanding the Effective Receptive Field in Deep Convolutional Neural Networks》
感知野的概念尤為重要，對於理解和診斷CNN網絡是否工作，其中一個神經元的感知野之外的圖像並不會對神經元的值產生影響，所以去確保這個神經元覆蓋的所有相關的圖像區域是十分重要的；需要對輸出圖像的單個像素進 ...
原文：Understanding the difficulty of training deep feedforward neural networks
本文作者為：Xavier Glorot與Yoshua Bengio。 本文干了點什么呢 第一步：探索了不同的激活函數對網絡的影響 包括：sigmoid函數，雙曲正切函數和softsign y x x 函數 。 文中通過不斷的實驗： ，來monitor網絡中隱藏單元的激活值來觀察它的飽和性 . 梯度。 並且evaluate 所選擇的激活函數與初始化方法 預訓練被看作一種特殊的初始化方法 。 實驗數據 ...
2017-02-17 22:14 1 4447 推薦指數：
相關推薦
MLHPC 2016 | Communication Quantization for Data-parallel Training of Deep Neural Networks
本文主要研究HPC上進行數據並行訓練的可行性。作者首先在HPC上實現了兩種通信量化算法（1 Bit SGD以及閾值量化），然后提出了自適應量化算法以解決它們的缺點。此外，發揮出量化算法的性能，作者還自 ...
論文筆記—Flattened convolution neural networks for feedforward acceleration
1. 論文思想 一維濾過器。將三維卷積分解成三個一維卷積。convolution across channels(lateral), vertical and horizontal directio ...
《Population Based Training of Neural Networks》論文解讀
很早之前看到這篇文章的時候，覺得這篇文章的思想很朴素，沒有讓人眼前一亮的東西就沒有太在意。之后讀到很多Multi-Agent或者並行訓練的文章，都會提到這個算法，比如第一視角多人游戲(Quake ...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 摘要 我們引入了一個新的叫做bert的語言表示模型，它用transformer的雙向編碼器表示。與最近的語言表示模型不同，BERT ...
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
摘要： 提出了一個新的語言表示模型(language representation), BERT: Bidirectional Encoder Representations from Transf ...
ReLU——Deep Sparse Rectifier Neural Networks
1. 摘要 ReLU 相比 Tanh 能產生相同或者更好的性能，而且能產生真零的稀疏表示，非常適合自然就稀疏的數據。 采用 ReLU 后，在大量的有標簽數據下，有沒有無監督預訓練模 ...