ICML, S. Ioffe and C. Szegedy 解決什么問題 What 分布不一致導致訓練慢：每一層的分布會受到前層的影響，當前層分布發生變化時，后層網絡需要去適應這個分布，訓練時參數的變化會導致各層分布的不斷變化，這個問題被定義為 internal covariate shift ，由於每一層的分布不一樣，就會導致訓練很慢 梯度消失和梯度爆炸：深度網絡中微小的參數變動引起梯度上的劇變 ...
2018-07-01 16:30 0 1777 推薦指數：
說實話，這篇paper看了很久，，到現在對里面的一些東西還不是很好的理解。 下面是我的理解，當同行看到的話，留言交流交流啊！！！！！ 這篇文章的中心點：圍繞着如何降低 internal covariate shift 進行的， 它的方法就是進行batch normalization ...
這篇經典論文，甚至可以說是2015年最牛的一篇論文，早就有很多人解讀，不需要自己着摸，但是看了論文原文Batch normalization: Accelerating deep network training by reducing internal covariate shift 和下面 ...
在神經網絡的訓練過程中，總會遇到一個很蛋疼的問題：梯度消失/爆炸。關於這個問題的根源，我在上一篇文章的讀書筆記里也稍微提了一下。原因之一在於我們的輸入數據（網絡中任意層的輸入）分布在激活函數收斂的區域，拿 sigmoid 函數舉例： 如果數據分布在 [-4, 4] 這個區間兩側 ...
批標准化（Bactch Normalization，BN）是為了克服神經網絡加深導致難以訓練而誕生的，隨着神經網絡深度加深，訓練起來就會越來越困難，收斂速度回很慢，常常會導致梯度彌散問題(Vanishing Gradient Problem)。 統計機器學習中有一個經典的假設 ...
論文地址：https://arxiv.org/abs/1707.06168 代碼地址：https://github.com/yihui-he/channel-pruning 采用方法 這篇文章主要講訴了采用裁剪信道(channel pruning)的方法實現深度網絡的加速 ...
Dueling Network Architectures for Deep Reinforcement Learning ICML 2016 Best Paper 摘要：本文的貢獻點主要是在 DQN 網絡結構上，將卷積神經網絡提出的特征，分為兩路走，即：the state ...
Deep Attention Recurrent Q-Network 5vision groups 摘要：本文將 DQN 引入了 Attention 機制，使得學習更具有方向性和指導性。（前段時間做一個工作打算就這么干，誰想到，這么快就被這幾個孩子給實現了，自愧不如 ...
作者： ShijieSun, Naveed Akhtar, HuanShengSong, Ajmal Mian, Mubarak Shah 來源： arXiv:1810.11780v1 項目： ...
