論文筆記——Deep Residual Learning for Image Recognition
論文地址：Deep Residual Learning for Image Recognition ResNet——MSRA何凱明團隊的Residual Networks，在2015年ImageNet上大放異彩，在ImageNet的classification、detection ...
原文：論文筆記：Deep Residual Learning
之前提到，深度神經網絡在訓練中容易遇到梯度消失 爆炸的問題，這個問題產生的根源詳見之前的讀書筆記。在 Batch Normalization 中，我們將輸入數據由激活函數的收斂區調整到梯度較大的區域，在一定程度上緩解了這種問題。不過，當網絡的層數急劇增加時，BP 算法中導數的累乘效應還是很容易讓梯度慢慢減小直至消失。這篇文章中介紹的深度殘差 Deep Residual 學習網絡可以說根治了這種問題 ...
2018-01-07 14:35 3 4048 推薦指數：
相關推薦
Deep Learning 論文筆記 (3): Deep Learning Face Attributes in the Wild
的識別效果。 這篇論文的主要思想是通過學習兩個deep network來構建face attrib ...
論文筆記之：Deep Reinforcement Learning with Double Q-learning
Deep Reinforcement Learning with Double Q-learning Google DeepMind Abstract 主流的 Q-learning 算法過高的估計在特定條件下的動作值。實際上，之前是不知道是否這樣的過高估計是 common ...
論文筆記之：Active Object Localization with Deep Reinforcement Learning
Active Object Localization with Deep Reinforcement Learning ICCV 2015 最近Deep Reinforcement Learning算是火了一把，在Google Deep Mind的主頁上，更是許多關於此 ...
論文筆記之：Dueling Network Architectures for Deep Reinforcement Learning
Dueling Network Architectures for Deep Reinforcement Learning ICML 2016 Best Paper 摘要：本文的貢獻點主要是在 DQN 網絡結構上，將卷積神經網絡提出的特征，分為兩路走，即：the state ...
論文筆記之：Playing Atari with Deep Reinforcement Learning
Playing Atari with Deep Reinforcement Learning 《Computer Science》, 2013 Abstract： 本文提出了一種深度學習方法，利用強化學習的方法，直接從高維的感知輸入中學習控制策略。模型是一個卷積神經網絡 ...
[論文筆記] ：Temporal Graph Networks for Deep Learning on Dynamic Graphs
本篇文章發表在ICLR2020上，對動態圖的進行連接預測和結點分類。TGN中，作者除利用傳統的圖神經網絡捕捉非歐式結構生成embedding外，還利用動態圖所中時序信息。 T ...
論文筆記(2)：A fast learning algorithm for deep belief nets.
論文筆記(2)：A fast learning algorithm for deep belief nets. 這幾天繼續學習一篇論文，Hinton的A Fast Learning Algorithm for Deep Belief Nets。這篇論文一開始讀起來是相當費勁的，學習 ...