原文:論文筆記之:Progressive Neural Network Google DeepMind

Progressive Neural Network Google DeepMind 摘要:學習去解決任務的復雜序列 結合 transfer 遷移 ,並且避免 catastrophic forgetting 災難性遺忘 對於達到 human level intelligence 仍然是一個關鍵性的難題。本文提出的 progressive networks approach朝這個方向邁了一大步:他 ...

2016-10-26 22:40 1 2521 推薦指數:

查看詳情

論文筆記Progressive Neural Networks 漸進式神經網絡

Progressive NN Progressive NN是第一篇我看到的deepmind做這個問題的。思路就是說我不能忘記第一個任務的網絡,同時又能使用第一個任務的網絡來做第二個任務。 為了不忘記之前的任務,他們的方法簡單暴力:對所有的之前任務的網絡,保留並且fix,每次有一個新任務就新建 ...

Thu Jan 11 22:50:00 CST 2018 0 2118
論文筆記《ImageNet Classification with Deep Convolutional Neural Network

一、摘要 了解CNN必讀的一篇論文,有些東西還是可以了解的。 二、結構 1、 Relu的好處: 1、在訓練時間上,比tanh和sigmod快,而且BP的時候求導也很容易 2、因為是非飽和函數,所以基本不會出現梯度消失的情況 Relu只要控制 ...

Fri Jul 22 05:16:00 CST 2016 0 3574
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM