原文:论文笔记之:Progressive Neural Network Google DeepMind

Progressive Neural Network Google DeepMind 摘要:学习去解决任务的复杂序列 结合 transfer 迁移 ,并且避免 catastrophic forgetting 灾难性遗忘 对于达到 human level intelligence 仍然是一个关键性的难题。本文提出的 progressive networks approach朝这个方向迈了一大步:他 ...

2016-10-26 22:40 1 2521 推荐指数:

查看详情

论文笔记Progressive Neural Networks 渐进式神经网络

Progressive NN Progressive NN是第一篇我看到的deepmind做这个问题的。思路就是说我不能忘记第一个任务的网络,同时又能使用第一个任务的网络来做第二个任务。 为了不忘记之前的任务,他们的方法简单暴力:对所有的之前任务的网络,保留并且fix,每次有一个新任务就新建 ...

Thu Jan 11 22:50:00 CST 2018 0 2118
论文笔记《ImageNet Classification with Deep Convolutional Neural Network

一、摘要 了解CNN必读的一篇论文,有些东西还是可以了解的。 二、结构 1、 Relu的好处: 1、在训练时间上,比tanh和sigmod快,而且BP的时候求导也很容易 2、因为是非饱和函数,所以基本不会出现梯度消失的情况 Relu只要控制 ...

Fri Jul 22 05:16:00 CST 2016 0 3574
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM