原文:论文笔记-Sequence to Sequence Learning with Neural Networks

大体思想和RNN encoder decoder是一样的,只是用来LSTM来实现。 paper提到三个important point: encoder和decoder的LSTM是两个不同的模型 deep LSTM表现比shallow好,选用了 层的LSTM 实践中发现将输入句子reverse后再进行训练效果更好。So for example, instead of mapping the sent ...

2017-12-23 16:37 0 1479 推荐指数:

查看详情

论文笔记《Notes on convolutional neural networks

这是个06年的老文章了,但是很多地方还是值得看一看的. 一、概要 主要讲了CNN的Feedforward Pass和 Backpropagation Pass,关键是卷积层和polling层 ...

Wed Jul 06 20:48:00 CST 2016 0 2501
论文笔记系列-Speeding Up Automatic Hyperparameter Optimization of Deep Neural Networks by Extrapolation of Learning Curves

I. 背景介绍 1. 学习曲线(Learning Curve) 我们都知道在手工调试模型的参数的时候,我们并不会每次都等到模型迭代完后再修改超参数,而是待模型训练了一定的epoch次数后,通过观察学习曲线(learning curve, lc) 来判断是否有必要继续训练下去。那什么是学习曲线 ...

Sun Jan 06 03:52:00 CST 2019 1 647
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM