原文:論文筆記-Sequence to Sequence Learning with Neural Networks

大體思想和RNN encoder decoder是一樣的,只是用來LSTM來實現。 paper提到三個important point: encoder和decoder的LSTM是兩個不同的模型 deep LSTM表現比shallow好,選用了 層的LSTM 實踐中發現將輸入句子reverse后再進行訓練效果更好。So for example, instead of mapping the sent ...

2017-12-23 16:37 0 1479 推薦指數:

查看詳情

論文筆記《Notes on convolutional neural networks

這是個06年的老文章了,但是很多地方還是值得看一看的. 一、概要 主要講了CNN的Feedforward Pass和 Backpropagation Pass,關鍵是卷積層和polling層 ...

Wed Jul 06 20:48:00 CST 2016 0 2501
論文筆記系列-Speeding Up Automatic Hyperparameter Optimization of Deep Neural Networks by Extrapolation of Learning Curves

I. 背景介紹 1. 學習曲線(Learning Curve) 我們都知道在手工調試模型的參數的時候,我們並不會每次都等到模型迭代完后再修改超參數,而是待模型訓練了一定的epoch次數后,通過觀察學習曲線(learning curve, lc) 來判斷是否有必要繼續訓練下去。那什么是學習曲線 ...

Sun Jan 06 03:52:00 CST 2019 1 647
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM