LSTM與Highway-LSTM算法實現的研究概述

本文轉載自查看原文 2015-12-22 21:07 3477 LSTM/ 深度學習/ LUA/ Highway-LSTM/ Torch

LSTM與Highway-LSTM算法實現的研究概述

zoerywzhou@gmail.com

作者：Zhouwan

2015-12-22

聲明：

1）該LSTM的學習系列是整理自網上很多大牛和機器學習專家所無私奉獻的資料的。具體引用的資料請看參考文獻。具體的版本聲明也參考原文獻。

2）本文僅供學術交流，非商用。所以每一部分具體的參考資料並沒有詳細對應。如果某部分不小心侵犯了大家的利益，還望海涵，並聯系博主刪除。

3）本人才疏學淺，整理總結的時候難免出錯，還望各位前輩不吝指正，謝謝。

請聯系：zoerywzhou@gmail.com 或13813017783@163.com

本研究課題系本人本科畢業設計，開題報告初步確定，后面會實時更新，希望能與大家相互交流，共同進步！

一、研究計划：

1、理解LSTM的基本概念、原理與相關應用

2、剖析LSTM的代碼實現

3、理解深度學習中Highway的思想，以及如何在LSTM中實現Highway

4、剖析Highway-LSTM代碼

5、選擇一個應用，進行驗證

定期（每隔一月）對算法剖析的進展做總結，目標在3月底，完全掌握LSTM的代碼與算法。

二、以下為部分 學習資料的鏈接：

Github上的資源：

Basic LSTM (LUA) https://github.com/wojzaremba/lstm

Basic LSTM by Torch (LUA) https://github.com/karpathy/char-rnn

Highway LSTM by Torch (LUA) https://github.com/yoonkim/lstm-char-cnn

LSTM : http://colah.github.io/posts/2015-08-Understanding-LSTMs/

LSTM implementation: http://apaszke.github.io/posts.html

部分參考文獻：

[High-way-lstm-1]High-way LSTM RNNS FOR Distant Speech Recognition.pdf ：訪問密碼 510b

[High-way-lstm-2]Character-Aware Neural Language Models.pdf ：訪問密碼 510b

神經網絡課件：NN-Lectures：CSC321 Winter 2015 Introduction to Neural Networks：訪問密碼 0442

三、我的學習計划如下：

1、2015.12.23、24，28-30；2016.1.3、4（一周時間）————理解LSTM的基本概念、原理與相關應用

　　（1）結合NN-lectures課件和以下網址看BP算法，了解其原理：（2015.12.23、24）

　　　　　　 Calculus on Computational Graphs: Backpropagation

　　　　　　 Principles of training multi-layer neural network using backpropagation 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

　　（2）理解LSTM的基本概念、原理：（12.28~31）

　　　　　　理解LSTM : http://colah.github.io/posts/2015-08-Understanding-LSTMs/ （譯文）

　　　　　　LSTM implementation: http://apaszke.github.io/posts.html ( 譯文)　　　　

　　　　　 RNN以及LSTM的介紹和公式梳理： http://blog.csdn.net/Dark_Scope/article/details/47056361　　　　

　　　　　　深入淺出LSTM神經網絡： http://www.csdn.net/article/2015-06-05/2824880

　　　　　　 Learning to read with recurrent neural networks（博士生Zachary Chase Lipton）

　　　　　　順便理解一下RNN，Andrej Karpathy寫了篇非常棒的博客：遞歸神經網絡不可思議的有效性（英文原版）

（3）了解LSTM的應用：（2016.1.3、4）

　目前了解到的LSTM應用大概有以下幾個：

來自知乎： http://www.zhihu.com/question/37082800/answer/70333603

（1） Language Model
The Unreasonable Effectiveness of Recurrent Neural Networks

（2） Image Captioning
[CVPR15]]Long-term Recurrent Convolutional Networks for Visual Recognition and Description
Deep Visual-Semantic Alignments for Generating Image Descriptions

（3）Speech Recognition

（4）Machine Translation
[NIPS15] Sequence to Sequence Learning with Neural Networks.

（5） Computer-composed Music
https://www.quora.com/What-is-the-state-of-the-art-in-computer-composed-music
Composing Music With Recurrent Neural Networks

2、2016.1.5-2016.1.19 ————剖析LSTM的代碼實現，動手編程序，並寫一篇總結日志，發布到CSDN上：

　　　　2016.1.5-2016.1.10 ——Basic LSTM (LUA) https://github.com/wojzaremba/lstm 　　

　　　　　　 https://github.com/bgshih/crnn、

　　　　　　學LUA:(在線學習手冊)： http://manual.luaer.cn/、

　　　　　　　　入門教程： http://www.cnblogs.com/thinksasa/p/4039640.html、 http://www.jb51.net/article/55394.htm

　　　　　　　　關於LUA閉包的解釋： http://www.2cto.com/kf/201503/382691.html

　　　　2016.1.11-2016.1.18 ——Basic LSTM by Torch (LUA) https://github.com/karpathy/char-rnn

　　　　2016.1.19 ——寫一篇總結日志，發布到CSDN上

*******************************************************************

　非學習時間：2016.1.19-2.22寒假回家，暫定每周兩天時間看看論文

　{