DL4NLP —— 序列標注：BiLSTM-CRF模型做基於字的中文命名實體識別
三個月之前 NLP 課程結課，我們做的是命名實體識別的實驗。在MSRA的簡體中文NER語料（我是從這里下載的，非官方出品，可能不是SIGHAN 2006 Bakeoff-3評測所使用的原版 ...
花費 8 ms
Multimodal —— 看圖說話（Image Caption）任務的論文筆記（一）評價指標和NIC模型
看圖說話（Image Caption）任務是結合CV和NLP兩個領域的一種比較綜合的任務，Image Caption模型的輸入是一幅圖像，輸出是對該幅圖像進行描述的一段文字。這項任務要求模 ...
Multimodal —— 看圖說話（Image Caption）任務的論文筆記（二）引入attention機制
在上一篇博客中介紹的論文“Show and tell”所提出的NIC模型采用的是最“簡單”的encoder-decoder框架，模型上沒有什么新花樣，使用CNN提取圖像特征，將Softma ...
6. 從Encoder-Decoder(Seq2Seq)理解Attention的本質
1. 語言模型 2. Attention Is All You Need（Transformer）算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BERT算法原理解析 6. 從Encoder-Decoder(Seq2Seq)理解Attention ...
深度學習之seq2seq模型以及Attention機制
RNN，LSTM，seq2seq等模型廣泛用於自然語言處理以及回歸預測，本期詳解seq2seq模型以及attention機制的原理以及在回歸預測方向的運用。 1. seq2seq模型介紹 seq2seq模型是以編碼（Encode）和解碼（Decode）為代表的架構方式，seq2seq模型 ...
Facebook的Fairseq模型詳解(Convolutional Sequence to Sequence Learning)
1. 前言 近年來，NLP領域發展迅速，而機器翻譯是其中比較成功的一個應用，自從2016年谷歌宣布新一代谷歌翻譯系統上線，神經機器翻譯（NMT，neural machine translation） ...
機器學習（ML）十二之編碼解碼器、束搜索與注意力機制
編碼器—解碼器（seq2seq） 在自然語言處理的很多應用中，輸入和輸出都可以是不定長序列。以機器翻譯為例，輸入可以是一段不定長的英語文本序列，輸出可以是一段不定長的法語文本序列，例如 當輸入和輸出都是不定長序列時，我們可以使用編碼器—解碼器（encoder-decoder ...