最近在關注谷歌發布關於BERT模型，它是以Transformer的雙向編碼器表示。順便回顧了《Attention is all you need》這篇文章主要講解Transformer編碼器。使用該模型在神經機器翻譯及其他語言理解任務上的表現遠遠超越了現有算法 ...

本文是針對谷歌Transformer模型的解讀，根據我自己的理解順序記錄的。 另外，針對Kyubyong實現的tensorflow代碼進行解讀，代碼地址https://github.com/Kyubyong/transformer 這里不會詳細描述Transformer的實現機理，如果有不了解 ...

關於Transformer的具體內容，可以訪問：https://www.cnblogs.com/mj-selina/p/12369797.html 簡介 Transformer是Google Brain2017年提出的一種模型，它的編碼能力超越了RNN，但是對於長距離依賴的建模能力依然不足 ...

一、注意力層（attention layer） 重要：本層主要就是根據論文公式計算token之間的attention_scores(QKT),並且做softmax之后變成attention_prob ...

做Softmax不是唯一的選項，做ReLu之類的結果也不會比較差，但是Softmax是用的最多的 CNN是self-attention的特例，論文：On the Relationship b ...

Introduction 在transformer model出現之前，主流的sequence transduction model是基於循環或者卷積神經網絡，表現最好的模型也是用attention mechanism連接基於循環神經網絡的encoder和decoder. ...

終於來到transformer了，之前的幾個東西都搞的差不多了，剩下的就是搭積木搭模型了。首先來看一下transformer模型，OK好像就是那一套東西。 transformer是純基於注意力機制的架構，但是也是之前的encoder-decoder架構。 層歸一化 這里用到了層歸一化 ...

1. Transformer的整體結構 　　如圖所示為transformer的模型框架，transformer是一個seq2seq的模型，分為Encoder和Decoder兩大部分。 2. Transformer Encoder部分 2.1 Encoding輸入部分 　　首先將輸入 ...