自然語言處理中的自注意力機制（Self-attention Mechanism）

自然語言處理中的自注意力機制（Self-attention Mechanism） 近年來，注意力（Attention）機制被廣泛應用到基於深度學習的自然語言處理(NLP)各個任務中，之前我對早期注意力機制進行過一些學習總結（可見http://www.cnblogs.com ...

深入理解Transformer及其源碼

　　 深度學習廣泛應用於各個領域。基於transformer的預訓練模型（gpt/bertd等）基本已統治NLP深度學習領域，可見transformer的重要性。本文結合《Attenti ...

[NLP] 相對位置編碼(一) Relative Position Representatitons (RPR) - Transformer

對於Transformer模型的positional encoding，最初在Attention is all you need的文章中提出的是進行絕對位置編碼，之后Shaw在2018年的文章中提出了 ...