# 好久沒更新博客了，有時候隨手在本上寫寫，或者Evernote上記記，零零散散的筆記帶來零零散散的記憶o(╥﹏╥)o。。還是整理到博客上比較有整體性，也方便查閱~ 自google在2018年10月 ...

自然語言處理中的自注意力機制（Self-attention Mechanism） 近年來，注意力（Attention）機制被廣泛應用到基於深度學習的自然語言處理(NLP)各個任務中，之前我對早期注 ...

1. 語言模型 2. Attention Is All You Need（Transformer）算法原理解析 3. ELMo算法原理解析 4. OpenAI GPT算法原理解析 5. BER ...

自然語言處理中的語言模型預訓練方法（ELMo、GPT和BERT） 最近，在自然語言處理（NLP）領域中，使用語言模型預訓練方法在多項NLP任務上都獲得了不錯的提升，廣泛受到了各界的關注。就此，我將 ...

三個月之前 NLP 課程結課，我們做的是命名實體識別的實驗。在MSRA的簡體中文NER語料（我是從這里下載的，非官方出品，可能不是SIGHAN 2006 Bakeoff-3評測所使用的原版 ...

word2vec前世今生 2013年，Google開源了一款用於詞向量計算的工具——word2vec，引起了工業界和學術界的關注。首先，word2vec可以在百萬數量級的詞典和上億的數據集上進行高效 ...

把語料從數據庫提取出來以后就要進行分詞啦，我是在linux環境下做的，先把jieba安裝好，然后找到內容是build jieba PKG-INFO setup.py test的那個文件夾（ ...

注意力機制（Attention Mechanism）在自然語言處理中的應用 近年來，深度學習的研究越來越深入，在各個領域也都獲得了不少突破性的進展。基於注意力（attention）機制的神 ...

十分鍾學習自然語言處理概述 作者：白寧超 2016年9月23日00:24:12 摘要：近來自然語言處理行業發展朝氣蓬勃，市場應用廣泛。筆者學習以來寫了不少文章，文章深度層次不一，今天因為某 ...

神經網絡中使用激活函數來加入非線性因素，提高模型的表達能力。 ReLU(Rectified Linear Unit,修正線性單元) 形式如下: \[\begin{equation ...