論文閱讀 | Pre-trained Models for Natural Language Processing: A Survey
參考：機器之心 論文：Pre-trained Models for Natural Language Processing: A Survey 首先簡要介紹了語言表示學習及相關研究進展； 其次從四個方面對現有 PTM (Pre-trained Model) 進行系統分類 ...
原文：《An Attentive Survey of Attention Models》閱讀筆記
本文是對文獻 An Attentive Survey of Attention Models 的總結，詳細內容請參照原文。 引言 注意力模型現在已經成為神經網絡中的一個重要概念，並已經應用到多個應用領域。本文給出了注意力機制的主要思想，並對現有的一些注意力模型進行了分類，以及介紹了注意力機制與不同的神經結構的融合方法，並且還展示了注意力是如何提高神經網絡模型的可解釋性的。最后，本文討論了一些具體 ...
2019-06-17 17:09 0 1137 推薦指數：
相關推薦
論文筆記之： Recurrent Models of Visual Attention
Recurrent Models of Visual Attention Google DeepMind 模擬人類看東西的方式，我們並非將目光放在整張圖像上，盡管有時候會從總體上對目標進行把握，但是也是將目光按照某種次序（例如，從上倒下，從左到右等等）在圖像上進行掃描，然后從一個區域 ...
《Graph Attention Network》閱讀筆記
基本信息 論文題目：GRAPH ATTENTION NETWORKS 時間：2018 期刊：ICLR 主要動機 探討圖譜（Graph）作為輸入的情況下如何用深度學習完成分類、預測等問題；通過堆疊這種層（層中的頂點會注意鄰居的特征），我們可以給鄰居中的頂點指定不同的權重，不需要任何一種耗時 ...
django中models閱讀筆記
一、使用數據庫需要設置settings.py文件。 3、常用的幾條命令： python manage.py validate#檢查models是否有語法錯誤 python manage.py startproject projectname python ...
Multimodal Machine Learning:A Survey and Taxonomy 綜述閱讀筆記
該筆記基於：Multimodal Machine Learning:A Survey and Taxonomy 該論文是一篇對多模態機器學習領域的總結和分類，且發表於2017年，算是相當新的綜述了。老師在課上推薦閱讀，我花了三天大體看了一邊，其中有很多實際的方法或者技術對我來說是全新的領域 ...
《A Semi-supervised Graph Attentive Network for Financial Fraud Detection》閱讀筆記
A Semi-supervised Graph Attentive Network for Financial Fraud Detection 作者：Daixin Wang, Jianbin Lin, Peng Cui, Quanhui Jia, Zhen Wang, Yanming Fang ...
[閱讀筆記]Attention Is All You Need - Transformer結構
self-attention機制, 是一種堆疊的self-attention 使用全連接層 逐點point ...
論文閱讀《Backdoor Learning: A Survey》
《Backdoor Learning: A Survey》閱讀筆記 摘要 后門攻擊的目的是將隱藏后門嵌入到深度神經網絡(dnn)中，使被攻擊模型在良性樣本上表現良好，而如果隱藏后門被攻擊者定義的觸發器激活，則被攻擊模型的預測將被惡意改變。這種威脅可能發生在訓練過程沒有完全控制的情況下 ...