paper: 《Attention Augmented Convolutional Networks》 https://arxiv.org/pdf/1904.09925.pdf
這篇文章是google brain的，應該有分量。上來就說：卷積神經網絡有一個重要的弱點就是 它僅僅操作於於一個領域，對於沒有考慮到全局信息有損失。
（這就是全局和局部的辨證關系。）
注意力機制，以一種能夠把握長距離作用的手段，在序列模型和生成模型里使用。這篇文章使用注意力機制到判別模型中來，作為替代卷積的手段。（非常具有ambition）
這篇文章由於使用的是tensorflow 所以表述和 pytorch不同 （tensorfow 是 w*h*c pytorch 是 c*w*h)
在論文的self-attention over image 部分里使用了《Attention is All You Need》的方法介紹有人已經研究過了 在這里 ：https://kexue.fm/archives/4765 （蘇同學的博客里有不少干貨）
總之和上一篇里Self-Attention Generative Adversarial Networks介紹的方法幾乎一致。所以就直接參考上邊博客的內容。