超分辨中的注意力機制：Attention in Super Resolution

目錄

• 常見注意力模型
  • Non-local Neural Networks
  • SPATIAL TRANSFORMER NETWORKS
  • Squeeze-and-Excitation Networks
  • Residual Attention Network
• 注意力機制應用於超分辨
  • MAANet：Multi-view Aware Attention Networks
  • RNAN：Residual Non-local Attention Networks for Image Restoration
  • SAN：Second-order Attention Network for Single Image Super-Resolution
  • TAN：Triple Attention Mixed Link Network for Single Image Super Resolution
  • HRAN：Hybrid Residual Attention Network
  • MGAN：Multi-grained Attention Networks
  • PANet：Pyramid Attention Networks for Image Restoration
  • CSNLN：Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining

常見注意力模型

Non-local Neural Networks

計算任意兩個位置之間的交互直接捕捉遠程依賴，而不用局限於相鄰點，其相當於構造了一個和特征圖譜尺寸一樣大的卷積核, 從而可以維持更多信息

1. paper：Non-local Neural Networks

2. blog：

   • https://www.cnblogs.com/pprp/p/12153255.html
   • https://blog.csdn.net/qq_39478403/article/details/105455877

3. code：

   • https://github.com/17Skye17/Non-local-Neural-Networks-Pytorch
   • https://github.com/facebookresearch/video-nonlocal-net

4. idea：

   

   

   

   • 應用到self-attention機制

   

5. 存在問題：在[PANet](#PANet：Pyramid Attention Networks for Image Restoration)中指出，在自注意力模塊中使用的逐像素匹配通常對低級視覺任務很嘈雜(噪聲問題)，從而降低了性能。 從直覺上講，擴大搜索空間會增加尋找更好匹配的可能性，但對於現有的自注意模塊而言並非如此。 與采用大量降維操作的高級特征圖不同，圖像重建網絡通常會保持輸入的空間大小。 因此，特征僅與局部區域高度相關，因此容易受到噪聲信號的影響。 這與傳統的非局部濾波方法相一致，在傳統的非局部濾波方法中，逐像素匹配的效果比塊匹配要差得多。

SPATIAL TRANSFORMER NETWORKS

基於空間域的注意力機制，利用坐標進行復制，用於圖像的方位變化轉正

1. paper ：SPATIAL TRANSFORMER NETWORKS

2. blog：https://www.cnblogs.com/liaohuiqiang/p/9226335.html

3. code：

   • https://github.com/mp31192/3D-SpatialTransformationLayer-pytorch
   • https://pytorch.org/tutorials/intermediate/spatial_transformer_tutorial.html

4. idea：

   

   

Squeeze-and-Excitation Networks

基於通道注意力，對每個通道賦予不同的權值

1. paper：Squeeze-and-Excitation Networks

2. blog：https://www.cnblogs.com/bonelee/p/9030092.html

3. code：

   • https://github.com/miraclewkf/SENet-PyTorch

   • https://github.com/moskomule/senet.pytorch

4. idea：

   

Residual Attention Network

1. paper：Residual Attention Network for Image Classification

2. blog：https://blog.csdn.net/u013738531/article/details/81293271

3. code：https://github.com/tengshaofeng/ResidualAttentionNetwork-pytorch

4. idea：

   

   

   

注意力機制應用於超分辨

MAANet：Multi-view Aware Attention Networks

1. paper：https://arxiv.org/abs/1904.06252

2. blog：https://blog.csdn.net/weixin_42096202/article/details/103666302

3. code：None

4. idea：

   

   

   

   1. 局部注意力利用下采樣
   2. 全局注意力類似[Squeeze-and-Excitation Networks](#Squeeze-and-Excitation Networks)

RNAN：Residual Non-local Attention Networks for Image Restoration

1. paper：https://arxiv.org/pdf/1903.10082.pdf

2. blog：https://zhuanlan.zhihu.com/p/112624730

3. code：https://github.com/yulunzhang/RNAN

4. idea：

   

   

   

   • 主要引入了上面提到的[局部注意力](#Residual Attention Network)和[非局部注意力](#Non-local Neural Networks)

SAN：Second-order Attention Network for Single Image Super-Resolution

1. paper：http://www4.comp.polyu.edu.hk/~cslzhang/paper/CVPR19-SAN.pdf

2. blog：https://zhuanlan.zhihu.com/p/144682406

3. code：https://github.com/daitao/SAN

4. idea：

   

   1. 對於二階注意力SOCA比較難理解

TAN：Triple Attention Mixed Link Network for Single Image Super Resolution

1. paper：https://arxiv.org/ftp/arxiv/papers/1810/1810.03254.pdf

2. code：https://github.com/opteroncx/TAN

3. blog：https://blog.csdn.net/qq_34049103/article/details/103291959

   

HRAN：Hybrid Residual Attention Network

1. paper：https://arxiv.org/pdf/1907.05514.pdf

2. code：https://github.com/AbdulMoqeet/HRAN

3. blog：博客沒人讀

4. idea：

   

   

MGAN：Multi-grained Attention Networks

1. paper：https://arxiv.org/pdf/1909.11937.pdf
2. code：沒開源
3. blog：沒人讀

PANet：Pyramid Attention Networks for Image Restoration

1. paper：https://arxiv.org/pdf/2004.13824.pdf

2. code：https://github.com/SHI-Labs/Pyramid-Attention-Networks

3. blog：https://blog.csdn.net/weixin_42096202/article/details/106240801

   

   

   • Non-Local 只能在相同尺度下提取注意力，而且是以逐像素比對的方式，會引入噪聲問題，導致性能下降，且未能捕獲不同特征尺度上的有用特征的依賴關系
   • Scale Agnostic Attention 以patch方式捕獲兩個尺度上的全局像素響應
   • pyramid attention 以patch的方式來捕獲多個尺度上的全局響應

CSNLN：Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining

1. paper：https://arxiv.org/pdf/2006.01424.pdf

2. code：https://github.com/SHI-Labs/Cross-Scale-Non-Local-Attention

3. blog：https://blog.csdn.net/weixin_43514766/article/details/109996899

4. idea：

   

   

   • 紅色的小方塊兒是pxp（p是可調參數）尺寸的，舉個例子：如果我們想重建X中的紅色小方塊的部分（target），首先我們在X的下采樣結果Y中搜尋與該target接近的小塊兒（不止一個，為了方便，只畫了一個，實際上應該是多個結果進行加權），Y中的小塊就是與target接近的小塊，此時，我們在X中找到對應該小塊的“大”塊，就是藍色這塊；最后，用藍色塊中的信息輔助重建目標塊——SR中的紫色塊。

     

   • 殘差特征 R_IC 表示一個來源中存在而另一來源中不存在的細節。 這種殘差間的投影使網絡繞過共有信息，僅關注不同源之間的特殊信息，從而提高了網絡的判別能力。同時加入了反投影的思路，Mutual-Projected Fusion結構可確保在融合不同特征的同時進行殘差學習，與瑣碎的加法（adding）或串聯（concatenating）操作相比，該融合方法可進行更具判別性的特征學習。