圖像分類：CVPR2020論文解讀
Towards Robust Image Classification Using Sequential Attention Models
論文鏈接：https://arxiv.org/pdf/1912.02184.pdf
摘要
在這篇文章中，我們提出用一個受人類感知啟發的注意力模型來擴充一個現代的神經網絡結構。具體地說，我們對一個神經模型進行了逆向訓練和分析，該模型包含了一個受人啟發的視覺注意成分，由一個自上而下的循環順序過程引導。我們的實驗評估揭示了關於這個新模型的穩健性和行為的幾個顯著發現。首先，對該模型的關注顯著地提高了對抗的穩健性，從而在廣泛的隨機目標攻擊強度下獲得最先進的ImageNet精度。其次，我們表明，通過改變模型展開的注意步驟（瀏覽/調整）的數量，我們能夠使其防御能力更強，即使是在更強大的攻擊下——導致攻擊者和防御者之間的“計算競賽”。最后，我們證明了攻擊我們的模型所產生的一些對抗性例子與傳統的對抗性例子有很大的不同——它們包含來自目標類的全局的、顯著的和空間上連貫的結構，即使是人類也可以識別出來，把模型的注意力從原始圖像中的主要對象轉移開。
1. Introduction
在這項工作中，我們建議使用asoft，順序，空間，自上而下的注意機制（我們簡稱為S3TA）[39]，從靈長類視覺系統中汲取靈感。雖然我們不認為這是一個生物學上合理的模型，但我們確實認為這個模型捕捉到了視覺皮層的一些功能，即注意力瓶頸和順序的自上而下的控制。我們在ImageNet圖像上對該模型進行了對抗性訓練，表明該模型對對抗性攻擊具有最先進的魯棒性（重點是投影梯度下降或PGD[32，36]攻擊）。我們表明，通過增加展開模型的步驟數，可以更好地抵御更強的攻擊，從而在攻擊者和防御者之間產生“計算競賽”。最后，但重要的是，我們表明，由此產生的對抗性例子通常（盡管並不總是）包括全局的、顯著的結構，這些結構將被人類感知和解釋（圖1）。此外，我們還發現，攻擊往往試圖將模型的注意力吸引到圖像的不同部分，而不是直接擾動源圖像中的主要對象。
2. Related Work
對抗性訓練：對抗性訓練旨在建立對抗性攻擊的模型。
反復注意模型：注意機制被廣泛應用於許多序列建模問題，如問答[24]、機器翻譯[6，52]、視頻分類和字幕[46，33]、圖像分類和字幕[37，11，17，1，55，60，53，5，57]、文本分類[58，47]、生成模型[42，59，30]，目標跟蹤[29]和強化學習[10]。
注意對抗性穩健性：已經有一些工作研究注意的使用，以加強分類對抗對抗性攻擊。
3. Model
我們強調了模型的重要組成部分，如圖2所示。關於全部細節，我們請讀者參閱[39]和補充材料。該模型首先將輸入圖像通過一個“視覺”網絡-一個卷積神經網絡（這里我們使用一個修改過的ResNet152，見下文）。我們對所有時間步使用相同的輸入圖像，因此ResNet的輸出只需要計算一次。然后，生成的輸出張量沿着通道維度分割，以生成鍵張量和值張量。對於這兩個張量，我們連接一個固定的空間基張量，該張量使用傅立葉表示對空間位置進行編碼。這個空間基礎是重要的，因為我們的注意力瓶頸和空間導致這些張量的空間結構消失，這個基礎允許傳遞空間位置信息。
在這種情況下，關於我們的模型版本的幾個要點：
•注意力瓶頸使得模型的決策可能很大程度上依賴於圖像。這可能是由於注意圖在每個時間步的形狀，以及這些圖在時間步之間可以有很大的變化。這會導致局部對抗性干擾[38]的效果降低。我們在第6節中對此進行了討論，並表明實際上，我們經常觀察到攻擊者需要全局擾動才能成功進行攻擊。
•在最后一點之后，注意圖有一個單獨的通道將所有的價值通道調制在一起，這一事實限制了這些通道的內容在空間上是一致的。在常規ResNet體系結構中，讀取最后一個塊輸出，並在每個通道上獨立完成平均池，這允許網絡在信息到達最后一層時丟失空間結構。
•為了使空間元素，因此注意力瓶頸的影響更加明顯，我們修改ResNet架構，使最終輸出具有更大的空間維度。這是通過在除了第二個剩余塊以外的所有塊中將跨步更改為1來完成的。對於ImageNet輸入（224×224像素），得到的地圖是28×28像素大（而在常規ResNet中是7×7）。
•注意機制的自上而下性質是，查詢來自LSTM的狀態，而不是來自輸入。因此，模型可以根據其內部狀態而不僅僅是輸入來主動選擇相關信息。這允許模型在查詢圖像和生成輸出時考慮自身的不確定性。
模型的這些順序性質允許在不改變參數數量的情況下增加計算能力。我們在第5節中證明了這有助於增強健壯性。
4. Adversarial Risk
在本文中，我們考慮圖像預測在圖像x的
球內保持不變的具體情況，其中相對於在0和1之間縮放的像素強度，允許的最大擾動為
=16/255。 具體來說，我們關注ImageNet數據集[12]，我們主要將目標PGD攻擊視為威脅模型，其中目標類是根據[2、28、56]一致隨機選擇的，前提是未目標攻擊可能導致ImageNet上不太有意義的比較（例如，非常相似犬種的錯誤分類）。
4.1. AdversarialTraining
為了訓練對抗性攻擊的模型，我們遵循了[36]和最近的[56]提出的對抗性訓練方法。根據等式（1）中的對抗風險，我們希望最小化以下鞍點問題：
其中，內部最大化問題是找出能使損失最大化的x的對抗擾動；外部最小化問題旨在更新模型參數，從而使對抗風險p(θ)最小化。
4.2. AdversarialEvaluation
在本文中，我們使用PGD攻擊來評估該模型，該模型在社區中被視為一個強攻擊1，並且有幾篇已發表的論文將其作為基准。在我們不能采用解析梯度的情況下，或者在它們不有用的情況下，我們可以使用無梯度優化來近似梯度。使用無梯度方法，我們可以驗證魯棒性是否源於模型體系結構的梯度模糊。在這項工作中，我們使用SPSA算法[48]，它非常適合於高維優化問題，即使在不確定目標的情況下。我們使用[51]中的SPSA公式來產生對抗性攻擊。在SPSA算法中，首先從Rademacher分布（即Bernoulli±1）中抽取一批n個樣本，即
，然后用隨機方向上的有限差分估計逼近梯度。具體來說，對於第i個樣本，估計的梯度gi計算如下：
式中，δ是擾動大小，xt是第t次迭代時的擾動圖像，f是要評估的模型。最后，SPSA對估計的梯度進行聚合，並在輸入文本上執行投影梯度下降。整個過程按預先確定的迭代次數進行迭代。
5. Experiments Results
第一組模型采用10步PGD對抗性訓練。這些模型通常比使用30個PGD步驟（見下文）訓練的模型更弱，但訓練所需的時間和資源更少。圖3顯示了這些模型對於ImageNet測試數據集在廣泛的隨機靶向PGD攻擊強度下的top1准確性，與ResNet-152基線相比（在對抗性訓練期間也訓練了10個PGD步驟）。最薄弱的模型S3TA-2只有兩個注意步驟，只能發送兩個查詢，一個在它看到圖像之前，另一個在第一步處理答案之后。這就強調了注意力瓶頸本身，而不是模型的順序性。可以看到，瓶頸本身已經允許模型在ResNet-152基線上顯著改進。通過增加注意步驟的數量，我們可以進一步提高對抗精度：展開16個步驟（S3TA-16）顯著提高了穩健性-S3TA16模型比ResNet-152模型更能抵抗1000個PGD攻擊步驟。事實上，在對抗性訓練中使用10個PGD步驟訓練的S3TA-16模型比使用30個PGD步驟訓練的ResNet-152更加健壯（見圖4）。這表明在攻擊強度和我們允許模型具有的計算步驟之間存在一種“計算競賽”。模型的計算步驟越多，對強攻擊的防御能力就越強。超過1000個攻擊步驟並不會改變圖片，因為大多數模型的飽和性能接近1000個步驟。完整的結果，包括攻擊成功率和名義精度，可以在表1和補充材料中找到。
我們現在來比較30步PGD對抗訓練的模型。這些模型一般都要強大得多，在各種攻擊強度下都能獲得良好的魯棒性結果，但需要大量的資源和時間進行訓練。圖4顯示了S3TA16-30模型（其中-30表示訓練過程中的30個PGD步驟）與ResNet-152模型相比的最高精確度，並對其進行去噪[56]，后者是目前對抗穩健性方面的最新技術。可以看出，S3TA-16的性能遠遠優於這兩種機型，為隨機目標攻擊奠定了新的技術水平。圖5顯示了到目前為止討論的所有模型的攻擊成功率。在評估防御策略時，當模型的名義精度較高且具有可比性時，測量攻擊成功率是有意義的。對於這里展示的所有模型，這是正確的（見表1）。值得注意的是，這個方法的結果是：更多的注意步驟有助於降低攻擊成功率，而更多的PGD步驟則有助於訓練。對S3TA-16-30的攻擊成功率比去噪（越低越好）低25%左右。
文獻中大多數健壯性度量都是針對有目標的、基於梯度的攻擊。然而，僅對目標攻擊具有魯棒性的模型弱於對非目標攻擊具有魯棒性的模型[15]。在表2中，我們使用200 PGD步驟報告針對S3TA-16-30與ResNet-152、去噪和LLR的非目標攻擊的結果[43]。在這種情況下，我們的型號非常有競爭力，無論是
=4/255還是
=16/255。我們還探索了無梯度方法，以確保模型不會混淆梯度【51,3】。具體來說，我們使用隨機目標SPSA[51]，其批大小為4096，在
=16/255下迭代100次，用於無梯度攻擊。我們使用迭代符號梯度[32，56]和由SPSA估計的梯度。在隨機選擇的1000個圖像子集上的結果見表3。我們可以觀察到，與基於梯度的攻擊相比，SPSA並不降低准確性。這提供了一個額外的證據，證明模型的強大性能不是由於梯度掩蔽。由於SPSA的對抗精度較低（即所有模型的防御能力都優於基於梯度的方法），因此模型之間的性能差異並不是很明顯。
另一種確保梯度不被混淆的方法是通過可視化損失景觀[43,50]。圖6顯示了S3TA-4和S3TA-16的損失景觀俯視圖。為了可視化損失景觀，我們沿着線性空間改變輸入，線性空間由PGD發現的更差擾動和隨機方向確定。u軸和v軸分別表示在這些方向上添加的擾動的大小，z軸表示損耗。對於兩個面板，菱形代表在標稱圖像周圍投影的尺寸為16/255的L∞球。我們可以觀察到，兩個損失景觀都相當平滑，這提供了一個額外的證據，證明強勁的表現不是因為梯度模糊。
最近一個有趣的數據集是“自然對抗性例子”[23]。該數據集由來自ImageNet的200個類的一個子集的自然圖像組成。選擇這些圖像時，即使沒有對圖像進行實際的修改，也會導致現代圖像分類人員以較高的可信度對圖像進行錯誤分類。圖像通常包含不尋常位置的物體，從不尋常的角度拍攝，或以各種方式被遮擋或損壞。我們比較了一個S3TA-16模型去噪，ResNet基線和“擠壓和激勵”[27]（ResNet+SE）的變化在原來的報告。圖7顯示了使用本文中所用測量方法得出的結果：Top-1精度、測量每個模型的可信度與其實際誤差率之間差異的校准誤差、允許計算精度的AURRA，同時給分類者一個機會，如果他們在預測中不滿意的話，可以棄權。
圖8顯示了幾個生成的敵對的例子對手訓練的S3TA模型（帶4個展開步驟）和對手訓練的ResNet-152的不同攻擊強度示例。我們觀察到，生成的圖像通常（但肯定不總是）包含與目標類相關的顯著結構。然而，盡管對於ResNet示例來說，這些擾動的性質充其量是局部的，但是對於S3TA全局的、一致的和人類感興趣的結構出現了。這為我們模型的內部推理過程提供了一些線索，暗示它以一種連貫的方式在全球、跨空間進行推理。重要的是要注意，在許多情況下，對手的例子似乎不包含任何顯著的結構（即使有許多攻擊步驟）。它們在訓練模型的中途出現的頻率要高得多，而模型已經是一個很好的分類，但還沒有達到魯棒性的頂峰。在訓練接近尾聲時，似乎很難產生這些，可能是模型學習的防御策略的一部分。關於訓練中途生成的一些示例以及更多可見和不可見的擾動圖像，請參見補充材料。了解這些例子在什么情況下出現，留給以后的研究。 由於注意力是我們模型中不可或缺的一部分，所以我們可以看到當網絡受到攻擊並對圖像進行錯誤標記時，它是否起到了作用。我們可以可視化每個時間步驟生成的注意力圖，並查看在不同攻擊場景下如何使用注意力。圖9顯示了用於攻擊S3TA-16模型的圖像的這種注意地圖。注意力疊加在原始圖像上-突出顯示的區域比深色區域更受關注。可以看到，攻擊可以產生刺激，吸引一些注意力離開圖像中的主要對象，在這種情況下，朝向與背景中的目標類稍微相似的對象。
6. Conclusions
在本文中，我們證明了一個由靈長類視覺系統啟發的遞歸注意模型能夠實現對隨機目標對抗攻擊的最新魯棒性。允許更多的注意步驟可以提高在更強攻擊下的准確性。我們證明，由此產生的對抗性例子通常（但並不總是）包含了對人類觀察者可見和可解釋的全局結構。為什么在攻擊像這樣的模特？
我們假設有兩個因素。注意機制從圖像的大部分集中數據，這意味着梯度在整個圖像中迅速傳播，而不僅僅是局部的。此外，由於模型展開了幾個步驟，圖像的更多部分可能會受到關注，因此梯度可能會在那里傳播。
我們看到了這一點的證據，事實上攻擊者通常會將注意力從圖像中的主要對象吸引開，暗示着注意力在攻擊策略中起着至關重要的作用。
在復雜的數據集中，要實現對抗性的健壯性還有很多工作要做。即使是像所提出的模型，當攻擊者足夠強大時，也常常失敗，而且與名義精度相比，性能仍然很低，但是在某一點上，我們可能會問-如果一個圖像被足夠的干擾，以至於它與原始圖像不相似，並且看起來像來自目標類的另一個圖像，這仍然是有效的對抗性干擾嗎？像這里展示的模型可能會讓我們在未來到達這一前沿。