Adversarial Camouflage: Hiding Physical-World Attacks with Natural Styles
組員：張榮華 黎君玉 楊根
1問題描述
神經網絡（DNNS）是一類功能強大的模型，在各種人工智能系統中得到了廣泛的應用，但其易受到對抗例子的攻擊。
未來我們的社會必定是一個自動化的環境，比如智能家居，智能安防，自動駕駛等，很多的崗位通過一個傳感器，攝像頭、掃描儀就可以直接完成，而不需要人來干預。神經網絡技術目前在占據重要的地位，如果目標檢測，人臉識別中，有不懷好心之人入侵你的系統中，利用神經網絡的特點，將非法的輸入進行一些偽裝，從而騙過網絡得到被網絡認為是合法的輸出，那帶來的損失和危害也會是巨大的。
2 解決方案
本文作者，提出一種新的方法，稱為“對抗偽裝”(AdvCam)，將物理世界中對抗的例子加工和偽裝成自然的風格，使之在人們觀察者看來是合理的，並以此來測試DNN的魯棒性。
3相觀技術概念
對抗攻擊：我們先用最直觀的方式認識一下什么是對抗攻擊？如下圖，左邊是一張能夠被GoogLeNet正常分類為熊貓的圖片，在添加一定的噪音后變成右圖，在人的肉眼看來，它還是熊貓，但GoogLeNet會判定為長臂猿。這種被修改后人類無法明顯察覺，卻被機器識別錯誤的數據即為對抗樣本，而這整個過程就可以理解為對抗攻擊
物理世界攻擊：現實世界中具有較大且不太現實的失真（很容易被人類觀察者識別）創建的對抗示例。
數字攻擊：通過較小的和不易察覺的擾動創建的數字對抗示例。
4設計理念
4.1 相關說明
- 可以使用三種特性來表征對抗性攻擊：
- 1）對抗性，它代表愚弄DNN的能力；
- 2）對抗性的隱秘性，即觀察者是否可以檢測到對抗性干擾；
- 3）偽裝靈活性，即攻擊者可以控制對抗性圖像的外觀 的程度。
大多數攻擊方法都針對數字環境而開發，例如“投影梯度下降”（PGD），對於數字攻擊，通常很小的擾動就足夠了。但是，物理世界的攻擊需要較大的甚至是不受限制的擾動，因為較小的擾 動太微妙，無法被復雜的物理世界環境中的相機捕獲。已經存在幾種比較小的擾動攻擊方法，例如對抗補丁（ adversarial patch ：AdvPatch）和強大的物理擾動（RP2）。
4.2 總體框架
4.3 具體實現
4.3.1 Style loss
- 對於傳統攻擊，度量隱匿性的標准: D(x , x’ ) = || x − x’ || p其中||.|| p是L p的范數，通常使用的是L2和L∞ ，這是為了將擾動限制到很小。 對於論文提出的偽裝，隱匿性由對抗性示例x ’和樣式參考圖像x s之間的樣式指標來衡量。 可以通過樣式表示中的差異來定義兩個圖像之間的樣式距離：
4.3.2 Content loss
- 前面的樣式丟失可以在參考樣式中生成一個對抗圖像，但是對抗圖像的內容可能與原始圖像的內容有很大的不同。內容丟失如下定義：
4.3.3 Smoothness loss
- 對抗圖像的平滑度可以通過減少相鄰像素之間的變化來提高。 對於對抗圖像x ’，平滑度損失定義為：
4.3.4 Adversarial loss
- 對於對抗性損失，論文中使用以下交叉熵損失：
4.3.5 Adaptation for Physical-world Conditions
- 為了使AdvCam生成的對抗在物理上可實現，我們在生成偽裝對抗的過程中對物理條件進行建模。由於 物理世界環境經常涉及條件變化，例如視點移動，相機噪聲和其他自然變換，因此我們使用一系列適 應方法來適應這種變化的條件。特別的，我們采用與轉換期望（EOT）類似的技術，但是卻沒有期望。我們的目標是在各種物理條件下改進對抗性示例的適應性。因此，我們考慮了用於模擬物理世界條件波動的轉換，包括旋轉，縮放比例大小，顏色偏 移（模擬光照變化）和隨機背景.
5 實驗環境
文章作者提出把AdvCam攻擊與兩種現有的代表性方法:PGD和adversarial patch (AdvPatch)進行了比較。
威脅模型的選擇：我們在數字和物理環境中測試了有針對性和無針對性的攻擊。威脅模型采用灰盒設置:源網絡和目標網絡均為VGG-19網絡，但在ImageNet上分別訓練。
作者從三個方面設置實驗：1)偽裝區域的形狀和位置,2)偽裝的損失和平滑度損失(例如風格損失、內容的損失),和3)對抗的強度參數λ和區域大小。
1) 偽裝區域的形狀和位置
給定一個選定的襲擊地區的形狀和大小,我們增加強度參數λ的區間[100,1000]:
2) 偽裝的損失和平滑度損失
三組經過偽裝的對抗示例，其中包含或不包含兩個可選增強(內容保存Lc和平滑性增強Lm)。當將一個增強,其損失函數是直接添加到最終的對象按照Eq。
3) 對抗的強度參數λ和區域大小
工藝目標和沒有針對性偽裝攻擊隨機選擇50 2000 ImageNet測試圖像類別不同λ(1000、10000)。對於有針對性的攻擊，目標類是隨機選擇的，與真實類不同。
5.1數字攻擊
文中作者從ImageNet ILSVRC2012測試集的5個類別中隨機選擇150張干凈的圖像，然后應用PGD、AdvPatch和我們的AdvCam三種方法為每張干凈的圖像制作一個有針對性的對抗示例。對於PGD和AdvCam，我們對人工選擇得到的主要目標區域進行攻擊，而對於AdvPatch，我們在目標區域內進一步選擇一個圓形的攻擊區域。For PGD, 我們 使用 最大 擾動 = 16/255 (denoted PGD-16).AdvCam,我們隨機選擇一個圖像從同一類別的風格形象,從1000年到10000年,逐步增加λ,直到找到一個敵對的例子。
5.2物理攻擊
文中作者進一步設計了三個物理世界攻擊場景來測試我們的AdvCam攻擊的偽裝能力。我們還執行AdvPatch和PGD攻擊進行比較。
6優缺點
優點：
1.AdvCam是一種靈活的方法，可用於dnn模型的魯棒性評估。
2.AdvCam可以作為一種有意義的偽裝技術來保護目標或人被人類觀察者和基於DNN的設備發現。
缺點：
- 目前提出的AdvCam仍然需要攻擊者手動指定攻擊區域和目標樣式，我們計划在未來的工作中探索語義分割技術來自動實現這一點。
7總結分析
文中作者提出對抗攻擊可應用於數字場景，攻擊者可以將輸入的數字圖像直接輸入到DNN分類器中;物理世界設置，DNN分類器只接受來自攝像機的輸入，攻擊者只能向攝像機呈現具有對抗性的圖像。使用三種特性描述：對抗性強度，它表示愚弄DNNs的能力;對抗性隱形，它是關於對抗性干擾是否能被人類觀察者探測到的;偽裝的靈活性，也就是攻擊者能夠控制對手形象出現的程度。
繼續探討AdvCam在其他計算機視覺任務中的應用，包括目標檢測和分割。並且針對偽裝攻擊的有效防御策略方向深入研究。