Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images
Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images 是2015年的cvpr的文章。
最近的研究發現：可以針對一張已經有正確分類的image，對其進行細微的像素修改，可以在DNN下被錯分為其他label。同樣，根據DNN，很容易產生一張在人眼下毫無意義的image，但是在DNN中能夠獲得高confidence的label。
本文意義： 對DNN的計算機視覺的generality的一個思考。
本文方法：使用 evolutionary algorithm或者梯度上升（gradient ascent）的方法來產生高預測confidence的image。
選擇Deep Neural Networks，選擇AlexNet作為本文的model，其中AlexNet pretrain在MNIST上取得了0.94% error rate
使用EA，有兩種encoding的方法：
（1），direct encoding，對於每一個pixel使用介於[0, 255] 的uniform random noise生成。選擇變異的數量為10%，每迭代1000次下降一半。使用多項式變異算法（polynomial mutation operator），變異的長度選擇為固定的長度為15。
（2），indirect encoding，采用的是CPPN （compositional pattern producing network），可以產生類似自然和人造物體的復雜images。
對於directly encoded的image，經過約50次的迭代之后，可以獲得99.99%的confidence。
對於indirect encoded的image，經過CPPN的若干次迭代之后，就可以獲得99.99%的confidence。
同時， 利用這種generated 方法產生的image，因為其high confidence，可以說明dnn是提取各個不同類的關鍵圖像形態來作為分類的
還有一種方法是：通過 gradient ascent來產生fooling images，對於一張image，指定一個其他類的label，
通常情況下， 這種情況因為backpropagated 得到的圖片，也可以達到99% 的confidence，但是在辨識度上也是不可被人眼識別，也不同於ea生成的image。
討論：
在生成image的時候，也發現很多generated image是有辨識度的。
那么， CPPN EA也可以作為一種對DNN visualize 的手段。
個人觀點：
從當前熱門的 computer vision 的 dl 黑盒方法中看出， dl對其在feature 轉換之后的 space，也做了一個分類，但是這個類空間中還有一大部分的high confidence 的區域，為人眼無法辨識的image。也為DNN的安全性做了一個探討。