題目:神經網絡的隱藏屬性
作者:一作: Christian Szegedy (GooLeNet, BN) 三作: Ilya Sutskever (AlexNet二作,S2S) 六作:Ian Goodfellow(DL book, Maxout, GAN Bengio學生) 七作:Rob Fergus(Visualizing)
出處:ICLR
摘要:深度神經網絡在語音、視覺識別方面取得非常好的表現,它成功的原因也使得它具有反直覺的性質,本文提出了兩種反直覺性質:
1):根據對神經元的分析,深層的單個神經元與深層神經元的隨機結合沒有本質區別,這表明深度神經網絡中存儲語義信息的是網絡結構而不是之前認為的單個神經元(對深度學習影響不大)
2):發現深度神經網絡的非線性程度很高,這使得通過添加擾動,可以使得神經網絡錯分類,此外這些擾動也可以使另外的模型錯分類(深刻的影響了深度學習)
性質1,實驗沒怎么看懂,就知道,尋找使某個激活函數值最大化的一系列圖像,不知道怎么得出結論的
性質2,論文指出圖像的微小擾動通常不會改變分類,但可以人工生成。論文通過使用L-BFGS算法最小化下式
其實並沒有看懂這個公式。
實驗結果表明對抗樣本具有通用性,對抗樣本同樣可以使不同模型的神經網絡分錯類,甚至在不同訓練集上的神經網絡也會錯分類
通過反饋對抗樣本給訓練集可能提高模型的泛化程度