通過影響函數來理解黑盒預測---論文閱讀報告
組員：曾文麗、倪元元、楊頊
時間：2020/4/15
1.背景
機器學習系統需要對自己所做的行為進行解釋，然而在許多領域中表現最好的模型卻是黑盒模型，它的重點在於了解固定模型如何導致特定預測，本文中主要是通過學習算法返回訓練數據，最終得到模型參數，而在這兒需要對訓練點進行考慮，所以使用了影響函數來對最小訓練點進行提取，查看模型參數的變化，評估各種訓練的干擾效果。
2.論文簡介
論文主要是想通過學習算法跟蹤模型的預測並返回訓練數據來訓練樣本對決策的影響，找出某個決策影響最大的訓練樣本，大體上是通過oracle訪問漸變和Hessian矢量產品來開發，提出高效的近似算法，作者最終通過實驗證明，即使在理論失效的非對流和不可微模型上，對影響函數的逼近任然提供有價值的信息，這些函數對於多個目的都很有用，比如：理解模型行為、調試模型、檢測數據測定器、以及創造可視可識別的訓練集攻擊。
3.方法簡介
影響函數在統計學上有着豐富的歷史，但是在機器學習中還是沒有得到很廣泛的應用，它是通過訓練數據的鏡頭捕捉來研究模型的核心思想。
3.1 Upweighting a training point
為了了解訓練點對模型的預測影響，通過反復事實來確定目標，然而，每個移除的z重新訓練模型是非常緩慢的，所以它的設計思想是當計算z有參數變化時，給出新的參數
利用1982年的一個經典結果
在 附近形成了經驗的二次近似，並采取了牛頓步驟，由於增加和去掉權重是一樣的，所以在這兒采用的是去掉z來引起參數變化，不需要去訓練新模型，通過測試樣本上的loss變化來估計新參數
3.2 perturbing a training input
通過修改樣本來判斷模型預測的改變，在這兒它給原來的x加上了一個小量
擾動后將經驗風險最小化，將質量從z移動到 
所產生的凈參數。
對（1）的模擬計算得出：
影響函數適用於微小擾動，並且，它的近似值適用於任意 ，當 很小時，可以進一步近似（3）得到：
最終得到：
最終得到擾動對某個預測樣本上loss的影響
3.3 Relation to Euclidean distance
這兒作者給了一個具體的例子，使用logistic回歸來區分1和7，選擇任意測試點z，綠點是與測試圖像7相同，紅點是與1相同，在這兒，作者給出了訓練損失較大的帶你，揭示了異常值可以支配的模型參數，然后，又實用加權方差矩陣測量了去除z的其他訓練點的阻力，如果只想變化很小的方向，那么它的影響將會更大，因為向那個方向移動不會明顯增加他的訓練點損失，這便意味着影響函數比近鄰更准確的捕捉模型訓練的效果。
4. 影響函數的用例
在模型參數使得經驗風險最小化，以及經驗風險兩次可微且嚴格凸的假設下，影響函數是一種漸進逼近，作者根據經驗證明，影響函數是精確的近似值，即使違反了一些假設，但是也能夠提供有用的信息。
4.1理解模型行為
通過對給定預測“負責”的訓練點，影響函數揭示了模型如何依賴於訓練數據並從中推斷，作者為我們展示了兩個實現方式不同的模型可以做出相同的正確預測，這兒作者對狗和魚兩類分別抽取了900個樣本作為數據集，對比了Inception v3和SVM with RBF Kernel兩個模型，展示了訓練樣本。
4.2生成對抗性訓練樣本
作者展示了對少數點有很大影響的模型可能容易受到訓練輸入擾動的影響，然后導致安全風險，最初，該模型對591/600個測試圖像進行了正確分類。對於這591個測試圖像中的每一個，作者分別考慮，試圖在1800個總的訓練圖像中找到一個視覺上不可區分的干擾，這將反映模型的預測。該模型能夠在591張測試圖像中的335張（57%）上做到這一點。通過對每個測試圖像擾動2個訓練圖像，該模型可以對591個測試圖像中的77%進行預測；如果對10個訓練圖像進行擾動，該模型可以對591個測試圖像中的1個進行預測。以上結果是分別攻擊每個測試圖像的結果，即使用不同的訓練集攻擊每個測試圖像。作者還試圖通過增加行程長度同時攻擊多個測試，發現單訓練圖像擾動也會同時影響多個測試預測。
這種攻擊在數學上等同於Biggio等人研究的基於梯度的訓練集攻擊，在兩個類別的任務中構造了一個數據集，但必須用一種明顯的可分辨的方式來區分訓練點才能夠有作業，loss為模型開發人員提供了一種量化模型對訓練集攻擊的脆弱程度方法。
總結
本篇論文作者討論了各種應用，從創建訓練集攻擊到調試模型和數據集。每個應用程序的底層都有一個通用工具，影響函數，它是一個簡單地思想，它通過查看模型行為是如何從其中訓練數據中派生出，來更好的理解模型行為。在這兒，它的核心是影響函數測量局部變化的影響，它需要去解決影響函數依賴於變化不太大的模型，高性能、復雜的黑盒模型變得越來越重要，還需要從訓練數據的角度對模型的開發、理解和診斷機器學習等方面進行研究。
參考文獻
[1] https://zhuanlan.zhihu.com/p/38568075
[2] https://zhuanlan.zhihu.com/p/113511409