一、原理
Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution
KDD2018的這篇文章，指出對於采用分段線性激活函數如Relu、最后接softmax的深度學習網絡，都等效於分段線性分類器。對於一個特定的輸入樣本，它對應的隱藏層神經元的激活與否都是固定的，在這樣的隱藏層狀態下，輸出與出入的關系就是線性分類器的關系，這里的W被稱作樣本對應的決策特征。
有一些樣本，對應的隱藏分激活狀態是相同的，這些樣本就適用於同一個線性分類器。
一組隱藏層的激活狀態，在文中被稱作一組“配置”，就是每一個隱藏層神經元是否激活，本質上是由一組線性不等式決定的，文中證明，這些不等式划定的區域，都是凸包。類似下圖，每個凸包所在的區域適用相同的線性分類器。
二、可視化實例
樣本的決策特征，我們觀察它的維度，可以看到對於每個分類類別，都有一個決策特征，它的維度和原圖是一樣的，也是一張圖。決策特征與原圖是點乘的關系。所以決策特征上越亮的位置，表示原圖中對應的位置處，觸發了該類別的特征。
如何，圖1是一雙靴子，圖2是靴子類別在該樣本上的決策特征，腳踝部分觸發了靴子的類別特征，從而以0.16概率被認為是靴子。圖3是包包類別在該樣本上的決策特征，左上角位置觸發了包包的特征，因為包包往往左上角是有東西的，而靴子左上角是沒有東西的。
可視化的決策特征，可以幫助分析bad-case，從而幫助我們理解對特定樣本，模型為什么做出了這樣的決策。從而可以比如通過加入訓練樣本、修改算法等方式來提高效果。比如對於靴子的例子，可以通過加入更多寬上沿的靴子來解決這個問題。在醫療上，或許可以用來分析比如錯分類的細胞，或者錯分類的組織小塊。