Robert Long對消融研究（或消融實驗）定義：通常用於神經網絡，尤其是相對復雜的神經網絡，如R-CNN。我們的想法是通過刪除部分網絡並研究網絡的性能來了解網絡
“消融”的原始含義是手術切除身體組織。
ablation
解釋: 通過機械方法切除身體組織，如手術，從身體中去除，尤指器官、異常生長或有害物質。
“消融研究”這一術語的根源於20世紀60年代和70年代的實驗心理學領域，其中動物的大腦部分被移除以研究其對其行為的影響。
在機器學習，特別是復雜的深度神經網絡的背景下，已經采用“消融研究”來描述去除網絡的某些部分的過程，以便更好地理解網絡的行為。
自從Keras深度學習框架的主要作者Francois Chollet在2018年6月發布twtter以來，該術語受到了關注：
消融研究對於深度學習研究至關重要。理解系統中的因果關系是產生可靠知識的最直接方式（任何研究的目標）。消融是一種非常省力的方式來研究因果關系。
如果您采用任何復雜的深度學習實驗設置，您可能會刪除一些模塊（或用隨機的模塊替換一些訓練有素的功能）而不會降低性能。消除研究過程中的噪音：進行消融研究。
如果您無法完全理解您的系統？很多活動部件，想確定它的工作原因是否與您的假設密切相關？嘗試刪除東西。花費至少約10％的實驗時間來誠實地反駁你的論文。
舉個例子會理解直觀些：
Girshick及其同事描述了一個由三個“模塊”組成的物體檢測系統：第一個使用選擇性搜索算法提出圖像區域，在該區域內搜索物體。進入一個大的卷積神經網絡（有5個卷積層和2個完全連接的層），進行特征提取，然后進入一組支持向量機進行分類。為了更好地理解該系統，作者進行了一項消融研究，其中系統的不同部分被移除 - 例如，移除CNN的一個或兩個完全連接的層導致性能損失驚人地少。
這使作者得出結論：
CNN的大部分代表性力量來自其卷積層，而不是來自更大的密集連接層。
Reference：
Girshick, R., Donahue, J., Darrell, T. and Malik, J., 2014. 《Rich feature hierarchies for accurate object detection and semantic segmentation》. In Proceedings of the IEEE conference on computer vision and pattern recognition (580-587頁).