術語 ——“消融研究”通常用於神經網絡,尤其是相對復雜的神經網絡,如R-CNN。我們的想法是通過刪除部分網絡並研究網絡的性能來了解網絡。
在機器學習,特別是復雜的深度神經網絡的背景下,已經采用“消融研究”來描述去除網絡的某些部分的過程,以便更好地理解網絡的行為。
舉個例子:比如說這篇文章有3個亮點,這一章就負責告訴你我只加a結果如何,只加b結果如何,a和b都加了又如何。
舉個例子:Girshick
及其同事描述了一個由三個“模塊”組成的物體檢測系統:第一個使用選擇性搜索算法提出圖像區域,在該區域內搜索物體。進入一個大的卷積神經網絡(有5個卷積層和2個完全連接的層),進行特征提取,然后進入一組支持向量機進行分類。為了更好地理解該系統,作者進行了一項消融研究,其中系統的不同部分被移除 - 例如,移除CNN的一個或兩個完全連接的層導致性能損失驚人地少。
這使作者得出結論:CNN的大部分代表性力量來自其卷積層,而不是來自更大的密集連接層。