前言
- 關於語義分割中增量學習對背景類進行編碼
1.增量學習(Incremental Learning):具有以下特點可以定義為增量學習
- 可以學習新的信息中的有用信息
- 不需要訪問已經用於訓練分類器的原始數據
- 對已經學習的知識具有記憶功能
- 在面對新數據中包含的新類別時，可以有效地進行處理
- 災難性遺忘問題(catastrophic forgetting):
一個在數據集A上訓練好的模型,再在B上進行訓練的時候會完全打亂對A知識的學習。 - 不同學習算法
- offline learning and online learning: 離線學習是訓練好后在做預測，在線學習是持續添加訓練數據並持續更新模型。
- incremental learning and decremental learning: 增量學習是不斷學習新的知識並保存以前的知識,遞減學習是指每次會拋棄價值最低的訓練數據
- transfer learning and active learning：遷移學習是利用數據分布類似，用一個數據集上訓練的結果作為另一個數據上的初始結果。主動學習是算法主動篩選出一些數據請求人為標注。
- 在線學習主要描述的是一種動態的學習方式，一般包括增量學習和遞減學習。
- 知識蒸餾(knowledge distillation)：原模型一般稱為大模型，優化后的模型成為小模型，小模型有利於工業部署，將原模型的知識提取出來，
參考
- 核心問題
-
問題: 當新的分類標簽產生時候，現有論文沒有設計去動態更新網絡的內部分類。增量學習研究主要是目標分類和檢測，對語義分割研究還是空缺。
新訓練集對舊分類類型沒有做標記的時候，會導致背景類型的語義轉移問題，加劇了災難性遺忘。
背景類的存在，導致離線學習的方法不適用於增量學習，背景類隨着時間的遷移而不同，從而加劇了災難性遺忘。 -
解決方案：incremental class learning(ICL),
在經典的基於蒸餾的增量學習框架基礎上，引入兩個新的損失項來合理的解釋在背景類中的語義分布的轉移。提出了一個新的目標函數。 -
結果:
Abstract
- 從語義分割任務來解決災難性遺忘問題
1.研究了語義分割的增量類學習任務，特別分析了由於背景類的存在而引起的分布轉移問題。
2.提出一個新的目標函數，並引入特定的分類器初始化策略來顯式地處理背景類的演化語義。
3.我們證明，我們的方法極大地減輕了災難性的遺忘，從而達到了最先進的水平。
4.數據集:Pascal-VOC,2012 ADE20K, 評價指標:Mean IOU 結果:67.4%,67.8% 代碼:開源
Introduction
- 概念
語義分割是計算機視覺領域中的一項基礎性任務。
the state of the art:目前的先進水平
- 在FCNs的基礎上，通過融合多尺度信息和利用上下文空間信息已經在圖像分割中取得了重大的突破。
- 災難性遺忘(catastrophic forgetting): 深層神經網絡在學習新的分類時候，很難保持對舊樣本的知識。
Method
- Problem Definition and Notation
數學符號化問題
黃色方框表示在學習步驟中提供的GroundTruth，而灰色方框表示未標記的類。由於不同的學習步驟有不同的標簽空間，因此atsteptold類(例如person)和未看到的類(例如car)可能被標記為當前ground truth的背景。這里我們展示了單個類學習步驟的具體情況，但是我們處理了添加任意數量類的一般情況。 - 解決災難性遺忘的三種方法
- 每次訓練增加一個正則化項,降低對本次數據的擬合，防止遺忘以前的模型。
- 考慮之前模型的參數的重要性
- 知識蒸餾：對一個復雜但推理性能優越軟目標的模型進行訓練，誘導精簡、低復雜度的模型的訓練，來實現知識遷移。增量學習災難性遺忘問題的本質是新樣本學習的過擬合問題導致對舊樣本的遺忘。通過知識蒸餾簡化模型(等同於正則化作用)。
本文采用知識蒸餾思路，在損失函數中添加一項蒸餾損失。
- 背景類的語義分布的轉移:在之前訓練中是前景的部分，在下一次訓練過程中會變成背景。
方案: 更改交叉熵損失函數，
參考