摘要：人類能從少量樣本中學習新的概念且不會忘記以前的類別，為實現這一目標，作者提出：1、擴展一個具有注意力的目標識別系統，這種注意力來源於少樣本分類權重生成器；2、重新設計卷積網絡模型的分類器，作為特征表示和分類器權重向量之間的余弦相似函數。除了統一對新類和舊類的識別外，還能對新類進行更好概括的特征表示。實驗結果顯示該方法不犧牲舊類的准確率。同時這里用到了最新few-shot樣本集，Bharath and Girshick。
1、介紹
卷積網絡的三大問題：1、手動收集樣本多；2、計算量大；3、類別固定。現有Few-shot算法問題：1、新類別的學習需要快速；2、不能犧牲初始類別的精度。
基於注意力的少樣本分類權重生成器。典型的卷積網絡提取一個高水平特征表示，然后對特征應用一組類別權重向量（每類一個）。為了識別新類，必須構造新的分類權重向量，稱為少樣本分類權重生成器。它通過在基本類別的分類權重向量上引入注意力機制，利用已經獲得的視覺知識，提高新類別的識別性能，即便只有一個訓練樣本可供學習。
基於余弦相似度的卷積網絡識別模型。基於點積的分類器無法靈活處理舊類和新類的分類權重向量。這里引入特征表示和分類權重向量之間的余弦相似度函數，在新類上有更好的泛化性能。
2、相關工作
元學習，一些代表性工作，這里將少樣本分類權重生成器作為元學習的一個組件。
度量學習metric learning，度量學習方法學習保持類近鄰的結構的特征表示，即同類目標的特征比異類特征更接近。Prototypical Networks通過計算新類特征向量的距離分類測試樣本，提出學習一個新類的特征向量作為該類測試樣本中提取的特征向量的平均值。本文的少樣本分類權重生成器也包含了一個特征平均機制，並使用注意力機制利用過去視覺知識，且框架允許新類和舊類的統一識別。
此外，Bharath和Girshick建議在訓練L2正則化損失時使用特征表示，使他們更好的泛化不可見類別。在這里基於余弦相似度的分類器，除了統一新類和舊類外，還能產生更好的泛化不可見類的特征表示。另外，很多方法對分類器進行新樣本和舊樣本的再訓練，這通常比較慢，且需要維護大量數據。
3、方法
主要改動為：1、基於卷積網絡的識別模型；2、少樣本類別權重生成器。
在初始樣本訓練過程學到特征提取器F，可以得到特征表示，與每個類的權重向量結合可以得到評分，最高分為分類結果。這里原始類的權重向量由大量樣本訓練得到，而新的樣本由分類權重生成器G得到，兩者產生的點積尺寸可能大為不同。為避免這一問題，作者采用cosine相似度函數代替點積，先對w和z進行L2規范化，再計算cosine值，並取消了最后一層的ReLU操作。
使用t-sne可視化后發現cos比點積有更好的聚攏可分辨效果。
對於權重生成器G，其輸入是新類的特征表示、舊類的權重向量，內部參數Φ在大量初始數據中訓練得到，可以認為這里是一個元學習部件。G的具體形式構建，作者認為cosine相似促使特征生成器學習到緊湊的特征向量，且促使分類權重向量學到這些聚類中最優代表性的特征向量，所以一個最簡單的方式是計算特征向量的平均值。但少量樣本會造成極大誤差，且沒有用到初始樣本及類的知識。這里作者引入了注意力機制。
作者認為相似的類應該有相似的權重向量，所以新類的權重向量可以表示為相似類權重向量的線性組合，將兩部分合在一起：
訓練分為兩部分：1、學習一個網絡能得到好的特征抽取，並計算初始類權重；2、通過初始類權重和大量樣本計算G中的參數Φ。