如果在 Few-shot Learning 的任務中去訓練普通的基於 cross-entropy 的神經網絡分類器，那么幾乎肯定是會過擬合，因為神經網絡分類器中有數以萬計的參數需要優化。
相反，很多非參數化的方法（最近鄰、K-近鄰、Kmeans）是不需要優化參數的，因此可以在 meta-learning 的框架下構造一種可以端到端訓練的 few-shot 分類器。該方法是對樣本間距離分布進行建模，使得同類樣本靠近，異類樣本遠離。下面介紹相關的方法。
一、孿生網絡（Siamese Network)
如圖 4 所示，孿生網絡（Siamese Network）[4] 通過有監督的方式訓練孿生網絡來學習，然后重用網絡所提取的特征進行 one/few-shot 學習。
▲ 圖4：Siamese Network
具體的網絡是一個雙路的神經網絡，訓練時，通過組合的方式構造不同的成對樣本，輸入網絡進行訓練，在最上層通過樣本對的距離判斷他們是否屬於同一個類，並產生對應的概率分布。在預測階段，孿生網絡處理測試樣本和支撐集之間每一個樣本對，最終預測結果為支撐集上概率最高的類別。
二、匹配網絡（Match Network）
相比孿生網絡，匹配網絡（Match Network）[2] 為支撐集和 Batch 集構建不同的編碼器，最終分類器的輸出是支撐集樣本和 query 之間預測值的加權求和。
如圖 5 所示，該文章也是在不改變網絡模型的前提下能對未知類別生成標簽，其主要創新體現在建模過程和訓練過程上。對於建模過程的創新，文章提出了基於 memory 和 attention 的 matching nets，使得可以快速學習。
對於訓練過程的創新，文章基於傳統機器學習的一個原則，即訓練和測試是要在同樣條件下進行的，提出在訓練的時候不斷地讓網絡只看每一類的少量樣本，這將和測試的過程是一致的。
具體地，它顯式的定義一個基於支撐集 
的分類器，對於一個新的數據 
，其分類概率由與支撐集 S 之間的距離度量得出：
其中 a 是基於距離度量的 attention score：
進一步，支撐集樣本 embedding 模型 g 能繼續優化，並且支撐集樣本應該可以用來修改測試樣本的 embedding 模型 f。
這個可以通過如下兩個方面來解決，即：1）基於雙向 LSTM 學習訓練集的 embedding，使得每個支撐樣本的 embedding 是其它訓練樣本的函數；2）基於 attention-LSTM 來對測試樣本 embedding，使得每個 Query 樣本的 embedding 是支撐集 embedding 的函數。文章稱其為 FCE (fully-conditional embedding)。
▲ 圖5：Match Network
三、原型網絡（Prototype Network）
原型網絡（Prototype Network）[5] 基於這樣的想法：每個類別都存在一個原型表達，該類的原型是 support set 在 embedding 空間中的均值。然后，分類問題變成在 embedding 空間中的最近鄰。
如圖 6 所示，c1、c2、c3 分別是三個類別的均值中心（稱 Prototype），將測試樣本 x 進行 embedding 后，與這 3 個中心進行距離計算，從而獲得 x 的類別。
▲ 圖6：Prototype Network
文章采用在 Bregman 散度下的指數族分布的混合密度估計，文章在訓練時采用相對測試時更多的類別數，即訓練時每個 episodes 采用 20 個類（20 way），而測試對在 5 個類（5 way）中進行，其效果相對訓練時也采用 5 way 的提升了 2.5 個百分點。
四、Relation Network
前面介紹的幾個網絡結構在最終的距離度量上都使用了固定的度量方式，如 cosine，歐式距離等，這種模型結構下所有的學習過程都發生在樣本的 embedding 階段。
而 Relation Network [6] 認為度量方式也是網絡中非常重要的一環，需要對其進行建模，所以該網絡不滿足單一且固定的距離度量方式，而是訓練一個網絡來學習（例如 CNN）距離的度量方式，在 loss 方面也有所改變，考慮到 relation network 更多的關注 relation score，更像一種回歸，而非 0/1 分類，所以使用了 MSE 取代了 cross-entropy。
五、
