【筆記】論文閱讀 | Optimization as a Model for Few-Shot Learning

• 論文信息：Ravi S, Larochelle H. Optimization as a model for few-shot learning[J]. 2016.
• 博文作者：Veagau
• 編輯時間：2020年01月07日

本文是2017年ICLR的會議論文，作者來自Twitter公司。在論文中作者提出了一種用於少樣本領域的基於LSTM的元學習者（Meta-Learner）模型，這種模型能夠直接學習用於訓練另外一個學習者（Learner），如神經網絡分類器，的優化算法。

少樣本學習或者說元學習的關鍵是找到一種系統化的方法去學習在各種任務上有效的通用初始化方案，這種方案能夠為基於待考慮數據上的任務提供一個良好的初始訓練點，從而實現在新任務上的快速適應於收斂，即學會學習。文中提出的基於LSTM的元學習者模型，作為一個優化器的角色，能夠捕獲任務內的短期知識以及跨任務的長期知識，進而形成跨任務共享的基礎知識，最后作用在學習者上，使其能夠在每個任務上都可以快速收斂到一個較優解。

標准的深度神經網絡的優化算法采用梯度下降的思想。

\[\theta_t = \theta_{t-1}-\alpha_t\nabla_{t-1}L_{t} \]

LSTM細胞狀態的更新有着類似的表示形式。

\[c_t=f_t\odot c_{t-1}+i_t \odot \tilde{c_t} \]

如果令\(f_t=1,c_{t-1}=\theta_{t-1},i_t=\alpha_t,\tilde{c_t}=-\nabla_{\theta_{t-1}}L_t\)，則兩式等價。

基於這個思路，作者在本文中提出訓練一個LSTM元學習者來學習用於訓練另外一個神經網絡的更新規則，為了適應任務的多樣性，\(i_t, f_t\)都作為可學習的參數。

整個LSTM元學習者網絡的計算示意圖如下所示。

整個網絡訓練的目的是獲得一個好的元學習者，使得其在被給定一系列的學習者在訓練集上的損失以及損失梯度后，能夠為學習者提供一系列對應的更新操作，使學習者在測試集上能取得較好的表現。在整個訓練過程中，元學習者不斷的為學習者提供參數更新指引，讓其朝更快更好的方向收斂。

LSTM元學習者利用自身的狀態來表示學習者參數的學習更新過程，其既要發掘學習者參數的良好初始化設定，還要學習在新的分類任務上給定少量訓練樣本的條件下學習者參數的良好更新策略。實驗結果表明這種少樣本學習策略的表現已經超過了一些基線模型，並且已經能夠與基於度量學習的少樣本學學習算法媲美了。

這篇論文還有不少的亮點，如對元學習任務設定的准確描述、元學習數據集的划分、在元學習情境下的批歸一化處理等等，值得在以后的元學習研究中借鑒參考。