元學習——Meta-Amortized Variational Inference and Learning

作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/

    這篇博客是論文“Meta-Amortized Variational Inference and Learning”的閱讀筆記。博客中前半部分內容與變分自編碼器(VAE)的推導極為類似，所涉及的公式推導如果有不明白的地方，可以提前閱讀這篇博客：變分推斷與變分自編碼器。主要涉及到了概率論的相關知識。這篇博客介紹了精確推理(Exact Inference)，近似變分推理(Approximate Variational Inference)，攤銷變分推理(Amortized Variational Inference)，攤銷變分自編碼器(Amortized Variational Autoencoders)，元攤銷變分推理(Meta-Amortized Variational Inference)，以及論文中提出的元變分自編碼器(MetaVAE)。主要閱讀了論文原理部分，實驗部分沒有去關注。

    盡管最近在概率建模及其應用方面取得了成功，但使用傳統推理技術訓練的生成模型很難適應新的分布，即使目標分布可能與訓練中已見過的分布密切相關。這篇文章提出了一個雙重攤銷變分推理模型，以解決這一挑戰。通過不僅在一組查詢輸入中共享計算，而且在一組不同但相關的概率模型中共享計算，所提算法學習到了可遷移的潛在表示，這些表示可在多個相關的分布中進行拓展。特別地，給定一組在圖像上的分布，所提算法找到了學習表示，以遷移到不同的數據變換。在MNIST(10-50%)和NORB(10-35%)上，通過引入MetaVAE驗證了該方法的有效性，並表明該方法在下游圖像分類任務中顯著優於基准結果。

1. Exact and Approximate Inference (精確與近似推理)

2. Amortized Variational Inference (攤銷變分推理)

3. 近似變分推理 vs 攤銷變分推理

4. Amortized Variational Autoencoders (攤銷變分自編碼器)

這部分內容推導與直面聯合分布很類似，可以參看：https://www.cnblogs.com/kailugaji/p/12463966.html#_lab2_0_2

5. Meta-Amortized Variational Inference (元攤銷變分推理)

6. Related Works (VAE, Neural Statistician, VHE, and MetaVAE)

7. 參考文獻

[1] Mike Wu, Kristy Choi, Noah Goodman, and Stefano Ermon. Meta-Amortized Variational Inference and Learning. AAAI, 2020.

Paper: https://ojs.aaai.org//index.php/AAAI/article/view/6111

Code: https://github.com/mhw32/meta-inference-public

[2] CS236, Meta-Amortized Variational Inference and Learning. https://deepgenerativemodels.github.io/assets/slides/meta_amortized.pdf

[3] Variational Inference: Foundations and Modern Methods, P100 Amortizing Inference, 2016, https://media.nips.cc/Conferences/2016/Slides/6199-Slides.pdf

[4] 2021 Pyro Fundamentals, Amortized Inference, and Variational Autoencoders, https://robsalomone.com/wp-content/uploads/2021/07/L4_VAE.pdf

[5] Rui Shu, Hung H. Bui, Shengjia Zhao, Mykel J. Kochenderfer, Stefano Ermon. Amortized Inference Regularization. NeurIPS 2018, https://papers.nips.cc/paper/2018/hash/1819932ff5cf474f4f19e7c7024640c2-Abstract.html

[6] Amortized Optimization - Rui Shu http://ruishu.io/2017/11/07/amortized-optimization/