變分推斷與變分自編碼器

作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/

    本文主要介紹變分自編碼器(Variational Auto-Encoder, VAE)及其推導過程，但變分自編碼器涉及一些概率統計的基礎知識，因此為了更好地理解變分自編碼器，首先介紹變分推斷(Variational Inference)與期望最大化(Expectation-Maximization, EM)算法，進而介紹變分自編碼器，並給出另一種理解方法(參考文獻[3])。

1. 變分推斷

2. 變分自編碼器

一般情況下，只采一個樣即可，即K=1。詳見參考文獻[3]。

3. 變分自編碼器另一種理解——直面聯合分布

4. KL散度公式推導

5. 參考文獻

[1] 變分貝葉斯 - 凱魯嘎吉 - 博客園

[2] 邱錫鵬, 神經網絡與深度學習[M]. 2019.

[3] 標簽 vae 下的文章 - 科學空間|Scientific Spaces

[4] Kingma D P , Welling M . Auto-Encoding Variational Bayes[J]. 2013.

[5] 變分推斷詳細請參考：華俊豪博客-變分推理、變分貝葉斯算法理解與推導

[6] Tutorial - What is a variational autoencoder? – Jaan Altosaar https://jaan.io/what-is-variational-autoencoder-vae-tutorial/

[7] CS 285, Variational Inference and Generative Models, http://rail.eecs.berkeley.edu/deeprlcourse-fa20/static/slides/lec-18.pdf

[8] Ankush Ganguly, Samuel W. F. Earp, An Introduction to Variational Inference, 2021. https://arxiv.org/pdf/2108.13083.pdf