Variational Inference

相比MCMC，在大数据量采样下，VI要快。 1

2

3 真实的后验概率$P(Z|X)$往往是十分复杂的，我们用$q(Z)$近似$P(Z)$ ， 并且选择$q(Z)=q_1(Z_1)q_2(Z_2)⋯q_M(Z_M) = \prod_{i=1}^{M}q_{i}(Z_{i})$，将每个q分解。这样便于计算积分等。这叫做平均场理论(mean field theory)，主要基于基于系统中个体的局部相互作用可以产生宏观层面较为稳定的行为这个物理思想。

l1部分，只关心j部分

l2部分，只关心第j部分

4 所以最终$L(q)$可以简化成：

再简化：

参考佳文

变分推断——深度学习第十九章

【论文每日读】NIPS 2016 Tutorial: Variational Inference

Automatic Differentiation Variational Inference

Hierarchical Variational Models Fast hierarchical Gaussian processes

Hierarchical Variational Models

洪亮劼 【论文每日读】Stein Variational Gradient Descent

变分贝叶斯

Variational Inference with Implicit Probabilistic Models: Part 1:Bayesian Logistic Regression

Variational Inference with Implicit Models Part II: Amortised Inference

数学之美：两点之间最快的路径