变分 Bayesian 推断 | Codeboy's Blog

形式陈述

给定观测 $x$ 与潜变量 $z$ ，联合密度为 $p(x,z)$ ，后验为 $p(z\mid x)=p(x,z)/p(x)$ 。选取由参数 $\lambda\in\Lambda$ 索引、可归一化且可求期望或采样的分布族

\mathcal Q=\{q_\lambda(z):\lambda\in\Lambda\}.

变分推断把后验计算改写为

\lambda^*\in\arg\min_{\lambda\in\Lambda} D_{\mathrm{KL}}\!\left(q_\lambda(z)\,\|\,p(z\mid x)\right).

这里的KL 散度方向固定为 $q\|p$ 。因为 $\log p(x)$ 不依赖 $\lambda$ ，该问题等价于最大化证据下界

\mathcal L(\lambda) =\mathbb E_{q_\lambda}[\log p(x,z)-\log q_\lambda(z)],

并有 $\log p(x)-\mathcal L(\lambda)=D_{\mathrm{KL}}(q_\lambda\|p(\cdot\mid x))$ 。若 $q$ 在 $p(x,z)=0$ 的区域放正质量，目标为负无穷。最优值存在也不保证被所用优化器找到； $\Lambda$ 非紧、参数不可识别或梯度估计噪声都需单独处理。

常见 mean-field 族写成 $q(z)=\prod_{j=1}^mq_j(z_j)$ 。固定其余因子时，形式上的坐标最优更新为

\log q_j^*(z_j) =\mathbb E_{q_{-j}}[\log p(x,z)]+C,

前提是右侧可积并能正规化。若期望不可解析，可用 score-function 或重参数化梯度做随机优化；这时 minibatch、Monte Carlo 梯度和步长引入优化噪声，但不会改变受限族本身的近似上限。VI 有时形成凸优化问题，例如对某些分布空间或单坐标子问题；一般神经变分族的参数目标并不凸，局部最优和初始化敏感不能当作实现瑕疵略去。

算法输出 $q_{\lambda^*}$ 或其近似优化点，不是真后验样本。若优化误差趋零，得到的是族内 KL 投影；除非真实后验属于闭合的 $\mathcal Q$ ，近似偏差不会随优化迭代消失。由 $q$ 计算的均值、方差与尾部概率因此是一致针对近似分布，而非自动一致针对 $p(z\mid x)$ 。

直觉

VI 用一族容易存储和计算的分布去覆盖复杂后验，再把拟合变成优化。反向 KL 对 $q$ 放质量而后验几乎为零的区域惩罚很重，对后验有质量但 $q$ 完全漏掉的区域却没有直接积分项，所以受限单峰族常宁可贴住一个模态，也不愿跨过两个模态之间的低密度谷。

速度来自压缩：不保存漫长轨迹，只保存 $\lambda$ 。同一压缩也决定它会丢掉哪些相关、尾部与多峰结构。ELBO 上升说明在当前族和目标下前进，不说明遗漏结构已被恢复，更不说明所有后验函数的误差同步下降。

例子与边界

取三点后验 $p(a,b,c)=(0.1,0.3,0.6)$ ，但限制近似族满足

q_\rho=(\rho/2,\rho/2,1-\rho), \qquad 0<\rho<1.

这个族被迫给 $a,b$ 相同概率。对 $D_{\mathrm{KL}}(q_\rho\|p)$ 求导并令零，可得

\frac{\rho}{1-\rho} =\frac{2\sqrt{0.1\times0.3}}{0.6} =\frac1{\sqrt3},

所以 $\rho^*=(\sqrt3-1)/2\approx0.3660$ ，最优近似约为

q^*=(0.1830,0.1830,0.6340).

若 $f=(0,1,2)$ ，真实后验均值是 $1.5$ ，变分均值约为 $0.1830+2(0.6340)=1.451$ 。优化已经精确完成，差异仍存在，因为族不能分别表示 $a,b$ 的质量；继续迭代不会消除这项 variational bias。

对相隔很远的等权双正态混合，用单个正态 $q$ 最小化反向 KL 往往产生两个对称局部解，各自覆盖一个模态。不同初始化可能返回不同答案，单次 ELBO 和光滑优化轨迹看不出另一峰被漏掉。层级 funnel 还会让 mean-field 独立假设切断尺度与局部变量的强依赖，通常低估边缘方差。

随机梯度引入另一层边界：用很少样本估计 ELBO 梯度可能方差巨大，优化未收敛与族失配需要分开诊断。即便训练 ELBO 稳定，若用同一随机估计比较非常接近的模型证据，也不能把下界差直接当作精确 Bayes factor。

推论与应用

VI 适合需要快速重复拟合、在线预测或把后验近似嵌入更大优化流程的场景，前提是关注的函数对族失配不敏感。选择族时应从必须保留的依赖和尾部倒推：mean-field 成本低但切断相关，低秩协方差保留部分线性结构，流模型提高表达力却增加优化与 Jacobian 成本。

验证链条应同时比较优化误差和近似误差。多初值揭示局部最优；更丰富的族检验结构偏差；在可行子模型上与 MCMC 或精确枚举比较校准均值、方差和尾部。只有 ELBO 不能定位误差来自哪一层。若结果进入决策，应针对损失函数直接检查 $\mathbb E_qL$ 的敏感性，而不是只比较全局散度代理。

参考资料

David M. Blei, Alp Kucukelbir, and Jon D. McAuliffe, “Variational Inference: A Review for Statisticians,” Journal of the American Statistical Association 112(518), 2017, pp. 859–877.
Michael I. Jordan et al., “An Introduction to Variational Methods for Graphical Models,” Machine Learning 37, 1999, pp. 183–233.
Martin J. Wainwright and Michael I. Jordan, “Graphical Models, Exponential Families, and Variational Inference,” Foundations and Trends in Machine Learning 1(1–2), 2008, pp. 1–305, §§3–5.

形式陈述 ​

反向链接

形式陈述