变分 Bayesian 推断

形式陈述 ​

给定观测 $x$ 与潜变量 $z$，联合密度为 $p(x,z)$，后验为 $p(z\mid x)=p(x,z)/p(x)$。选取由参数 $\lambda \in \mathrm{\Lambda }$ 索引、可归一化且可求期望或采样的分布族

变分推断把后验计算理路后验计算Posterior computation · Bayesian computation从先验与似然给出的未归一化后验出发，计算归一化常数、后验期望、概率、样本或可控近似的任务框架。改写为

这里的KL 散度理路KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。方向固定为 $q\Vert p$，且与下文的 $\log$ 一样使用自然对数。因为 $\log p(x)$ 不依赖 $\lambda$，该问题等价于最大化证据下界理路证据下界Evidence lower bound · ELBO · Variational lower bound将对数边缘似然分解为任意辅助分布下的可计算期望与到真实后验的非负 KL 缺口。

并有 $\log p(x)-\mathcal{L}(\lambda )=D_{\mathrm{KL}}(q_{\lambda }\Vert p(\cdot \mid x))$。若 $q$ 在 $p(x,z)=0$ 的区域放正质量，目标为负无穷。最优值存在也不保证被所用优化器找到；$\mathrm{\Lambda }$ 非紧、参数不可识别或梯度估计噪声都需单独处理。

常见 mean-field 族写成 $q(z)=\prod _{j=1}^m{q}_j(z_j)$。固定其余因子，并允许 $q_j$ 在所选支配测度下的全部正规化密度中变化、不再施加参数族限制时，形式上的坐标最优更新为

前提是右侧可积并能正规化。若期望不可解析，可用 score-function 或重参数化梯度做随机优化；这时 minibatch、Monte Carlo 梯度和步长引入优化噪声，但不会改变受限族本身的近似上限。VI 有时形成凸优化问题理路凸优化问题Convex optimization problem在凸可行域上最小化凸目标且不等式约束为凸函数的优化模型。，例如对某些分布空间或单坐标子问题；一般神经变分族的参数目标并不凸，局部最优和初始化敏感不能当作实现瑕疵略去。

算法输出一个近似分布 $q_{\lambda }$，不是真后验样本。若族内最优点存在且被找到，它才是达到最小 KL 的投影。若 $\underset{q\in \mathcal{Q}}{inf}{D}_{\mathrm{KL}}(q\Vert p(\cdot \mid x))>0$，继续优化无法消除这项分布近似误差。

下确界为零也不保证有族内最优点。例如后验为 Bernoulli$(1/2)$，而 $\mathcal{Q}$ 只允许 Bernoulli$(r)$、$0<r<1/2$，令 $r\uparrow 1/2$ 可使 KL 趋零，族内却没有达到零的分布。

由 $q$ 计算的均值、方差与尾部概率首先描述该近似分布，它们对真实后验的误差还要分别检查。尤其是无界函数的期望，仅有分布逼近还不够，还须控制尾部贡献。