Bernstein–von Mises 定理

形式陈述 ​

考虑由同一测度支配的可识别 iid 模型 $\{p_{\theta }:\theta \in \mathrm{\Theta }\subset {\mathbb{R}}^d\}$，其中维数 $d$ 固定，真参数 ${\theta }_0$ 是 $\mathrm{\Theta }$ 的内点。设模型在 ${\theta }_0$ 二次均值可微并满足 LAN，Fisher 信息 $I({\theta }_0)$ 正定；先验在 ${\theta }_0$ 邻域有连续且严格为正的 Lebesgue 密度；并且对每个 $M_n\to \mathrm{\infty }$，后验满足局部集中条件

$$\mathrm{\Pi }(\sqrt{n}\Vert \theta -{\theta }_0\Vert >M_n\mid X_{1:n})\stackrel{P_{{\theta }_0}}{\to }0.$$

记归一化 score 为 ${\mathrm{\Delta }}_n=n^{-1/2}\sum _{i=1}^n{\dot{\ell }}_{{\theta }_0}(X_i)$。Bernstein–von Mises 定理给出

$${\Vert \mathrm{\Pi }(\sqrt{n}(\theta -{\theta }_0)\in \cdot \mid X_{1:n})-N(I({\theta }_0{)}^{-1}{\mathrm{\Delta }}_n,I({\theta }_0{)}^{-1})\Vert }_{\mathrm{TV}}\stackrel{P_{{\theta }_0}}{\to }0.$$

若正则有效估计量 ${\hat{\theta }}_n$ 满足 $\sqrt{n}({\hat{\theta }}_n-{\theta }_0)=I({\theta }_0{)}^{-1}{\mathrm{\Delta }}_n+o_P(1)$，等价地可把后验中心移到 ${\hat{\theta }}_n$，极限写成 $N(0,I({\theta }_0{)}^{-1})$。

量词与证明图像 ​

以有效估计量为中心时，总变差结论等价地写成

$$\underset{B}{sup}|\mathrm{\Pi }\{\sqrt{n}(\theta -{\hat{\theta }}_n)\in B\mid X\}-N(0,I^{-1})(B)|\stackrel{P_{{\theta }_0}}{\to }0.$$

上确界遍历 Borel 集；后验本身随样本随机，所以收敛外层仍是重复数据下的 $P_{{\theta }_0}$-概率。局部参数 $h=\sqrt{n}(\theta -{\theta }_0)$ 下，LAN 展开为

$${\ell }_n({\theta }_0+h/\sqrt{n})-{\ell }_n({\theta }_0)=h^T{\mathrm{\Delta }}_n-\frac{1}{2}{h}^{T}Ih+o_P(1).$$

先验在 $1/\sqrt{n}$ 邻域近似常数，而完成平方给出

$$h^T{\mathrm{\Delta }}_n-\frac{1}{2}{h}^{T}Ih=-\frac{1}{2}(h-I^{-1}{\mathrm{\Delta }}_n{)}^{T}I(h-I^{-1}{\mathrm{\Delta }}_n)+\frac{1}{2}{\mathrm{\Delta }}_n^T{I}^{-1}{\mathrm{\Delta }}_n.$$

最后一项与 $h$ 无关，被归一化吸收；随机中心 $I^{-1}{\mathrm{\Delta }}_n$ 与有效 MLE 的局部展开一致。LAN 只控制局部似然，因此证明还必须使用前述后验集中条件，把正态邻域外的质量排除掉。

例子与解释 ​

Bernoulli 配 Beta$(a,b)$ 先验，后验为 Beta$(a+S,b+n-S)$。固定 $0<p_0<1$ 时，后验均值与样本比例之差为 $O_P(1/n)$，方差约为 $p_0(1-p_0)/n$；局部正态近似因此具有频率学有效方差。后验中央 $95\mathrm{\%}$ credible interval 与 Wald 区间首阶等价，并获得点态渐近 $95\mathrm{\%}$ 频率覆盖；有限 $n$ 时，Beta 区间的不对称和先验超参数仍会真实改变端点。

“固定光滑先验的一阶影响消失”只描述 $1/\sqrt{n}$ 局部尺度。后验均值、众数和 MLE 在该尺度上一阶等价，却可具有不同的 $1/n$ 偏差；matching prior 对覆盖率的高阶修正、尾部概率和稀有事件仍然可能先验敏感。

BvM 近似的是参数不确定性，不是未来观测的全部波动。后验预测分布还包含 sampling noise，不会收缩成参数点质量；把 $I^{-1}/n$ 直接当作未来响应方差会漏掉观测方差。

边界 ​

边界点、非正则与模型选择 ​

在 $p_0=0$ 的 Bernoulli 边界，后验局部尺度和形状受 Beta 先验参数影响，不是内部正态极限。混合模型的标签不可识别、成分合并处信息奇异，弱识别也会破坏 LAN 或非奇异信息条件；先验若在真值附近为零或随 $n$ 强烈集中，局部常数近似同样失效。模型选择后参数维数随机，spike-and-slab 后验还可能同时含离散模型质量与连续局部正态分量，不能用单个 Gaussian 覆盖。

高维与非参数模型 ​

参数维数随 $n$ 增长时，LAN 余项、后验集中速度和高维高斯近似都需要随维数重新控制。非参数 BvM 往往只对某些低维光滑泛函成立，全后验在强拓扑下常不能由单一 Gaussian measure 近似；有限维定理不能只把维数符号换成无穷维。

模型错设 ​

模型失配时，后验中心可能收敛到伪真参数，后验协方差由 likelihood curvature 决定，而相应 M-estimator 的频率协方差通常是 sandwich。二者不一致时，credible interval 即使呈正态形状也可能欠覆盖；sandwich correction 或 generalized Bayes 可以改变校准目标，但需要独立定理，不能从正确设定的 BvM 直接推出。

实际应用应逐项检查 posterior contraction、prior thickness、LAN remainder 和 information nonsingularity。后验直方图看似钟形、有限 MCMC 运行稳定，都不能替代这些条件，也不能证明总变差收敛。

参考资料

• A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998，Ch. 10。
• Lucien Le Cam and Grace Lo Yang, Asymptotics in Statistics, 2nd ed., Springer, 2000。
• Subhashis Ghosal and Aad van der Vaart, Fundamentals of Nonparametric Bayesian Inference, Cambridge, 2017。