自归一化重要性采样

形式陈述

设可测空间上的目标只以未归一化密度 $\gamma:\mathcal X\to[0,\infty)$ 给出，

0<Z=\int_{\mathcal X}\gamma(x)\,dx<\infty, \qquad \pi(x)=\frac{\gamma(x)}Z.

提议密度 $q$ 必须在 $\gamma(x)>0$ 的区域为正；分母要估计整个 $Z$ ，即使 $f(x)=0$ 也不能漏掉该处目标质量。从 $q$ 独立抽取 $X_1,\ldots,X_N$ ，定义原始权重和归一化权重

W_i=\frac{\gamma(X_i)}{q(X_i)}, \qquad \widetilde W_i=\frac{W_i}{\sum_{j=1}^N W_j}.

重要性采样的两个样本均值分别估计 $Z\mathbb E_\pi f$ 与 $Z$ ，自归一化估计量取其比值：

\widehat I_N^{\mathrm{SN}} =\sum_{i=1}^N\widetilde W_i f(X_i) =\frac{N^{-1}\sum_iW_i f(X_i)}{N^{-1}\sum_iW_i}.

算法输入是 $\gamma$ 的逐点评值、可采样且可求密度的 $q$ 、函数 $f$ 与样本数；输出是比率估计和权重诊断。 $\gamma$ 乘任何正常数，所有 $\widetilde W_i$ 都不变，因此不需要知道 $Z$ 。实现时通常对 $\log W_i$ 减去最大值后指数化，避免上下溢；这只改变共同尺度，不改变结果。若一轮中所有可表示权重均为零，算法必须报错，而不能返回均匀权重掩盖提议失配。

若 $\mathbb E_qW=Z$ 、 $\mathbb E_q|Wf|<\infty$ ，且分母最终非零，则由大数律和连续映射， $\widehat I_N^{\mathrm{SN}}\to\mathbb E_\pi f$ 几乎必然成立。有限 $N$ 时，比率通常有偏；即使原始分子、分母分别无偏，随机变量之比也不是比值的无偏估计。若

\mathbb E_q\!\left[W^2(f-I)^2\right]<\infty, \qquad I=\mathbb E_\pi f,

则渐近方差为 $Z^{-2}\operatorname{Var}_q(W(f-I))/N$ 。这个条件比只要求一致性的可积条件更强。

直觉

原始权重只有相对大小有意义。分母把这一批样本携带的总“目标质量”定为一，分子再按质量份额平均函数值。未知的 $Z$ 同时出现在目标概率和原始权重尺度中，于比值内消去。

归一化并没有创造信息。若一个样本拿走 $99\%$ 的总权重，结果几乎只是那个点的函数值；权重和仍等于一，只说明会计平衡，不说明覆盖充分。比率结构还把分子与分母的波动耦合起来：这种相关性常降低尺度误差，却带来有限样本偏差。

例子与边界

取三点未归一化后验

\gamma=(1,3,6),\qquad Z=10,\qquad f(a,b,c)=(0,1,2),

以及 $q=(0.5,0.25,0.25)$ 。若一轮样本为 $(a,b,c)$ ，原始权重为 $(2,12,24)$ ，总和 $38$ ，归一化权重为 $(1/19,6/19,12/19)$ 。于是

\widehat I_3^{\mathrm{SN}} =\frac1{19}\,0+\frac6{19}\,1+\frac{12}{19}\,2 =\frac{30}{19}\approx1.579,

而真值为 $1.5$ 。同一轮若错误地用 $N^{-1}\sum W_if_i$ 当作后验期望，会得到 $20$ ；它实际估计的是 $Z I=15$ 。 $N=1$ 时自归一化估计恒等于 $f(X_1)$ ，其期望为 $\mathbb E_qf=0.75$ ，直接展示了有限样本偏差。

支撑完整也不保证有限渐近方差。令目标为 $(0,1)$ 上均匀分布，提议 $q(x)=2x$ ，函数 $f(x)=x$ 。除零测集端点外支撑条件成立， $W=1/(2x)$ 且 $\mathbb E_qW=1$ ；但在 $x\downarrow0$ 时，

\mathbb E_q[W^2(f-1/2)^2] =\int_0^1\frac{(x-1/2)^2}{2x}\,dx=\infty.

因此估计量仍一致，却没有通常的有限方差中心极限。若 $q$ 在目标有正质量的整段区域为零，归一化只能在已访问区域内重新分配，极限也会错；“权重之和为一”无法发现这类 support mismatch。

推论与应用

自归一化权重可直接形成后验均值、分位数的加权经验分布和重加权预测。要估计多个 $f$ ，样本与权重可复用，但每个函数都有自己的二阶矩风险；某个平滑均值稳定，不代表尾部概率也稳定。

权重有效样本量 $1/\sum_i\widetilde W_i^2$ 把集中程度压成一个数，适合触发重采样或比较提议。它不是误差定理：相同权重可对应遗漏一个模态的整批样本。序贯 Monte Carlo 正是反复执行增量加权和归一化，并在权重退化后重采样；可靠实现仍需保留对数权重、归一化常数增量和祖先信息，以便检查数值稳定性与路径退化。

参考资料

Christian P. Robert and George Casella, Monte Carlo Statistical Methods, 2nd ed., Springer, 2004, §3.3, importance sampling with unknown normalizing constants.
Art B. Owen, Monte Carlo Theory, Methods and Examples, 2013, §9.2, self-normalized importance sampling.
A. B. Kong, J. S. Liu, and W. H. Wong, “Sequential Imputations and Bayesian Missing Data Problems,” Journal of the American Statistical Association 89(425), 1994, pp. 278–288.

形式陈述 ​

反向链接

形式陈述