自归一化重要性采样

形式陈述 ​

设可测空间上的目标只以未归一化密度 $\gamma :\mathcal{X}\to [0,\mathrm{\infty })$ 给出，

提议密度 $q$ 必须在 $\gamma (x)>0$ 的区域为正；分母要估计整个 $Z$，即使 $f(x)=0$ 也不能漏掉该处目标质量。从 $q$ 独立抽取 $X_1,\dots ,X_N$，定义原始权重和归一化权重

重要性采样理路重要性采样Importance sampling · 重要抽样从易采样的提议分布取样，以目标和提议的密度比修正访问频率并估计目标积分。的两个样本均值分别估计 $Z{\mathbb{E}}_{\pi }f$ 与 $Z$，自归一化估计量取其比值：

上述归一化权重与比率先在 $\sum _i{W}_i>0$ 的事件上定义。为使大数律与极限分布陈述中的统计量在每个有限 $N$ 都有定义，可在真实总权重为零的事件上给比率指定任意有限值，例如零；这是数学上的补充约定，实现仍应报告这一批次失败。

算法输入是 $\gamma$ 的逐点评值、可采样且可求密度的 $q$、函数 $f$ 与样本数；输出是比率估计和权重诊断。$\gamma$ 乘任何正常数，所有 ${\tilde{W}}_i$ 都不变，因此不需要知道 $Z$。实现时通常对 $\log W_i$ 减去最大值后指数化，避免上下溢；这只改变共同尺度，不改变结果。若真实权重中至少有一个为正、但浮点指数化把它们全变成零，这是数值下溢，应回到对数权重和稳定归一化。若所有真实权重确实为零，则这一批样本没有携带目标质量，算法应报告失败并检查采样覆盖；不能返回均匀权重掩盖问题，也不能仅凭一个这样的批次便断言提议的理论支撑必然错误。

若 ${\mathbb{E}}_{q}W=Z>0$、${\mathbb{E}}_q|Wf|<\mathrm{\infty }$，则大数律理路强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。给出平均权重几乎必然趋于 $Z$，因此分母几乎必然最终为正。具体地，令 $p_0=q\{W=0\}<1$，独立性给出 $P(\sum _i{W}_i=0)=p_0^N\to 0$。再对分子、分母应用大数律并取比率，得到 ${\hat{I}}_N^{\mathrm{SN}}\to {\mathbb{E}}_{\pi }f$ 几乎必然成立，零总权重事件上的上述有限补充值不影响结论。有限 $N$ 时，比率通常有偏；即使原始分子、分母分别无偏，随机变量之比也不是比值的无偏估计。若

令 $Y_i=W_i(f(X_i)-I)$，则 ${\mathbb{E}}_q{Y}_i=0$。在正分母事件上，$\sqrt{N}({\hat{I}}_N^{\mathrm{SN}}-I)=(N^{-1/2}\sum _i{Y}_i)/(N^{-1}\sum _i{W}_i)$。若 ${\mathrm{Var}}_q(Y_i)>0$，一元中心极限定理理路中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。处理分子，大数律使分母趋于 $Z>0$，再由Slutsky 定理理路Slutsky 定理Slutsky's theorem依分布收敛随机量与依概率收敛常量组合时，和、积与合法商保持相应分布极限。取商。若中心化方差为零，$Y_i=0$ 几乎必然，得到相应的退化零极限；真实零权重批次的概率趋零，补充定义同样不改变极限。因此

因此未缩放估计量的常规大样本方差近似为 $Z^{-2}{\mathrm{Var}}_q(W(f-I))/N$；要进一步声称真实有限样本方差按这个比例收敛，还需控制二阶矩的极限交换。有限二阶加权矩本身已比只要求一致性的可积条件更强。