重要性采样

提议分布决定“去哪里看”，权重决定“每次看见算多少”。若 $Q$ 比目标更常访问某一区域，$w$ 小于一会把过度访问折回去；若 $Q$ 很少进入目标质量大的区域，偶然抵达时就产生巨大权重。换测度恒等式保证平均后恢复目标积分，却不保证这种补偿稳定。

权重本身不是概率：它可以大于 1，而标准估计中的权重和也不必恰等于 $N$。已知归一化常数时再把权重强行除以样本权重和，会把无偏的均值估计改成一个随机分母的比值估计，两者有限样本性质不同。

理想提议不是笼统地“接近目标”。对特定积分 $I={\mathbb{E}}_{P}f$，若 $c={\mathbb{E}}_P|f|>0$，按前述只覆盖固定积分贡献的约定，$q_{\ast }=|f|\pi /c$ 最小化普通估计量的方差，其单次贡献方差为 $c^2-I^2$；$f$ 同号时等于零。若 $c=0$，则 $f=0$ 在目标下几乎处处成立，积分本身已为零。

若仍要求整个 $P\ll Q$，还须检查 $q_{\ast }$ 是否覆盖目标：当 $P(f=0)>0$ 时，它不满足这一要求。此时对 $0<\epsilon <1$ 可用 $q_{\epsilon }=(1-\epsilon )q_{\ast }+\epsilon \pi$ 恢复完整覆盖，并在 $\epsilon \downarrow 0$ 时逼近上述方差下界；不能把不覆盖的 $q_{\ast }$ 称作这个可行类中已经取得的最优解。当 ${\mathbb{E}}_P|f-I|>0$ 时，自归一化估计的渐近最优候选与 $|f-I|\pi$ 成比例，也须检查覆盖；存在零贡献区域时，通常同样只能通过覆盖提议逼近。此类候选往往依赖未知答案，实际用途是说明提议应照顾当前函数的贡献，而不是只追求目标密度峰值。

令三点后验在 $a,b,c$ 上的概率为

所以真值 $I=0.1\times 0+0.3\times 1+0.6\times 2=1.5$。取提议 $q=(0.5,0.25,0.25)$，权重依次为 $(0.2,1.2,2.4)$。一次实际样本恰为 $(a,b,c)$ 时，三个加权函数值是 $(0,1.2,4.8)$，故

这轮高估不是公式失效，而是提议把概率质量过多放在贡献为零的 $a$，一旦抽到稀少的 $c$ 就用 $2.4$ 倍权重补偿。重复独立运行后均值仍回到 $1.5$。

可以直接算出单次加权贡献的二阶矩为 $0.25(1.2{)}^2+0.25(4.8{)}^2=6.12$，方差为 $6.12-{1.5}^2=3.87$，因此三次抽样均值的方差为 $1.29$。若能直接从目标抽样，则 $E_{\pi }{f}^2=2.7$，三次均值的方差只有 $(2.7-2.25)/3=0.15$；这个提议反而让方差增大到原来的 $8.6$ 倍。“重要性”这个名称不保证降低方差。

对同一批 $(a,b,c)$ 样本，自归一化结果则为 $(0+1.2+4.8)/(0.2+1.2+2.4)=30/19\approx 1.579$。本次更靠近真值并不能证明它总是更好；它使用了不同的随机估计规则。

支持遗漏会造成不可修复的偏差。若改成 $q(c)=0$，无论样本量多大都看不到目标中 $60\mathrm{\%}$ 的质量；不存在有限权重能替代从未发生的访问。即使支持完整，方差也可能无穷。取 $\pi (x)=e^{-x}$、$q(x)=2e^{-2x}$，$x\ge 0$，则 $w(x)=e^x/2$ 且 ${\mathbb{E}}_{Q}w=1$，但

此时估计常数 $1$ 仍无偏，典型运行却会长时间显得稳定，随后被一次尾部样本推翻。用有限批次算出的“小标准误”不能诊断尚未出现的巨权重。

重要性采样把采样器与目标模型解耦：同一批提议样本可对多个函数复用，似然改变后也可在重叠充分时重加权。逻辑链是先验证支撑，再计算未归一化比值，最后用目标积分对应的矩条件判断误差；顺序不能倒过来。

序贯方法把一次换测度拆成多个相邻分布之间的温和修正，从而避免单步权重跨度过大；但每一步仍继承支撑与尾部条件。诊断上，最大归一化权重和权重有效样本量可揭示集中程度，却不能证明遗漏的模态不存在。真正的可靠性来自提议覆盖、有限相关矩以及多种提议或重复运行之间的一致结果。

离策略评价公理库离策略评价与逐步重要性采样Off-policy evaluation · OPE · Per-decision importance sampling · PDIS · 离策略评估用行为策略记录的轨迹评价固定目标策略，证明前缀权重的无偏性，并计算长期权重和回报协方差的代价。把这里的单次换测度应用到决策轨迹：每笔奖励只乘截至它发生时的前缀比值。该课程证明无偏性，并分别计算逐步权重减少总方差的例子、总方差反而增加的反例和长时域的指数方差代价。