序贯 Monte Carlo | Codeboy's Blog

形式陈述

设第 $t$ 个目标是在路径空间 $\mathcal X_{0:t}$ 上的

\pi_t(x_{0:t})=\frac{\gamma_t(x_{0:t})}{Z_t}, \qquad 0<Z_t<\infty,

并选择初始提议 $q_0(x_0)$ 与前向核 $M_t(x_t\mid x_{0:t-1})$ 。无重采样时，整条路径的提议密度为 $q_t=q_0\prod_{s=1}^tM_s$ ，原始重要性权重满足递推

W_0(x_0)=\frac{\gamma_0(x_0)}{q_0(x_0)},

W_t(x_{0:t})=W_{t-1}(x_{0:t-1})G_t(x_{0:t}), \qquad G_t=\frac{\gamma_t(x_{0:t})} {\gamma_{t-1}(x_{0:t-1})M_t(x_t\mid x_{0:t-1})}.

每一步用 $\widetilde W_t^i=W_t^i/\sum_jW_t^j$ 构造粒子经验测度，正是自归一化重要性采样。支持条件要求提议路径测度覆盖所有 $\gamma_t>0$ 的路径，并使递推分母在目标质量处为正。

标准 SMC 循环包含：按当前归一化权重选择祖先索引 $A_i$ ；令 $X_{0:t-1}^i=X_{0:t-1}^{A_i}$ ；从 $M_t$ 传播新坐标；计算增量权重并归一化。若本步不重采样，则保留旧权重并乘 $G_t$ ；若重采样，则祖先选择已经吸收旧权重，新权重从相应增量开始。混淆这两种递推会把旧权重重复计算或漏掉。

常以权重有效样本量

\widehat{\mathrm{ESS}}_w=\frac1{\sum_i(\widetilde W_t^i)^2}

低于阈值时触发多项式、分层或系统重采样。无偏重采样要求每个粒子的期望后代数为 $N\widetilde W_t^i$ ；它保持加权经验测度的条件期望，却会增加抽样噪声并复制祖先。对固定 $t$ ，在常规可积与稳定条件下，粒子估计随 $N\to\infty$ 一致并有 SMC 中心极限定理；有限 $N$ 的自归一化期望一般有偏。标准 Feynman–Kac 构造和无偏重采样下，归一化常数的乘积型估计可无偏，但这不使其对数无偏。

直觉

一次从容易分布跳到困难目标会产生悬殊权重；SMC 把跳跃拆成多个相邻目标，让粒子逐段付“密度比过路费”。归一化权重显示当前哪些粒子承担大部分目标质量，重采样把计算预算复制到这些位置，再由传播或 rejuvenation 核恢复多样性。

重采样只重新分配已有粒子的后代数，不会发现从未出现的区域。太晚重采样会让一个权重统治所有估计，太早或太频繁则反复丢弃低权重但潜在有用的谱系。目标序列、传播核和触发规则共同决定退化速度。

例子与边界

从三点均匀目标 $\gamma_0=(1,1,1)$ 桥接到 $\gamma_1=(1,3,6)$ 。令三个初始粒子恰为 $(a,b,c)$ ，权重相等，且本步不移动位置。增量权重为 $(1,3,6)$ ，归一化后是 $(0.1,0.3,0.6)$ ，其权重 ESS 为

\frac1{0.1^2+0.3^2+0.6^2}=\frac1{0.46}\approx2.17.

若决定多项式重采样，取三个独立均匀数 $0.05,0.42,0.91$ ，按累积概率 $(0.1,0.4,1)$ 得到祖先 $(a,c,c)$ ；新粒子等权。重采样后的经验比例 $(1/3,0,2/3)$ 并不等于目标，但条件期望是 $(0.1,0.3,0.6)$ 。后续若没有能从 $a,c$ 到达 $b$ 的传播或 MCMC rejuvenation，状态 $b$ 已永久丢失。

更严重的 support mismatch 是所有初始粒子都没进入新出现的模态。无论该模态的真实质量多大，重采样只能复制现有位置，归一化常数估计也会系统漏掉它。长序列还有谱系退化：即使当前状态粒子看起来分散，向后追溯的路径可能很快汇聚到同一个祖先，使早期状态和平滑函数估计贫化。

权重全在对数域下溢为零属于数值失败，应使用 log-sum-exp；真实增量权重全为零则是模型、观测或提议支持失败，不能用加常数平滑偷偷继续。固定粒子数下误差还可能随时间累积，所谓“一致”是固定时间、粒子数趋于无穷的陈述，不保证任意长在线运行保持同样精度。

推论与应用

静态后验可用温度序列 $\gamma_t=\text{prior}\times\text{likelihood}^{\beta_t}$ 从先验逐步走到后验；相邻温度根据权重退化自适应选择。状态空间模型则随观测时间扩展路径，得到具体的粒子滤波器。两者共享增量换测度与重采样机制，但目标序列的含义和稳定条件不同。

设计顺序应是先定义每个 $\gamma_t$ 和可验证的增量比，再选择覆盖其支持的传播核，最后按权重集中决定是否重采样。粒子数、ESS 阈值和 rejuvenation 次数都应以目标函数误差与成本评估。只画最终粒子云会遗漏归一化常数偏差和祖先坍缩，完整输出应保留每步 log normalizer 增量、ESS、重采样时刻及祖先索引。

参考资料

Pierre Del Moral, Feynman-Kac Formulae: Genealogical and Interacting Particle Systems with Applications, Springer, 2004, Chs. 7–9.
Arnaud Doucet and Adam M. Johansen, “A Tutorial on Particle Filtering and Smoothing: Fifteen Years Later,” in The Oxford Handbook of Nonlinear Filtering, Oxford University Press, 2011, §§3–4, pp. 656–704.
Nicolas Chopin and Omiros Papaspiliopoulos, An Introduction to Sequential Monte Carlo, Springer, 2020, Chs. 2–4.

形式陈述 ​

反向链接

形式陈述