Gibbs 采样器 | Codeboy's Blog

形式陈述

设目标分布 $\Pi$ 定义在乘积空间 $\mathcal X_1\times\cdots\times\mathcal X_d$ ，状态写作 $x=(x_1,\ldots,x_d)$ 。假设每个坐标都有可采样的正规全条件分布

\Pi_j(dx_j\mid x_{-j}),

其中 $x_{-j}$ 表示除第 $j$ 个坐标外的当前值。系统扫描的一轮依次执行

X_j^{(t+1)}\sim \Pi_j\!\left(\,\cdot\mid X_1^{(t+1)},\ldots,X_{j-1}^{(t+1)}, X_{j+1}^{(t)},\ldots,X_d^{(t)}\right),

从 $j=1$ 更新到 $d$ 。输入是当前向量与所有全条件采样器，输出是完成一轮后的向量；中间状态必须立即供后续坐标使用，不能全部仍条件在旧向量上却声称是同一系统扫描核。

单坐标核 $K_j$ 保持 $\Pi$ ，因为在固定 $x_{-j}$ 后重新抽取的正是目标条件律。故复合核 $K=K_1K_2\cdots K_d$ 也满足 $\Pi K=\Pi$ 。系统扫描的整体核一般不必可逆；随机扫描以概率 $p_j>0$ 选择一个坐标，核 $\sum_jp_jK_j$ 同样保持目标，并在常见设置下由各 $K_j$ 的可逆性继承可逆性。这里不需要目标归一化常数，因为全条件密度只需按 $x_j$ 归一化。

不变性之外，作为MCMC还要验证由条件支持生成的链不可约并正常返。若目标密度在连通乘积支持上处处为正，常能建立可达性；有确定约束、结构零或不相容条件时则不能凭更新形式推断遍历。轨道平均有限样本有相关性和初值偏差，一致性与中心极限定理分别需要相应遍历和矩条件。

全条件族还必须来自同一个正规联合分布。随意拼接几个看似合理的条件模型可能不相容；此时更新仍能形成某条链，却没有所宣称的联合后验作为目标。若只能近似抽全条件，在内层使用 MH 可形成 Metropolis-within-Gibbs，但接受步骤成为正确性的一部分，不能省略。

直觉

联合分布难以一次抽样时，固定其余坐标后的一维或低维切面常很简单。Gibbs 更新沿这些切面交替移动：每一步都把一个坐标“洗回”目标条件律，连续做完一轮仍保持完整联合律。

条件抽样接受率为一并不表示移动有效。若两个参数后验高度相关，固定一个时另一个只能在很窄的条件切面上变化，轨迹会沿斜长脊线以细小之字步前进。坐标选择与参数化决定这种几何，而“每步都接受”看不见它。

例子与边界

令二元二值目标为

\begin{array}{c|cc} &Y=0&Y=1\\\hline X=0&0.4&0.1\\ X=1&0.2&0.3 \end{array}.

从 $(X,Y)=(0,1)$ 开始。先更新 $X$ ：

P(X=1\mid Y=1)=\frac{0.3}{0.1+0.3}=0.75.

若均匀数为 $0.60$ ，得到 $X=1$ 。再用这个新值更新 $Y$ ：

P(Y=1\mid X=1)=\frac{0.3}{0.2+0.3}=0.60.

若第二个均匀数为 $0.70$ ，得到 $Y=0$ ，一轮终点为 $(1,0)$ 。这不是从联合目标独立抽出的点，而是一个保持该联合表的相关转移；重复轮次后才用时间平均估计概率。

考虑只在 $(0,0)$ 与 $(1,1)$ 各放一半质量的目标。此时 $X\mid Y$ 与 $Y\mid X$ 都是确定的：从 $(0,0)$ 出发永远留在那里，从 $(1,1)$ 也一样。两个点的混合目标对核不变，但链分裂成两个闭类，任何长度都不能恢复一半一半。给目标加很小的非对角质量虽恢复不可约，跨越时间仍可能巨大。

另一边界是后验中近确定的层级尺度或强相关回归系数。逐坐标更新会造成极高自相关；把相关坐标分块、中心化或非中心化重参数化可能显著改善，但分块条件必须能精确或经校正地采样。维数增加本身不是结论，关键是条件切面与联合几何是否对齐。

推论与应用

共轭层级模型常把每个全条件化成标准分布，因而把复杂联合后验拆成可审计的抽样步骤。推导时应先写联合密度，再只保留与当前坐标有关的因子并核对正规化；这条链条能发现漏掉 Jacobian、约束或超参数项的错误。

分块 Gibbs 用联合条件更新一组坐标，减少沿相关脊线的慢行，但大块抽样成本会提高。塌缩 Gibbs 先积分掉某些变量，可降低相关性，却会改变合法更新顺序；在部分塌缩方案中擅自重排步骤可能破坏不变性。优化应以每单位计算时间的函数特定误差为准，而不是以“每轮更新了多少坐标”计数。

参考资料

Stuart Geman and Donald Geman, “Stochastic Relaxation, Gibbs Distributions, and the Bayesian Restoration of Images,” IEEE Transactions on Pattern Analysis and Machine Intelligence 6(6), 1984, pp. 721–741.
Alan E. Gelfand and Adrian F. M. Smith, “Sampling-Based Approaches to Calculating Marginal Densities,” Journal of the American Statistical Association 85(410), 1990, pp. 398–409.
George Casella and Edward I. George, “Explaining the Gibbs Sampler,” The American Statistician 46(3), 1992, pp. 167–174.

形式陈述 ​

反向链接

形式陈述