Skip to content

Markov 链平稳分布收敛定理

Convergence to stationarity for Markov chains · Markov chain convergence theorem

不可约、正常返且非周期的可数状态 Markov 链,其逐时刻转移分布收敛到唯一平稳分布。

形式陈述

P 是可数状态空间 S 上不可约、正常返且非周期 Markov 链的转移核,π 是其唯一平稳分布。则对任意状态 i,jS

Pn(i,j)π(j).

因此,从任意初始分布 μ 出发,Xn 的边际分布 μPn 逐点趋于 π;在可数离散空间上,这也给出总变差收敛。有限不可约链自动正常返,所以有限情形只需另加非周期性。

这条结论只描述第 n 个时刻的分布,不是沿单条样本路径求平均。后者由时间平均遍历定理控制,并不要求非周期性。

直觉

不可约性排除永久隔离的多个状态类,正常返性让平稳概率质量能够归一化,非周期性则打散“只能在某些同余时刻回到这里”的相位。三者合在一起,初始状态留下的信息才会随步数消散,单步边际逐渐只剩平稳分布。

周期性并不阻止长期访问比例稳定,却会让每个固定时刻仍记得当前相位。时间平均把多个相位混在一起,逐时刻收敛没有这种平均作用,因此假设更强。

例子与边界

二状态确定性交替链 01 不可约,平稳分布为 (1/2,1/2),但从 0 出发时分布在 δ0δ1 之间交替,永不趋于 π。给每个状态加入正概率自环后周期被打破,边际分布才趋稳。

整数上的简单对称随机游走不可约且常返,却是零常返,没有平稳概率分布,不能套用定理。可约链则可能有多个闭类;此时极限若存在,也可能依赖初始分布落入哪个类。非正规或无限状态情形还需核对正常返性,不能把有限链直觉直接外推。

推论与应用

混合时间量化有限链达到给定总变差精度需要多少步;本页定理只给极限存在,不自动给收敛速率。可逆链可进一步用谱隙或 conductance 控制速度,耦合法则通过两条链相遇来给出概率界。

MCMC 的 burn-in 讨论依赖逐时刻分布趋稳,而最终估计量通常是轨道平均,还同时需要遍历定理。二者分别控制初始偏差和长期平均,不能用“链看起来稳定”把其中任一项省略。

参考资料
  • J. R. Norris, Markov Chains, Cambridge University Press, 1997,convergence to equilibrium。
  • David A. Levin, Yuval Peres, and Elizabeth L. Wilmer, Markov Chains and Mixing Times, 2nd ed., AMS, 2017,ergodicity and convergence。