形式陈述
设 P 是有限状态 Markov 链的转移矩阵,π 是一个指定的平稳分布 理路 平稳分布 Stationary distribution 经马尔可夫转移后保持不变的状态分布。 。时间 t ∈ N 0 。从状态 x 出发,t 步后的分布为 P t ( x , ⋅ ) 。定义相对于 π 的最坏初态总变差距离
d ( t ) = max x ‖ P t ( x , ⋅ ) − π ‖ TV , 以及精度 ε ∈ ( 0 , 1 ) 下的混合时间
t mix ( ε ) = min { t ∈ N 0 : d ( t ) ≤ ε } . 若集合为空,就约定 t mix ( ε ) = ∞ 。不可约且非周期的有限链具有唯一平稳分布,并从任意初态收敛到它,因此这是保证混合时间有限的标准条件;不满足这些条件的链仍可代入定义,但结果可能为无穷。本文把
t mix = t mix ( 1 / 4 ) 作为默认约定。若 t mix < ∞ ,下面的次乘性论证给出 t mix ( ε ) ≤ ⌈ log 2 ( 1 / ε ) ⌉ t mix 。阈值改变后的具体数值仍须按定义计算。若从初始分布 μ 出发,则相应距离是 ‖ μ P t − π ‖ TV ;最坏初态定义保证对所有 μ 同时成立。
直觉
混合不是链在某一刻“到达”平稳分布。有限步后,P t ( x , ⋅ ) 往往仍与 π 不完全相等;混合时间问的是它们何时已经近到任何事件测试都难以区分,而且这个保证必须覆盖最不利的起点。
共同执行一次转移不会增加总变差距离,但未必严格减少;例如确定性置换会完整保留初态信息。若不同起点产生的分布逐渐靠拢,平稳分布便成为共同参照。障碍也由此清楚:多个闭沟通类会永久保留“起点在哪一类”的信息;周期链会保留时间相位;很窄的瓶颈则让概率质量跨区域移动得很慢。
距离收缩与精度转换
对任意概率行向量 μ , ν ,三角不等式和每行和为 1 给出
‖ μ P − ν P ‖ TV ≤ 1 2 ∑ x , y | μ ( x ) − ν ( x ) | P ( x , y ) = ‖ μ − ν ‖ TV . 所以 d ( t ) 不增。再定义 d ¯ ( t ) = max x , y ‖ P t ( x , ⋅ ) − P t ( y , ⋅ ) ‖ TV 。把 π 写成 ∑ y π ( y ) P t ( y , ⋅ ) 得 d ( t ) ≤ d ¯ ( t ) ,而三角不等式给 d ¯ ( t ) ≤ 2 d ( t ) 。
最大耦合 理路 耦合法 Coupling method · Probability coupling 在共同概率空间中构造具有指定边缘的随机变量,并用它们相遇的概率比较分布。 给出 d ¯ ( s + t ) ≤ d ¯ ( s ) d ¯ ( t ) :先最大耦合从 x , y 出发的 s 步分布。若此时相等,后续共同更新;若不同,就最大耦合这两个状态的 t 步分布,其失配概率至多 d ¯ ( t ) 。于是总失配概率至多 d ¯ ( s ) d ¯ ( t ) ,再对 x , y 取最大即可。所有状态集有限,逐对选择这些耦合没有可测选择障碍。
令 m = t mix ,便有 d ¯ ( m ) ≤ 1 / 2 和 d ( k m ) ≤ 2 − k ,给出前述精度转换界。若 m = 0 ,有限空间中 d ( 0 ) = 1 − min x π ( x ) ≤ 1 / 4 只能发生在单状态链,所有混合时间都为零。
例子与边界
二状态链
P = ( 1 − a a b 1 − b ) , 0 < a , b < 1 , 具有平稳分布 π = ( b / ( a + b ) , a / ( a + b ) ) 。其非平凡特征值为 1 − a − b ,直接解一阶递推得到
d ( t ) = max ( a , b ) a + b | 1 − a − b | t . 在 t = 0 处按零次幂为 1 理解;若 a + b = 1 ,一步后距离就是零。例如 a = 1 / 10 , b = 1 / 5 时,d ( 2 ) = 49 / 150 > 1 / 4 ,d ( 3 ) = 343 / 1500 < 1 / 4 ,故 t mix = 3 。当 a + b 很小时,链长时间停留原状态,混合变慢。
确定交替的两状态链具有平稳分布 ( 1 / 2 , 1 / 2 ) ,却从状态 0 出发在奇偶时刻来回跳动,总变差距离不趋于零。加入以 1 / 2 概率原地停留的 lazy 版本可消除周期,但这产生新转移矩阵,混合步数也应按新链计算。时间平均趋向平稳分布并不能替代逐时刻边缘分布的混合。
推论与应用
总变差距离 理路 总变差距离 Total variation distance · TV distance 两个概率分布对最优可测事件所赋概率之差的最大值。 固定了“接近”的意义;不可约性 理路 沟通类与不可约性 Communication classes · Irreducible Markov chain 按正概率多步可达性分解 Markov 链状态空间,并刻画整个链是否互相可达。 与非周期性 理路 常返、暂留与周期性 Recurrence and transience · Periodicity of Markov chains 用返回概率、返回时间与可返回步数刻画 Markov 链状态的长期类型。 排除结构性障碍。可逆链 理路 可逆链与细致平衡 Reversible Markov chain · Detailed balance 由相反方向概率流逐边平衡所刻画的 Markov 链时间反演对称性。 还能借助谱隙、conductance 等工具给出混合上界,而耦合法 理路 耦合法 Coupling method · Probability coupling 在共同概率空间中构造具有指定边缘的随机变量,并用它们相遇的概率比较分布。 通过两条链的相遇概率直接控制 d ( t ) 。
在 MCMC 中,已知的混合时间上界为 burn-in 后的边际分布偏差提供最坏情形保证;特定初态或特定观测量可能更早达到所需精度。它是最坏情形分布保证,不等同于某个观测量看似稳定,也不能由一条模拟轨迹的视觉平稳性替代。
有限状态的路径收缩 理路 路径耦合 Path coupling · Bubley–Dyer path coupling · 邻点路径耦合 在有限连通辅助图上只检验相邻初态的一步平均距离,再由耦合粘合与最短路把收缩推广到全部分布。 可把逐边的一步平均距离界变成最坏初态TV预算;有限Gibbs模型的条件影响递推 理路 Dobrushin 收缩条件 Dobrushin contraction condition · Dobrushin influence matrix · Dobrushin interdependence matrix · 多布鲁申影响矩阵 用一个坐标变化对其他全条件的最大影响构造误配递推,认证有限Gibbs扫描的边缘误差与加权收缩。 则保留坐标结构,允许先计算预定扫描的矩阵乘积。由某份充分界第一次达到容差得到的是认证步数上界,不是对真实最小混合时间的自动等号。
参考资料
David A. Levin, Yuval Peres, and Elizabeth L. Wilmer, Markov Chains and Mixing Times, 2nd ed., American Mathematical Society, 2017,Ch. 4, total variation and mixing time。
J. R. Norris, Markov Chains, Cambridge University Press, 1997,convergence to equilibrium for discrete-time chains。