Skip to content

定义Definition

混合时间

施工中 · 内容逐步修订

Mixing time · Markov chain mixing time

Markov 链从最坏初态接近平稳分布到指定总变差精度所需的步数。

形式陈述 ​

设 P 是有限状态 Markov 链的转移矩阵,π 是一个指定的平稳分布。时间 t∈N0。从状态 x 出发,t 步后的分布为 Pt(x,⋅)。定义相对于 π 的最坏初态总变差距离

d(t)=maxx‖Pt(x,⋅)−π‖TV,

以及精度 ε∈(0,1) 下的混合时间

tmix(ε)=min{t∈N0:d(t)≤ε}.

若集合为空,就约定 tmix(ε)=∞。不可约且非周期的有限链具有唯一平稳分布,并从任意初态收敛到它,因此这是保证混合时间有限的标准条件;不满足这些条件的链仍可代入定义,但结果可能为无穷。本文把

tmix=tmix(1/4)

作为默认约定。若 tmix<∞,下面的次乘性论证给出 tmix(ε)≤⌈log2⁡(1/ε)⌉tmix。阈值改变后的具体数值仍须按定义计算。若从初始分布 μ 出发,则相应距离是 ‖μPt−π‖TV;最坏初态定义保证对所有 μ 同时成立。

直觉

混合不是链在某一刻“到达”平稳分布。有限步后,Pt(x,⋅) 往往仍与 π 不完全相等;混合时间问的是它们何时已经近到任何事件测试都难以区分,而且这个保证必须覆盖最不利的起点。

共同执行一次转移不会增加总变差距离,但未必严格减少;例如确定性置换会完整保留初态信息。若不同起点产生的分布逐渐靠拢,平稳分布便成为共同参照。障碍也由此清楚:多个闭沟通类会永久保留“起点在哪一类”的信息;周期链会保留时间相位;很窄的瓶颈则让概率质量跨区域移动得很慢。

距离收缩与精度转换 ​

对任意概率行向量 μ,ν,三角不等式和每行和为 1 给出

‖μP−νP‖TV≤12∑x,y|μ(x)−ν(x)|P(x,y)=‖μ−ν‖TV.

所以 d(t) 不增。再定义 d¯(t)=maxx,y‖Pt(x,⋅)−Pt(y,⋅)‖TV。把 π 写成 ∑yπ(y)Pt(y,⋅) 得 d(t)≤d¯(t),而三角不等式给 d¯(t)≤2d(t)。

最大耦合给出 d¯(s+t)≤d¯(s)d¯(t):先最大耦合从 x,y 出发的 s 步分布。若此时相等,后续共同更新;若不同,就最大耦合这两个状态的 t 步分布,其失配概率至多 d¯(t)。于是总失配概率至多 d¯(s)d¯(t),再对 x,y 取最大即可。所有状态集有限,逐对选择这些耦合没有可测选择障碍。

令 m=tmix,便有 d¯(m)≤1/2 和 d(km)≤2−k,给出前述精度转换界。若 m=0,有限空间中 d(0)=1−minxπ(x)≤1/4 只能发生在单状态链,所有混合时间都为零。

例子与边界

二状态链

P=(1−aab1−b),0<a,b<1,

具有平稳分布 π=(b/(a+b),a/(a+b))。其非平凡特征值为 1−a−b,直接解一阶递推得到

d(t)=max(a,b)a+b|1−a−b|t.

在 t=0 处按零次幂为 1 理解;若 a+b=1,一步后距离就是零。例如 a=1/10,b=1/5 时,d(2)=49/150>1/4,d(3)=343/1500<1/4,故 tmix=3。当 a+b 很小时,链长时间停留原状态,混合变慢。

确定交替的两状态链具有平稳分布 (1/2,1/2),却从状态 0 出发在奇偶时刻来回跳动,总变差距离不趋于零。加入以 1/2 概率原地停留的 lazy 版本可消除周期,但这产生新转移矩阵,混合步数也应按新链计算。时间平均趋向平稳分布并不能替代逐时刻边缘分布的混合。

推论与应用

总变差距离固定了“接近”的意义;不可约性与非周期性排除结构性障碍。可逆链还能借助谱隙、conductance 等工具给出混合上界,而耦合法通过两条链的相遇概率直接控制 d(t)。

在 MCMC 中,已知的混合时间上界为 burn-in 后的边际分布偏差提供最坏情形保证;特定初态或特定观测量可能更早达到所需精度。它是最坏情形分布保证,不等同于某个观测量看似稳定,也不能由一条模拟轨迹的视觉平稳性替代。

有限状态的路径收缩可把逐边的一步平均距离界变成最坏初态TV预算;有限Gibbs模型的条件影响递推则保留坐标结构,允许先计算预定扫描的矩阵乘积。由某份充分界第一次达到容差得到的是认证步数上界,不是对真实最小混合时间的自动等号。

参考资料
  • David A. Levin, Yuval Peres, and Elizabeth L. Wilmer, Markov Chains and Mixing Times, 2nd ed., American Mathematical Society, 2017,Ch. 4, total variation and mixing time。
  • J. R. Norris, Markov Chains, Cambridge University Press, 1997,convergence to equilibrium for discrete-time chains。
关系图谱11 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系

使用的工具