更新一个坐标会消除它原来的值,也会把其他坐标的信息重新带进来。若传进来的总影响足够小,初态差异就会逐轮消退。Dobrushin方法把这些局部影响排成矩阵,使“哪些坐标先更新”和“关心哪个边缘”都能进入同一份计算。
形式陈述
接收行与影响列
设Ω = ∏ i = 1 n S i ,n ≥ 1 ,每个S i 是非空有限集。目标质量π ( x ) > 0 对全部x ∈ Ω 成立。记π i ( ⋅ ∣ x − i ) 为第i 个全条件。对i ≠ j 定义
(1) c i j = max x − j = y − j ‖ π i ( ⋅ ∣ x − i ) − π i ( ⋅ ∣ y − i ) ‖ T V , c i i = 0. 最大值允许x = y 。c i j 测量改变输入坐标j 时,接收坐标i 的条件律最多改变多少;行是接收方,列是影响来源。距离采用概率TV约定 理路 总变差距离 Total variation distance · TV distance 两个概率分布对最优可测事件所赋概率之差的最大值。 ,范围为[ 0 , 1 ] 。
实际计算也可使用逐项上界C ≥ ( c i j ) ,要求C ≥ 0 且C i i = 0 。以下所有结论对这样的有效上界成立,不要求精确求出每个最大值。
预定扫描的有限步证书
第t 轮执行单坐标Gibbs更新 理路 Gibbs 采样器 Gibbs sampler · Gibbs sampling 轮流从目标联合分布的全条件分布抽取坐标,以条件更新组成保持联合目标不变的 Markov 核。 ,按预先规定的概率向量q ( t ) 选坐标,再精确抽其全条件。这些扫描向量不能依赖当前样本状态;q ( t ) = e i 允许指定本轮只更新i 。令
(2) B ( q ) = I − diag ( q ) + diag ( q ) C , b ( 0 ) = 1 , b ( t ) = B ( q ( t ) ) b ( t − 1 ) . 从任意初始分布运行到第T 轮,输出律记作μ T 。对任意坐标子集A ⊆ { 1 , … , n } ,有
(3) ‖ L μ T ( X A ) − L π ( X A ) ‖ T V ≤ min { 1 , ∑ i ∈ A b i ( T ) } . 空集合的两个边缘都是单点分布,右边为零。b i 是误配概率的上界,可能大于1;这不使递推无效,只说明该分量暂时没有非平凡证书。
一份加权几何条件
若扫描固定为q i > 0 ,并找到v i > 0 使
(4) κ := min i q i ( 1 − ( C v ) i v i ) > 0 , ρ = 1 − κ , 则0 ≤ ρ < 1 ,且
(5) ‖ μ T − π ‖ T V ≤ min { 1 , ∑ i v i min i v i ρ T } . 常见的无权条件是α = max i ∑ j C i j < 1 。均匀扫描q i = 1 / n 、v = 1 时可取ρ = 1 − ( 1 − α ) / n 。加权条件只是一种充分条件,没通过不能反推链没有唯一平稳律或不能混合。本页只讨论有限乘积模型,不把这个结论无条件改名为无限体积Gibbs测度唯一性。
直觉
先比较全条件,再比较整条链
从x 到y ,依次替换它们不同的坐标。严格正的完整乘积支持保证每个中间配置合法。用TV三角不等式和式(1),
(6) ‖ π i ( ⋅ ∣ x − i ) − π i ( ⋅ ∣ y − i ) ‖ T V ≤ ∑ j C i j 1 { x j ≠ y j } . 这一行是全方法的局部责任:不能用几个观察到的状态差异代替对所有条件输入的有效上界。
令X t 从所需初态启动,Y 0 ∼ π 。两条链每轮选同一坐标。若选到i ,对两份第i 个全条件实际构造最大耦合 理路 耦合法 Coupling method · Probability coupling 在共同概率空间中构造具有指定边缘的随机变量,并用它们相遇的概率比较分布。 ,使新值不等的条件概率恰为其TV;未选中的坐标保留。每条边缘仍按合法Gibbs核演化,且Y t ∼ π 。
记d i ( t ) = Pr ( X t , i ≠ Y t , i ) 。式(6)与全期望给
(7) d i ( t ) ≤ ( 1 − q i ( t ) ) d i ( t − 1 ) + q i ( t ) ∑ j C i j d j ( t − 1 ) . 由d ( 0 ) ≤ 1 及矩阵非负性归纳得到d ( T ) ≤ b ( T ) 。两个子向量不相等时,至少有一个相应坐标不相等;并集界与耦合不等式证明式(3)。各坐标误配事件不必独立。
权重控制哪个方向
定义加权向量范数‖ z ‖ ∞ , v = max i | z i | / v i 。B ≥ 0 时,其诱导矩阵范数 理路 矩阵范数与诱导算子范数 Matrix norm · Induced matrix norm · Operator norm of a matrix 用诱导范数和常用可计算矩阵范数度量线性映射的放大能力,并区分算子范数、Frobenius 范数与谱半径。 为
‖ B ‖ ∞ , v = max i ( B v ) i v i . 上界来自| z j | ≤ ‖ z ‖ ∞ , v v j ,取z = v 便取等。式(4)正好给B ( q ) v ≤ ρ v 。又因1 ≤ v / min i v i ,归纳得到b ( T ) ≤ ρ T v / min i v i ,代入式(3)的全部坐标便得式(5)。
若存在C v ≤ α v 且α < 1 ,固定扫描还可用稍粗的κ = ( 1 − α ) min i q i 。当ρ = 0 时,一步误配界为零;算步数不再使用log ρ 。若0 < ρ < 1 ,设K = ∑ i v i / min i v i ,足够步数为⌈ log ( K / ε ) / ( − log ρ ) ⌉ 。
例子与边界
Ising局部场的精确影响
对有限Ising模型 理路 有限 Ising 模型 Finite Ising model · Ising model · 伊辛模型 · 有限自旋系统 在有限图上给二值自旋的相邻相互作用和外场赋概率,推导局部条件更新,并由树与回路的边变量区分联合依赖。 ,第i 个条件取正概率是L ( 2 a i ) ,其中L ( s ) = 1 / ( 1 + e − s ) 。若只改变邻居j ,把其他局部场写成a ,差异为
(8) | L ( 2 ( a + J i j ) ) − L ( 2 ( a − J i j ) ) | = | sinh ( 2 J i j ) | cosh ( 2 a ) + cosh ( 2 J i j ) ≤ tanh | J i j | . 等式由通分得到,上界用cosh ( 2 a ) ≥ 1 。非邻居没有影响。因此C i j = tanh | J i j | (有边时)是一份简单证书;已知外场和其余邻居取值时,还可以在有限集合上取最大值,得到更小的精确影响。
以三角形、零外场、e 2 J = 3 为例,tanh J = 1 / 2 。粗行和为1,未通过严格条件。然而固定另一个邻居后,a = ± J ,不会取到上界所需的a = 0 。条件概率只出现1 / 10 , 1 / 2 , 9 / 10 ,改变一个邻居的最大变化为2 / 5 。于是
(9) C = ( 0 2 / 5 2 / 5 2 / 5 0 2 / 5 2 / 5 2 / 5 0 ) , α = 4 / 5. 均匀扫描每次只更新一位,式(5)给3 ( 14 / 15 ) T 。目标ε = 1 / 100 时,这份界在第82步仍超标、第83步首次合格。这里改善的是条件影响的有效预算,不是改变了目标或采样器。
行和未过,加权仍可能通过
四点星形,中心记0、三叶记1、2、3,零外场且每条边tanh J = 2 / 5 。简单有效影响矩阵的中心行和为6 / 5 ,不能使用无权条件。取
v = ( 7 / 4 , 1 , 1 , 1 ) , 中心比值( C v ) 0 / v 0 = 24 / 35 ,每叶比值为7 / 10 。因此C v ≤ ( 7 / 10 ) v ,均匀扫描得到ρ = 37 / 40 及K = 19 / 4 。权重表达各坐标误配容许的相对尺度,而不是把中心坐标从最终事件误差中删掉;K 仍把它计入。
更新顺序、状态依赖与结构零
系统扫描的第i 次更新取q = e i ,式(2)只替换b i 这一行,并立即供后续坐标使用。不同次序对应不同矩阵乘积,通常不能交换。单轮不一定严格收缩,仍可以先计算完整一轮的乘积,再检查它对某个正向量是否缩小。
下图把四点星形的叶外场改为e 2 h = 9 ,保留中心零场与边参数e 2 J = 7 / 3 。中心接收每叶的精确影响仍为2 / 5 ,叶接收中心的影响则为30 / 187 。从1 开始,先中心的一轮给中心分量6 / 5 ,后中心的一轮给36 / 187 ;终点任务 逐项求出条件律、矩阵预算和实际中心偏差。
图片加载失败 预定扫描次序与中心事件预算 若根据当前状态选坐标,目标不变性甚至可能失败。取两个独立公平比特:第一位为0时只更新第一位,为1时只更新第二位。以目标初始化后,第一位为1的概率变成1 / 2 + ( 1 / 2 ) ( 1 / 2 ) = 3 / 4 。所有被抽的全条件都正确,但选择规则已经改变联合分布;本页的预定扫描证明不适用。
若目标只支持00 和11 ,逐坐标替换的中间状态可能落在零质量处,条件比较也未必有唯一合法版本。不能把正乘积支持下的式(6)直接用于这种硬约束模型;需要重新选合法路径或块更新。
推论与应用
与加权路径耦合的精确关系
在完整乘积空间用d w ( x , y ) = ∑ i w i 1 { x i ≠ y i } ,其中w i > 0 。对只在j 不同的一对状态,共同选择坐标并最大耦合,有
(10) E d w ( X ′ , Y ′ ) ≤ ( 1 − q j ) w j + ∑ i q i w i C i j . 选到j 会删除原差异,因为该坐标的全条件不依赖自己的旧值;更新其他坐标则可能新添差异。若式(10)不超过ρ w j 对每个j 都成立,实际使用路径耦合定理 理路 路径耦合 Path coupling · Bubley–Dyer path coupling · 邻点路径耦合 在有限连通辅助图上只检验相邻初态的一步平均距离,再由耦合粘合与最短路把收缩推广到全部分布。 ,便有TV界
∑ i w i min i w i ρ T . 式(10)对固定来源j 向接收方i 求和,使用加权列;式(7)固定接收方i 汇总来源j ,使用行。两种方法可以给不同的有效证书;非对称C 上尤其不能把一个条件的下标转置后仍当作同一计算。
事件偏差与运行成本
式(3)给第T 步边缘分布的偏差,不给一条相关轨迹平均的方差或有效样本量。若函数f 每改变坐标i 最多变化a i ≥ 0 ,沿逐坐标路径可得| f ( x ) − f ( y ) | ≤ ∑ i a i 1 { x i ≠ y i } ,从而
| E μ T f − E π f | ≤ ∑ i a i b i ( T ) . 对只依赖少数坐标的事件,不必先把全部坐标预算相加。这允许在采样前比较不同扫描对具体观测量的认证效果。
给定稀疏有效C 后,一轮随机扫描向量递推可按非零元计算,成本为O ( n + nnz ( C ) ) ;若q = e i ,只需更新第i 行,成本为O ( 1 + nnz ( C i ⋅ ) ) 。保存矩阵与向量为O ( n + nnz ( C ) ) 。构造有效影响上界是额外任务:一般离散模型逐配置穷尽可能指数昂贵,不能把“矩阵已经给定”误当作总算法成本。
参考资料
Ioannis Mitliagkas、Lester Mackey,Improving Gibbs Sampler Scan Quality with DoGS ,PMLR70,2017,pp.2469–2477,§§2–4.1、Definition6、Theorem8及Appendix A.1–A.2。影响方向、预定扫描矩阵与边缘误差;本文不实现其扫描优化器。
David A. Levin、Yuval Peres,Markov Chains and Mixing Times ,第2版,2017,作者公开PDF ,§15.1,印刷pp.215–217,特别是条件影响的连续上界和离散局部场改善。