形式陈述
设 μ , ν 是同一可测空间 ( S , S ) 上以概率测度表示的概率分布 公理库 概率分布 Probability distribution · Law 可测空间上总质量为一的测度;随机变量的律是由样本概率推出的一类分布。 。本库约定总变差距离取所有可测事件差的上确界 公理库 上确界与下确界 Supremum and infimum 在偏序中分别作为集合最小上界与最大下界的最紧边界元素。 :
‖ μ − ν ‖ TV = sup A ∈ S | μ ( A ) − ν ( A ) | . 它的取值属于 [ 0 , 1 ] 。在有限或可数状态空间中,若 μ ( x ) , ν ( x ) 是概率质量函数,则
‖ μ − ν ‖ TV = 1 2 ∑ x ∈ S | μ ( x ) − ν ( x ) | = 1 − ∑ x ∈ S min { μ ( x ) , ν ( x ) } . 若两者对同一测度有密度 f , g ,相应公式为 1 2 ∫ | f − g | 。更一般的对偶表示在所有有界可测实函数 h 上取上确界:
‖ μ − ν ‖ TV = 1 2 sup ‖ h ‖ ∞ ≤ 1 | ∫ h d μ − ∫ h d ν | . 令 η = μ − ν ,其总变差测度 公理库 总变差测度 Total variation measure · Variation measure 把有符号测度在各可测部分上的绝对变化累积为正测度,而不让正负质量相互抵消。 | η | 给每个可测集赋值;这里的 TV 距离则是两分布之间的一个数。由于 η ( S ) = 0 ,Jordan 正、负质量相等,且 Hahn 正集取得最大的事件差,故
‖ μ − ν ‖ TV = η + ( S ) = η − ( S ) = 1 2 | η | ( S ) . 对 | h | ≤ 1 ,积分差的绝对值不超过 | η | ( S ) ;取 Hahn 正集上为一、负集上为负一的可测 h 就达到这个值,证明了上面的对偶公式。若存在共同密度,再用 d | η | = | f − g | d ρ 得到密度公式。
有些文献把右侧不带 1 / 2 的测度范数称为 total variation norm;本库始终使用上述概率距离约定。
直觉
任选一个只输出“是/否”的事件测试 A ,观察样本是否落在 A 中。两分布对这个测试给出的“是”概率可能不同;总变差距离就是最佳测试能制造的最大差距。因此距离很小意味着对所有可测事件,两分布给出的概率都接近,而不是只在均值或少数统计量上相似。
离散情形中最优测试可以直接构造:取 A + = { x : μ ( x ) ≥ ν ( x ) } 。总质量差为零,所以 A + 上的正差之和与补集上的负差绝对值之和相等。绝对差总和把这份差异计算了两遍,因而公式需要乘 1 / 2 ;这个因子不是任意的记号习惯。
离散公式还能看成搬运前的重叠质量:∑ x min ( μ ( x ) , ν ( x ) ) 是两边可以直接配对的共同部分,剩余部分就是必须不同的概率质量。这个图像自然连接耦合法 公理库 耦合法 Coupling method · Probability coupling 在共同概率空间中构造具有指定边缘的随机变量,并用它们相遇的概率比较分布。 。
例子与边界
对 Bernoulli( p ) 与 Bernoulli( q ) ,两点空间上的差异为
1 2 ( | p − q | + | ( 1 − p ) − ( 1 − q ) | ) = | p − q | . 最优事件可取 { 1 } 或 { 0 } 。若两个分布分别集中在互不相交的可测集上,则选取其中一个集合便得到距离 1 ;若距离为零,则它们在所有可测集上一致,因而是同一概率测度。
连续分布不必有密度,总变差仍由可测事件的上确界定义。总变差也比弱收敛强:点质量 δ 1 / n 弱收敛到 δ 0 ,但对每个 n ,两者支撑不同且总变差距离为 1 。另一方面,只比较期望并不能控制总变差;两个分布可能均值相同,形状却完全不同。
推论与应用
在有限、可数或标准 Borel 状态空间上,对任意耦合 ( X , Y ) ,都有
‖ L ( X ) − L ( Y ) ‖ TV ≤ P ( X ≠ Y ) , 因为当 X = Y 时,两个事件指示函数 1 A ( X ) 与 1 A ( Y ) 相同,所以每个事件的概率差都不超过 Pr ( X ≠ Y ) 。取上确界便得不等式;在这些状态空间上还存在最大耦合达到等号。
离散空间的构造把共同质量 r ( x ) = min { μ ( x ) , ν ( x ) } 先配成 X = Y = x ,总概率为 c = ∑ x r ( x ) ;余下概率 1 − c 按各自剩余质量配对,剩余支撑互斥,所以一定不相等。于是失败配对的概率恰为 1 − c = ‖ μ − ν ‖ TV 。一般可测空间若不保证对角集可测,Pr ( X ≠ Y ) 本身就需要额外处理,不能不加空间条件地套用这个表达式。
混合时间 公理库 混合时间 Mixing time · Markov chain mixing time Markov 链从最坏初态接近平稳分布到指定总变差精度所需的步数。 用总变差衡量 Markov 链从最坏初态到平稳分布的距离;统计检验和信息论安全也用它描述无界计算观察者的区分能力。计算安全中的“优势”通常还受算法资源限制,不能与信息论总变差无条件等同。
两个不同点质量的总变差始终最大,即使它们在空间中无限接近。Wasserstein 距离 公理库 Wasserstein 距离 Wasserstein distance 用最小平均搬运距离定义概率测度的度量,并用矩条件说明它比弱收敛多控制什么。 改用最小搬运距离衡量这种几何接近,但需相应矩条件,控制的信息也与事件概率最大差不同。
参考资料
David A. Levin, Yuval Peres, and Elizabeth L. Wilmer, Markov Chains and Mixing Times, 2nd ed., American Mathematical Society, 2017,§4.1, total variation distance。
Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Springer, 2021,probability measures and total variation。