Skip to content

定义Definition

总变差距离

Total variation distance · TV distance

两个概率分布对最优可测事件所赋概率之差的最大值。

形式陈述 ​

设 μ,ν 是同一可测空间 (S,S) 上以概率测度表示的概率分布。本库约定总变差距离取所有可测事件差的上确界:

‖μ−ν‖TV=supA∈S|μ(A)−ν(A)|.

它的取值属于 [0,1]。在有限或可数状态空间中,若 μ(x),ν(x) 是概率质量函数,则

‖μ−ν‖TV=12∑x∈S|μ(x)−ν(x)|=1−∑x∈Smin{μ(x),ν(x)}.

若两者对同一测度有密度 f,g,相应公式为 12∫|f−g|。更一般的对偶表示在所有有界可测实函数 h 上取上确界:

‖μ−ν‖TV=12sup‖h‖∞≤1|∫hdμ−∫hdν|.

令 η=μ−ν,其总变差测度 |η| 给每个可测集赋值;这里的 TV 距离则是两分布之间的一个数。由于 η(S)=0,Jordan 正、负质量相等,且 Hahn 正集取得最大的事件差,故

‖μ−ν‖TV=η+(S)=η−(S)=12|η|(S).

对 |h|≤1,积分差的绝对值不超过 |η|(S);取 Hahn 正集上为一、负集上为负一的可测 h 就达到这个值,证明了上面的对偶公式。若存在共同密度,再用 d|η|=|f−g|dρ 得到密度公式。

有些文献把右侧不带 1/2 的测度范数称为 total variation norm;本库始终使用上述概率距离约定。

直觉

任选一个只输出“是/否”的事件测试 A,观察样本是否落在 A 中。两分布对这个测试给出的“是”概率可能不同;总变差距离就是最佳测试能制造的最大差距。因此距离很小意味着对所有可测事件,两分布给出的概率都接近,而不是只在均值或少数统计量上相似。

离散情形中最优测试可以直接构造:取 A+={x:μ(x)≥ν(x)}。总质量差为零,所以 A+ 上的正差之和与补集上的负差绝对值之和相等。绝对差总和把这份差异计算了两遍,因而公式需要乘 1/2;这个因子不是任意的记号习惯。

离散公式还能看成搬运前的重叠质量:∑xmin(μ(x),ν(x)) 是两边可以直接配对的共同部分,剩余部分就是必须不同的概率质量。这个图像自然连接耦合法。

例子与边界

对 Bernoulli(p) 与 Bernoulli(q),两点空间上的差异为

12(|p−q|+|(1−p)−(1−q)|)=|p−q|.

最优事件可取 {1} 或 {0}。若两个分布分别集中在互不相交的可测集上,则选取其中一个集合便得到距离 1;若距离为零,则它们在所有可测集上一致,因而是同一概率测度。

连续分布不必有密度,总变差仍由可测事件的上确界定义。总变差也比弱收敛强:点质量 δ1/n 弱收敛到 δ0,但对每个 n,两者支撑不同且总变差距离为 1。另一方面,只比较期望并不能控制总变差;两个分布可能均值相同,形状却完全不同。

推论与应用

在有限、可数或标准 Borel 状态空间上,对任意耦合 (X,Y),都有

‖L(X)−L(Y)‖TV≤P(X≠Y),

因为当 X=Y 时,两个事件指示函数 1A(X) 与 1A(Y) 相同,所以每个事件的概率差都不超过 Pr(X≠Y)。取上确界便得不等式;在这些状态空间上还存在最大耦合达到等号。

离散空间的构造把共同质量 r(x)=min{μ(x),ν(x)} 先配成 X=Y=x,总概率为 c=∑xr(x);余下概率 1−c 按各自剩余质量配对,剩余支撑互斥,所以一定不相等。于是失败配对的概率恰为 1−c=‖μ−ν‖TV。一般可测空间若不保证对角集可测,Pr(X≠Y) 本身就需要额外处理,不能不加空间条件地套用这个表达式。

混合时间用总变差衡量 Markov 链从最坏初态到平稳分布的距离;统计检验和信息论安全也用它描述无界计算观察者的区分能力。计算安全中的“优势”通常还受算法资源限制,不能与信息论总变差无条件等同。

两个不同点质量的总变差始终最大,即使它们在空间中无限接近。Wasserstein 距离改用最小搬运距离衡量这种几何接近,但需相应矩条件,控制的信息也与事件概率最大差不同。

参考资料
  • David A. Levin, Yuval Peres, and Elizabeth L. Wilmer, Markov Chains and Mixing Times, 2nd ed., American Mathematical Society, 2017,§4.1, total variation distance。
  • Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Springer, 2021,probability measures and total variation。
关系图谱24 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系