总变差距离 | Codeboy's Blog

形式陈述

设 $\mu,\nu$ 是同一可测空间 $(S,\mathcal S)$ 上以概率测度表示的概率分布。本库约定总变差距离取所有可测事件差的上确界：

\|\mu-\nu\|_{\mathrm{TV}} =\sup_{A\in\mathcal S}|\mu(A)-\nu(A)|.

它的取值属于 $[0,1]$ 。在有限或可数状态空间中，若 $\mu(x),\nu(x)$ 是概率质量函数，则

\|\mu-\nu\|_{\mathrm{TV}} =\frac12\sum_{x\in S}|\mu(x)-\nu(x)| =1-\sum_{x\in S}\min\{\mu(x),\nu(x)\}.

若两者对同一测度有密度 $f,g$ ，相应公式为 $\frac12\int|f-g|$ 。更一般的对偶表示是

\|\mu-\nu\|_{\mathrm{TV}} =\frac12\sup_{\|h\|_\infty\le1} \left|\int h\,d\mu-\int h\,d\nu\right|.

有些文献把右侧不带 $1/2$ 的测度范数称为 total variation norm；本库始终使用上述概率距离约定。

直觉

任选一个只输出“是/否”的事件测试 $A$ ，观察样本是否落在 $A$ 中。两分布对这个测试给出的“是”概率可能不同；总变差距离就是最佳测试能制造的最大差距。因此距离很小意味着对所有可测事件，两分布给出的概率都接近，而不是只在均值或少数统计量上相似。

离散公式还能看成搬运前的重叠质量： $\sum_x\min(\mu(x),\nu(x))$ 是两边可以直接配对的共同部分，剩余部分就是必须不同的概率质量。这个图像自然连接耦合法。

例子与边界

对 Bernoulli $(p)$ 与 Bernoulli $(q)$ ，两点空间上的差异为

\frac12(|p-q|+|(1-p)-(1-q)|)=|p-q|.

最优事件可取 $\{1\}$ 或 $\{0\}$ 。若两个分布支撑互不相交，则选取其中一个支撑便得到距离 $1$ ；若距离为零，则它们在所有可测集上一致，因而是同一概率测度。

连续分布不必有密度，总变差仍由可测事件的上确界定义。总变差也比弱收敛强：点质量 $\delta_{1/n}$ 弱收敛到 $\delta_0$ ，但对每个 $n$ ，两者支撑不同且总变差距离为 $1$ 。另一方面，只比较期望并不能控制总变差；两个分布可能均值相同，形状却完全不同。

推论与应用

对任意耦合 $(X,Y)$ ，都有

\|\mathcal L(X)-\mathcal L(Y)\|_{\mathrm{TV}} \le \mathbb P(X\ne Y),

且存在最大耦合达到等号。这个关系把分布比较转成共同概率空间中的相遇问题。

混合时间用总变差衡量 Markov 链从最坏初态到平稳分布的距离；统计检验和信息论安全也用它描述无界计算观察者的区分能力。计算安全中的“优势”通常还受算法资源限制，不能与信息论总变差无条件等同。

参考资料

David A. Levin, Yuval Peres, and Elizabeth L. Wilmer, Markov Chains and Mixing Times, 2nd ed., American Mathematical Society, 2017，§4.1, total variation distance。
Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Springer, 2021，probability measures and total variation。