总变差距离

形式陈述 ​

设 $\mu ,\nu$ 是同一可测空间 $(S,\mathcal{S})$ 上的概率测度。本库约定总变差距离为

$$\Vert \mu -\nu {\Vert }_{\mathrm{TV}}=\underset{A\in \mathcal{S}}{sup}|\mu (A)-\nu (A)|.$$

它的取值属于 $[0,1]$。在有限或可数状态空间中，若 $\mu (x),\nu (x)$ 是概率质量函数，则

$$\Vert \mu -\nu {\Vert }_{\mathrm{TV}}=\frac{1}{2}\sum _{x\in S}|\mu (x)-\nu (x)|=1-\sum _{x\in S}min\{\mu (x),\nu (x)\}.$$

若两者对同一测度有密度 $f,g$，相应公式为 $\frac{1}{2}\int |f-g|$。更一般的对偶表示是

$$\Vert \mu -\nu {\Vert }_{\mathrm{TV}}=\frac{1}{2}\underset{\Vert h{\Vert }_{\mathrm{\infty }}\le 1}{sup}|\int hd\mu -\int hd\nu |.$$

有些文献把右侧不带 $1/2$ 的测度范数称为 total variation norm；本库始终使用上述概率距离约定。

直觉 ​

任选一个只输出“是/否”的事件测试 $A$，观察样本是否落在 $A$ 中。两分布对这个测试给出的“是”概率可能不同；总变差距离就是最佳测试能制造的最大差距。因此距离很小意味着对所有可测事件，两分布给出的概率都接近，而不是只在均值或少数统计量上相似。

离散公式还能看成搬运前的重叠质量：$\sum _{x}min(\mu (x),\nu (x))$ 是两边可以直接配对的共同部分，剩余部分就是必须不同的概率质量。这个图像自然连接耦合法公理库耦合法Coupling method · Probability coupling在共同概率空间中构造具有指定边缘的随机变量，并用它们相遇的概率比较分布。。

例子与边界 ​

对 Bernoulli$(p)$ 与 Bernoulli$(q)$，两点空间上的差异为

$$\frac{1}{2}(|p-q|+|(1-p)-(1-q)|)=|p-q|.$$

最优事件可取 $\{1\}$ 或 $\{0\}$。若两个分布支撑互不相交，则选取其中一个支撑便得到距离 $1$；若距离为零，则它们在所有可测集上一致，因而是同一概率测度。

连续分布不必有密度，总变差仍由可测事件的上确界定义。总变差也比弱收敛强：点质量 ${\delta }_{1/n}$ 弱收敛到 ${\delta }_0$，但对每个 $n$，两者支撑不同且总变差距离为 $1$。另一方面，只比较期望并不能控制总变差；两个分布可能均值相同，形状却完全不同。

推论与应用 ​

对任意耦合 $(X,Y)$，都有

$$\Vert \mathcal{L}(X)-\mathcal{L}(Y){\Vert }_{\mathrm{TV}}\le \mathbb{P}(X\ne Y),$$

且存在最大耦合达到等号。这个关系把分布比较转成共同概率空间中的相遇问题。

混合时间公理库混合时间Mixing time · Markov chain mixing timeMarkov 链从最坏初态接近平稳分布到指定总变差精度所需的步数。用总变差衡量 Markov 链从最坏初态到平稳分布的距离；统计检验和信息论安全也用它描述无界计算观察者的区分能力。计算安全中的“优势”通常还受算法资源限制，不能与信息论总变差无条件等同。

参考资料

• David A. Levin, Yuval Peres, and Elizabeth L. Wilmer, Markov Chains and Mixing Times, 2nd ed., American Mathematical Society, 2017，§4.1, total variation distance。
• Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Springer, 2021，probability measures and total variation。