形式陈述
两个分布的概率质量只是略微移动时,如何让距离也略微变化?Wasserstein 距离把状态空间本身的几何距离带入分布比较。
设 为非空度量空间理路度量空间Metric space用满足正定性、对称性与三角不等式的实值距离刻画点间远近的空间。,其拓扑为 Polish,且 。这里指定的 是搬运成本的一部分;相同 Polish 拓扑可由不同距离产生,它们未必给出相同的矩条件或 。记 为满足 的 Borel 概率测度;这个条件与基点 的选择无关。定义
其中可行计划来自Kantorovich 输运理路Kantorovich 输运问题Kantorovich transport problem在指定边缘的联合分布上最小化搬运成本,允许拆分质量并利用弱紧性保证最优计划存在。。在 上,最优计划存在、距离有限, 满足非负性、对称性、分离性与三角不等式。
例如在实线上,通常距离 与 产生相同 Polish 拓扑,但 分别为 与 。后者有界,还使每份概率测度都具有有限的 阶距离矩。因此拓扑相同不等于搬运几何相同。
“Earth mover distance”(搬土距离)通常指以地面距离为成本的 ,本页则用下标 明确区分不同幂次的 Wasserstein 距离。
直觉
计算平均要搬多远, 更重地惩罚长距离搬运。最后开 次方使单位恢复为距离,也是三角不等式所需要的形式。
三角不等式不能只把两个最优计划直接相加。对 与 的两份最优计划,先用测度析取理路测度析取定理Disintegration theorem · Disintegration of measures · 测度分解定理把标准 Borel 空间上的联合测度分解为边缘测度与沿纤维变化的条件概率核。写成 与 。Polish 空间的 Borel 结构满足该定理的标准 Borel 条件。再定义三元联合律 ,就同时保留了两份指定的二元边缘。对这份共同律使用 与Minkowski 不等式理路Minkowski 不等式Minkowski inequality$L^p$ 范数满足三角不等式。,得到 。两个右侧距离随机变量均有有限 阶矩,正是所需的积分条件。
若 ,最优计划只能集中在 ,因而两边缘相等。有限 阶矩则通过独立耦合与 保证成本有限。
证明:弱收敛加矩收敛的完整刻画
固定基点 ,记 。若 ,对最优耦合和闭集 有
先令 ,再令 ;闭性使右侧第一项趋于 。Portmanteau 定理理路Portmanteau 定理Portmanteau theorem · Portmanteau lemma · 移植定理把概率测度的弱收敛等价改写为开闭集不等式、半连续函数不等式与连续集上的测度收敛。于是给出弱收敛。另一方面,三角不等式给出
故矩也收敛。
反过来,设弱收敛和 同时成立。由于 有界连续,
右端由控制收敛定理理路控制收敛定理Dominated convergence theorem几乎处处收敛且被同一可积函数控制时,可以交换极限与积分。随 趋零,因为 ;结合有限个初始 的可积性,以及
,得到包含 在内的共同尾控制
下面构造低成本耦合,避免假设 -闭球紧或 本身完备。Polish 空间上的概率测度紧,这是紧性定理理路Prokhorov 定理Prokhorov theorem · Prokhorov's theorem · 普罗霍罗夫定理在 Polish 空间上把概率测度族的一致紧性等价为弱拓扑中的相对紧性。的基本输入。给定 ,选紧集 使 。以有限个半径小于 的开球覆盖 ,并使每个球的边界为 -零集:每个中心至多有可数个半径的球面带正质量,所以可稍微选择半径。按顺序作差形成不交的 Borel 块 ,各直径小于 ;剩余块 的质量小于 ,所有块都是 -连续集。因此 。
在每个 的块内,以质量 耦合两侧按比例缩小的限制测度:正质量时可用归一化的乘积测度理路乘积测度Product measure在乘积 σ-代数上把可测矩形的测度规定为边测度乘积的测度。,零质量时略去。剩余两侧测度质量相同,为
;再用乘积除以 耦合残余,若 则无需此项。块内总成本至多 。每个残余边缘 满足
,所以残余成本至多 。于是
先选 控制尾部,再选 ,最后选 ,右侧可任意小。这完成了原指定距离的一般证明。
例子与边界
对两个点质量,唯一耦合将整份质量从 搬到 ,所以 。在实线上,;但只要 ,两者总变差距离仍为最大值。Wasserstein 看得见两点在几何上接近。
对
单调计划搬运四分之一质量距离 、四分之一质量距离 、剩下二分之一质量距离 。由一维单调计划的最优性理路一维单调输运Monotone rearrangement transport · Quantile transport按累计质量的相同分位数配对,以消除交叉证明一维凸距离成本的最优性。,
所以 ,不能把平方成本 直接称为 。
弱收敛未必控制远处少量质量。令 ,则 弱收敛到 ,但 ,没有趋零。在 Polish 空间中, 等价于弱收敛加相对某一基点的 阶矩收敛。
在 时一般不是度量。取点质量 ,平方成本从 到 为 ,大于两段平方成本之和 ,直接违反三角不等式。