形式陈述
两个分布的概率质量只是略微移动时,如何让距离也略微变化?Wasserstein 距离把状态空间本身的几何距离带入分布比较。
设 为非空度量空间公理库度量空间Metric space用满足正定性、对称性与三角不等式的实值距离刻画点间远近的空间。,其拓扑为 Polish,且 。这里指定的 是搬运成本的一部分;相同 Polish 拓扑可由不同距离产生,它们未必给出相同的矩条件或 。记 为满足 的 Borel 概率测度;这个条件与基点 的选择无关。定义
其中可行计划来自Kantorovich 输运公理库Kantorovich 输运问题Kantorovich transport problem在指定边缘的联合分布上最小化搬运成本,允许拆分质量并利用弱紧性保证最优计划存在。。在 上,最优计划存在、距离有限, 满足非负性、对称性、分离性与三角不等式。
例如在实线上,通常距离 与 产生相同 Polish 拓扑,但 分别为 与 。后者有界,还使每份概率测度都具有有限的 阶距离矩。因此拓扑相同不等于搬运几何相同。
“Earth mover distance”(搬土距离)通常指以地面距离为成本的 ,本页则用下标 明确区分不同幂次的 Wasserstein 距离。
直觉
计算平均要搬多远, 更重地惩罚长距离搬运。最后开 次方使单位恢复为距离,也是三角不等式所需要的形式。
三角不等式不能只把两个最优计划直接相加。对 与 的两份最优计划,先用测度析取公理库测度析取定理Disintegration theorem · Disintegration of measures · 测度分解定理把标准 Borel 空间上的联合测度分解为边缘测度与沿纤维变化的条件概率核。写成 与 。Polish 空间的 Borel 结构满足该定理的标准 Borel 条件。再定义三元联合律 ,就同时保留了两份指定的二元边缘。对这份共同律使用 与Minkowski 不等式公理库Minkowski 不等式Minkowski inequality$L^p$ 范数满足三角不等式。,得到 。两个右侧距离随机变量均有有限 阶矩,正是所需的积分条件。
若 ,最优计划只能集中在 ,因而两边缘相等。有限 阶矩则通过独立耦合与 保证成本有限。
例子与边界
对两个点质量,唯一耦合将整份质量从 搬到 ,所以 。在实线上,;但只要 ,两者总变差距离仍为最大值。Wasserstein 看得见两点在几何上接近。
对
单调计划搬运四分之一质量距离 、四分之一质量距离 、剩下二分之一质量距离 。由一维单调计划的最优性公理库一维单调输运Monotone rearrangement transport · Quantile transport按累计质量的相同分位数配对,以消除交叉证明一维凸距离成本的最优性。,
所以 ,不能把平方成本 直接称为 。
弱收敛未必控制远处少量质量。令 ,则 弱收敛到 ,但 ,没有趋零。在 Polish 空间中, 等价于弱收敛加相对某一基点的 阶矩收敛。
在 时一般不是度量。取点质量 ,平方成本从 到 为 ,大于两段平方成本之和 ,直接违反三角不等式。
推论与应用
一维的 可以通过分位数配对公理库一维单调输运Monotone rearrangement transport · Quantile transport按累计质量的相同分位数配对,以消除交叉证明一维凸距离成本的最优性。显式计算,多维则一般需要输运优化。 还允许把整个分布沿位移插值公理库位移插值Displacement interpolation · W2 displacement interpolation沿最优耦合直线移动每份质量,在 W2 空间中生成恒速测地线。连续搬动,形成概率测度空间的几何,而非只给一个相似度分数。
参考资料