Skip to content

定义Definition

Wasserstein 距离

Wasserstein distance

用最小平均搬运距离定义概率测度的度量,并用矩条件说明它比弱收敛多控制什么。

形式陈述 ​

两个分布的概率质量只是略微移动时,如何让距离也略微变化?Wasserstein 距离把状态空间本身的几何距离带入分布比较。

设 (E,d) 为非空度量空间,其拓扑为 Polish,且 1≤p<∞。这里指定的 d 是搬运成本的一部分;相同 Polish 拓扑可由不同距离产生,它们未必给出相同的矩条件或 Wp。记 Pp(E) 为满足 ∫d(x,x0)pdμ(x)<∞ 的 Borel 概率测度;这个条件与基点 x0 的选择无关。定义

Wp(μ,ν)=(infπ∈Π(μ,ν)∫d(x,y)pdπ(x,y))1/p.

其中可行计划来自Kantorovich 输运。在 Pp(E) 上,最优计划存在、距离有限,Wp 满足非负性、对称性、分离性与三角不等式。

例如在实线上,通常距离 d(x,y)=|x−y| 与 ρ=d/(1+d) 产生相同 Polish 拓扑,但 W1(δ0,δ2) 分别为 2 与 2/3。后者有界,还使每份概率测度都具有有限的 p 阶距离矩。因此拓扑相同不等于搬运几何相同。

“Earth mover distance”(搬土距离)通常指以地面距离为成本的 W1,本页则用下标 p 明确区分不同幂次的 Wasserstein 距离。

直觉

W1 计算平均要搬多远,p>1 更重地惩罚长距离搬运。最后开 p 次方使单位恢复为距离,也是三角不等式所需要的形式。

三角不等式不能只把两个最优计划直接相加。对 X,Y 与 Y,Z 的两份最优计划,先用测度析取写成 ν(dy)K(y,dx) 与 ν(dy)L(y,dz)。Polish 空间的 Borel 结构满足该定理的标准 Borel 条件。再定义三元联合律 ν(dy)K(y,dx)L(y,dz),就同时保留了两份指定的二元边缘。对这份共同律使用 d(X,Z)≤d(X,Y)+d(Y,Z) 与Minkowski 不等式,得到 Wp(μ,η)≤Wp(μ,ν)+Wp(ν,η)。两个右侧距离随机变量均有有限 p 阶矩,正是所需的积分条件。

若 Wp=0,最优计划只能集中在 x=y,因而两边缘相等。有限 p 阶矩则通过独立耦合与 d(x,y)p≤2p−1(d(x,x0)p+d(y,x0)p) 保证成本有限。

例子与边界

对两个点质量,唯一耦合将整份质量从 x 搬到 y,所以 Wp(δx,δy)=d(x,y)。在实线上,Wp(δ0,δε)=|ε|→0;但只要 ε≠0,两者总变差距离仍为最大值。Wasserstein 看得见两点在几何上接近。

对

μ=12δ0+12δ2,ν=14δ1+34δ3,

单调计划搬运四分之一质量距离 1、四分之一质量距离 3、剩下二分之一质量距离 1。由一维单调计划的最优性,

W1=14+34+12=32,W22=14+94+12=3.

所以 W2=3,不能把平方成本 3 直接称为 W2。

弱收敛未必控制远处少量质量。令 μn=(1−1/n)δ0+(1/n)δn1/p,则 μn 弱收敛到 δ0,但 Wp(μn,δ0)p=(1/n)n=1,没有趋零。在 Polish 空间中,Wp(μn,μ)→0 等价于弱收敛加相对某一基点的 p 阶矩收敛。

Wpp 在 p>1 时一般不是度量。取点质量 δ0,δ1,δ2,平方成本从 0 到 2 为 4,大于两段平方成本之和 1+1,直接违反三角不等式。

推论与应用

一维的 Wp 可以通过分位数配对显式计算,多维则一般需要输运优化。W2 还允许把整个分布沿位移插值连续搬动,形成概率测度空间的几何,而非只给一个相似度分数。

参考资料
关系图谱15 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系