Skip to content

定义Definition

Wasserstein 距离

施工中 · 内容逐步修订

Wasserstein distance

用最小平均搬运距离定义概率测度的度量,并用矩条件说明它比弱收敛多控制什么。

形式陈述 ​

两个分布的概率质量只是略微移动时,如何让距离也略微变化?Wasserstein 距离把状态空间本身的几何距离带入分布比较。

设 (E,d) 为非空度量空间,其拓扑为 Polish,且 1≤p<∞。这里指定的 d 是搬运成本的一部分;相同 Polish 拓扑可由不同距离产生,它们未必给出相同的矩条件或 Wp。记 Pp(E) 为满足 ∫d(x,x0)pdμ(x)<∞ 的 Borel 概率测度;这个条件与基点 x0 的选择无关。定义

Wp(μ,ν)=(infπ∈Π(μ,ν)∫d(x,y)pdπ(x,y))1/p.

其中可行计划来自Kantorovich 输运。在 Pp(E) 上,最优计划存在、距离有限,Wp 满足非负性、对称性、分离性与三角不等式。

例如在实线上,通常距离 d(x,y)=|x−y| 与 ρ=d/(1+d) 产生相同 Polish 拓扑,但 W1(δ0,δ2) 分别为 2 与 2/3。后者有界,还使每份概率测度都具有有限的 p 阶距离矩。因此拓扑相同不等于搬运几何相同。

“Earth mover distance”(搬土距离)通常指以地面距离为成本的 W1,本页则用下标 p 明确区分不同幂次的 Wasserstein 距离。

直觉

W1 计算平均要搬多远,p>1 更重地惩罚长距离搬运。最后开 p 次方使单位恢复为距离,也是三角不等式所需要的形式。

三角不等式不能只把两个最优计划直接相加。对 X,Y 与 Y,Z 的两份最优计划,先用测度析取写成 ν(dy)K(y,dx) 与 ν(dy)L(y,dz)。Polish 空间的 Borel 结构满足该定理的标准 Borel 条件。再定义三元联合律 ν(dy)K(y,dx)L(y,dz),就同时保留了两份指定的二元边缘。对这份共同律使用 d(X,Z)≤d(X,Y)+d(Y,Z) 与Minkowski 不等式,得到 Wp(μ,η)≤Wp(μ,ν)+Wp(ν,η)。两个右侧距离随机变量均有有限 p 阶矩,正是所需的积分条件。

若 Wp=0,最优计划只能集中在 x=y,因而两边缘相等。有限 p 阶矩则通过独立耦合与 d(x,y)p≤2p−1(d(x,x0)p+d(y,x0)p) 保证成本有限。

证明:弱收敛加矩收敛的完整刻画 ​

固定基点 o,记 g(x)=d(x,o)p。若 Wp(μn,μ)→0,对最优耦合和闭集 F 有

μn(F)≤μ{y:d(y,F)≤δ}+δ−pWp(μn,μ)p.

先令 n→∞,再令 δ↓0;闭性使右侧第一项趋于 μ(F)。Portmanteau 定理于是给出弱收敛。另一方面,三角不等式给出

|(∫gdμn)1/p−(∫gdμ)1/p|=|Wp(μn,δo)−Wp(μ,δo)|≤Wp(μn,μ),

故矩也收敛。

反过来,设弱收敛和 ∫gdμn→∫gdμ<∞ 同时成立。由于 g∧M 有界连续,

∫(g−M)+dμn⟶∫(g−M)+dμ.

右端由控制收敛定理随 M↑∞ 趋零,因为 (g−M)+≤g∈L1(μ);结合有限个初始 n 的可积性,以及 g1g>2M≤2(g−M)+,得到包含 μ 在内的共同尾控制

τ(M):=supλ∈{μ,μ1,μ2,…}∫g>Mgdλ⟶0.

下面构造低成本耦合,避免假设 d-闭球紧或 d 本身完备。Polish 空间上的概率测度紧,这是紧性定理的基本输入。给定 η,δ>0,选紧集 K 使 μ(K)>1−η。以有限个半径小于 δ 的开球覆盖 K,并使每个球的边界为 μ-零集:每个中心至多有可数个半径的球面带正质量,所以可稍微选择半径。按顺序作差形成不交的 Borel 块 A1,…,Ak,各直径小于 2δ;剩余块 A0 的质量小于 η,所有块都是 μ-连续集。因此 ani=μn(Ai)→ai=μ(Ai)。

在每个 i≥1 的块内,以质量 mni=min(ani,ai) 耦合两侧按比例缩小的限制测度:正质量时可用归一化的乘积测度,零质量时略去。剩余两侧测度质量相同,为 ρn=1−∑i≥1mni→μ(A0)<η;再用乘积除以 ρn 耦合残余,若 ρn=0 则无需此项。块内总成本至多 (2δ)p。每个残余边缘 σ≤λ 满足 ∫gdσ≤τ(M)+Mρn,所以残余成本至多 2p(τ(M)+Mρn)。于是

lim supnWp(μn,μ)p≤(2δ)p+2p(τ(M)+Mη).

先选 M 控制尾部,再选 η,最后选 δ,右侧可任意小。这完成了原指定距离的一般证明。

例子与边界

对两个点质量,唯一耦合将整份质量从 x 搬到 y,所以 Wp(δx,δy)=d(x,y)。在实线上,Wp(δ0,δε)=|ε|→0;但只要 ε≠0,两者总变差距离仍为最大值。Wasserstein 看得见两点在几何上接近。

对

μ=12δ0+12δ2,ν=14δ1+34δ3,

单调计划搬运四分之一质量距离 1、四分之一质量距离 3、剩下二分之一质量距离 1。由一维单调计划的最优性,

W1=14+34+12=32,W22=14+94+12=3.

所以 W2=3,不能把平方成本 3 直接称为 W2。

弱收敛未必控制远处少量质量。令 μn=(1−1/n)δ0+(1/n)δn1/p,则 μn 弱收敛到 δ0,但 Wp(μn,δ0)p=(1/n)n=1,没有趋零。在 Polish 空间中,Wp(μn,μ)→0 等价于弱收敛加相对某一基点的 p 阶矩收敛。

Wpp 在 p>1 时一般不是度量。取点质量 δ0,δ1,δ2,平方成本从 0 到 2 为 4,大于两段平方成本之和 1+1,直接违反三角不等式。

推论与应用

一维的 Wp 可以通过分位数配对显式计算,多维则一般需要输运优化。W2 还允许把整个分布沿位移插值连续搬动,形成概率测度空间的几何,而非只给一个相似度分数。

参考资料
关系图谱25 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系