形式陈述
对存在核均值的分布 P , Q ,最大均值差异定义为 RKHS 单位球上的积分概率度量:
MMD k ( P , Q ) = sup ‖ f ‖ H k ≤ 1 | E P f ( X ) − E Q f ( Y ) | = ‖ μ P − μ Q ‖ H k , 其中最后等式来自核均值嵌入 理路 核均值嵌入 kernel mean embedding · KME · mean element in RKHS 把概率分布映入 RKHS 的均值元素,并明确 Bochner 可积性与经验估计。 。总体平方量展开为
MMD k 2 ( P , Q ) = E k ( X , X ′ ) + E k ( Y , Y ′ ) − 2 E k ( X , Y ) , X , X ′ 同分布于 P ,Y , Y ′ 同分布于 Q ,四者相互独立。
若核 characteristic,则 μ P = μ Q 当且仅当 P = Q ,MMD 才是概率分布上的度量;一般 PSD 核只给伪度量。总体 MMD、有限样本估计量和由估计量校准的假设检验,是三个必须分开的对象。
直觉
MMD 寻找 RKHS 单位球中最能拉开两分布期望的见证函数。令 h = μ P − μ Q 。Cauchy–Schwarz 不等式 理路 Cauchy–Schwarz 不等式 Cauchy–Schwarz inequality · 柯西–施瓦茨不等式 内积的绝对值不超过两向量范数之积,且等号精确刻画线性相关。 给出 | ⟨ f , h ⟩ | ≤ ‖ h ‖ ;若 h ≠ 0 ,取 f = h / ‖ h ‖ 达到上界,若 h = 0 ,每个函数的期望差都为零。由此,上确界精确化成核均值的距离。核选择决定允许什么见证函数,也就决定哪些差异更醒目。
总体 P = Q 时 MMD 精确为零;两组独立有限样本的经验均值通常不同,所以样本 MMD 不会自动为零。检验的任务正是判断观察到的偏离是否超过同分布抽样波动。
例子与边界
令 m , n ≥ 1 ,两组样本分别 IID 来自 P , Q ,且组间独立。为同时讨论下列估计量的有限期望,假定 E k ( X , X ) 与 E k ( Y , Y ) 有限。biased V-statistic 是
MMD ^ b 2 = 1 m 2 ∑ i , j k ( X i , X j ) + 1 n 2 ∑ i , j k ( Y i , Y j ) − 2 m n ∑ i , j k ( X i , Y j ) . 它恰为 ‖ μ ^ P − μ ^ Q ‖ 2 ,所以总非负。其期望比总体平方 MMD 多出
E ‖ k X − μ P ‖ 2 m + E ‖ k Y − μ Q ‖ 2 n , 因此通常向上有偏;若两个特征随机变量都几乎必然为常量,偏差也可为零。unbiased U-statistic 则是
MMD ^ u 2 = 1 m ( m − 1 ) ∑ i ≠ j k ( X i , X j ) + 1 n ( n − 1 ) ∑ i ≠ j k ( Y i , Y j ) − 2 m n ∑ i , j k ( X i , Y j ) , 要求 m , n ≥ 2 ;它对总体平方 MMD 无偏,却可取负值。
用两点集合上的 delta 核 k ( x , z ) = 1 { x = z } ,取两组完全相同的样本 X = ( a , b ) 、Y = ( a , b ) 。V-statistic 为 0;每组的非对角核和均为 0,跨组四项中两项为 1,所以 U-statistic 为 − 1 。负数不是“距离为负”,只是无偏估计的有限样本波动。
再设真实 P = Q 都在 { a , b } 上均匀,却抽到 X = ( a , a ) 、Y = ( a , b ) 。经验嵌入分别是 k a 与 ( k a + k b ) / 2 ,biased MMD 平方为
‖ 1 2 k a − 1 2 k b ‖ 2 = 1 2 , 明确反驳“只要 P = Q ,样本 MMD 就必为零”。另一方面,线性核只比较普通均值;均值相同但分布不同可有总体 MMD 为零,说明 characteristic 条件不可省略。
推论与应用
两样本检验可在 H 0 : P = Q 下合并数据并反复置换标签,重算同一统计量以获得有限样本的置换零分布;其有效性依赖零假设下可交换性。也可用渐近零分布:若总体中心化核对 P × P 平方可积,且 m / ( m + n ) → ρ ∈ ( 0 , 1 ) ,则 H 0 下的 ( m + n ) MMD ^ u 2 收敛到相应的加权中心化卡方和。这里的退化统计量、尺度和样本比例都与备择下的普通正态近似不同。
拒绝阈值、核及带宽应在保持检验水平的方案中选择。样本量有限时,characteristic 只保证总体可辨识,不保证对所有备择都有高功效。MMD 也用于生成模型训练和分布漂移监测,但数据依赖调参、时间依赖和重复报警会改变原有检验校准。
共享样本与一阶投影的入口
一般的二阶U统计量与一阶投影 理路 二阶 U 统计量与一阶投影 Order-two U-statistic and Hoeffding projection · 二阶U统计量 · Hoeffding一阶投影 把所有成对核值的平均分解为单观测投影和退化余项,精确计算共享样本造成的方差,并区分根号样本量正态与退化尺度。 解释:共享一个输入的核值为什么相关,一阶投影非零时为何出现根号样本量正态,而一阶投影为零时需重新确定尺度。它可以直接用于一个等样本量的配对版本:当 m = n = r ≥ 2 ,令 Z i = ( X i , Y i ) ,这些对来自 P × Q 且彼此IID,定义对称核
h ( Z i , Z j ) = k ( X i , X j ) + k ( Y i , Y j ) − k ( X i , Y j ) − k ( X j , Y i ) . E h ( Z i , Z j ) = MMD k 2 ( P , Q ) ,因此平均所有 i < j 给出另一个无偏估计量。它的跨组项只取 i ≠ j ,不同于本页原估计量包含全部 r 2 个跨组项;两者不能逐样本当作相同数值。有限二阶核矩下,前者可直接用一样本投影,原全跨项版本则需两样本投影分析。
在 P = Q 下,对固定 z = ( x , y ) ,记 m P ( x ) = E P k ( x , X ) 。上述核的条件期望为 m P ( x ) + m P ( y ) − m P ( x ) − m P ( y ) = 0 ,所以配对版本一阶退化。这一计算展示退化的机制,不替代前文全跨项版本的零分布与检验校准,也不删去其不等样本量能力。
参考资料
Arthur Gretton, Karsten Borgwardt, Malte Rasch, Bernhard Schölkopf, and Alex Smola, “A Kernel Method for the Two-Sample-Problem,” Advances in Neural Information Processing Systems 19 , 2007, pp. 513–520.
Arthur Gretton, Karsten M. Borgwardt, Malte J. Rasch, Bernhard Schölkopf, and Alexander Smola, “A Kernel Two-Sample Test” , Journal of Machine Learning Research 13, 2012, pp. 723–773,Lemma 6、Theorem 12 与 Appendix B.1。
Bharath K. Sriperumbudur, Arthur Gretton, Kenji Fukumizu, Bernhard Schölkopf, and Gert R. G. Lanckriet, “Hilbert Space Embeddings and Metrics on Probability Measures,” Journal of Machine Learning Research 11, 2010, pp. 1517–1561.