最大均值差异 | Codeboy's Blog

形式陈述

对存在核均值的分布 $P,Q$ ，最大均值差异定义为 RKHS 单位球上的积分概率度量：

\operatorname{MMD}_k(P,Q) =\sup_{\|f\|_{\mathcal H_k}\le1} \left|\mathbb E_Pf(X)-\mathbb E_Qf(Y)\right| =\|\mu_P-\mu_Q\|_{\mathcal H_k},

其中最后等式来自核均值嵌入。总体平方量展开为

\operatorname{MMD}_k^2(P,Q) =\mathbb E k(X,X')+\mathbb E k(Y,Y')-2\mathbb E k(X,Y),

$X,X'$ 独立同分布于 $P$ ， $Y,Y'$ 独立同分布于 $Q$ 。

若核 characteristic，则 $\mu_P=\mu_Q$ 当且仅当 $P=Q$ ，MMD 才是概率分布上的度量；一般 PSD 核只给伪度量。总体 MMD、有限样本估计量和由估计量校准的假设检验，是三个必须分开的对象。

直觉

MMD 寻找 RKHS 单位球中最能拉开两分布期望的见证函数。Riesz 几何说明最优方向平行于 $\mu_P-\mu_Q$ ，因此无限个测试函数的上确界化成一个向量距离。核选择决定允许什么见证函数，也就决定哪些差异更醒目。

总体 $P=Q$ 时 MMD 精确为零；两组独立有限样本的经验均值通常不同，所以样本 MMD 不会自动为零。检验的任务正是判断观察到的偏离是否超过同分布抽样波动。

例子与边界

给定 $X_1,\ldots,X_m$ 与 $Y_1,\ldots,Y_n$ ，biased V-statistic 是

\widehat{\operatorname{MMD}}_{b}^{\,2} =\frac1{m^2}\sum_{i,j}k(X_i,X_j) +\frac1{n^2}\sum_{i,j}k(Y_i,Y_j) -\frac2{mn}\sum_{i,j}k(X_i,Y_j).

它恰为 $\|\widehat\mu_P-\widehat\mu_Q\|^2$ ，所以总非负，但因包含对角项而有偏。unbiased U-statistic 则是

\widehat{\operatorname{MMD}}_{u}^{\,2} =\frac1{m(m-1)}\sum_{i\ne j}k(X_i,X_j) +\frac1{n(n-1)}\sum_{i\ne j}k(Y_i,Y_j) -\frac2{mn}\sum_{i,j}k(X_i,Y_j),

要求 $m,n\ge2$ ；它对总体平方 MMD 无偏，却可取负值。

用两点集合上的 delta 核 $k(x,z)=\mathbf1\{x=z\}$ ，取两组完全相同的样本 $X=(a,b)$ 、 $Y=(a,b)$ 。V-statistic 为 0；每组的非对角核和均为 0，跨组四项中两项为 1，所以 U-statistic 为 $-1$ 。负数不是“距离为负”，只是无偏估计的有限样本波动。

再设真实 $P=Q$ 都在 $\{a,b\}$ 上均匀，却抽到 $X=(a,a)$ 、 $Y=(a,b)$ 。经验嵌入分别是 $k_a$ 与 $(k_a+k_b)/2$ ，biased MMD 平方为

\left\|\frac12k_a-\frac12k_b\right\|^2=\frac12,

明确反驳“只要 $P=Q$ ，样本 MMD 就必为零”。另一方面，线性核只比较普通均值；均值相同但分布不同可有总体 MMD 为零，说明 characteristic 条件不可省略。

推论与应用

两样本检验可在 $H_0:P=Q$ 下合并数据并反复置换标签，重算同一统计量以获得有限样本的置换零分布；其有效性依赖零假设下可交换性。也可用渐近零分布，但 $H_0$ 下 U-statistic 退化，极限通常是加权中心化卡方和，不能套用备择下的普通正态近似。

拒绝阈值、核及带宽应在保持检验水平的方案中选择。样本量有限时，characteristic 只保证总体可辨识，不保证对所有备择都有高功效。MMD 也用于生成模型训练和分布漂移监测，但数据依赖调参、时间依赖和重复报警会改变原有检验校准。

参考资料

Arthur Gretton, Karsten Borgwardt, Malte Rasch, Bernhard Schölkopf, and Alex Smola, “A Kernel Method for the Two-Sample-Problem,” Advances in Neural Information Processing Systems 19, 2007, pp. 513–520.
Arthur Gretton, Karsten M. Borgwardt, Malte J. Rasch, Bernhard Schölkopf, and Alexander Smola, “A Kernel Two-Sample Test,” Journal of Machine Learning Research 13, 2012, pp. 723–773.
Bharath K. Sriperumbudur, Arthur Gretton, Kenji Fukumizu, Bernhard Schölkopf, and Gert R. G. Lanckriet, “Hilbert Space Embeddings and Metrics on Probability Measures,” Journal of Machine Learning Research 11, 2010, pp. 1517–1561.

形式陈述 ​

形式陈述