Skip to content

核均值嵌入

kernel mean embedding · KME · mean element in RKHS

把概率分布映入 RKHS 的均值元素,并明确 Bochner 可积性与经验估计。

条目类型
定义

形式陈述

PX 上的概率分布k 的 RKHS 为 Hk。若映射 xkx=k(,x) 强可测且 Bochner 可积,即

kxHkdP(x)=k(x,x)dP(x)<,

P 的核均值嵌入定义为

μP=kxdP(x)Hk.

有界核 supxk(x,x)κ2 是常用充分条件,但不是唯一条件。由再生性质及 Bochner 积分的连续线性泛函交换,

f,μPHk=f(x)dP(x)=EPf(X),

这把期望表示为一个 Hilbert 内积。

IID 样本 X1,,XmP 的经验嵌入是

μ^P=1mi=1mkXi.

它是 RKHS 值随机变量的样本均值,不是固定的“真实分布向量”。若 Ek(X,X)<,则

Eμ^PμP2=1m(Ek(X,X)μP2).
直觉

普通均值只测试线性坐标;核均值同时保存 RKHS 中所有测试函数的期望,因为对每个 f,只需与 μP 做内积。核越丰富,可读取的分布特征越丰富。这个“丰富”必须由 characteristic 等正式性质表达,不能由无限维或非线性等形容词替代。

经验嵌入是把每个样本的 canonical feature kXi 做向量平均。其计算只需核内积,范数和两个经验均值的距离都可写成 Gram 求和;但有限样本波动不会因用了 RKHS 而消失。

例子与边界

X={a,b} 上取

K=(11/21/21),P(a)=3/4,P(b)=1/4.

于是

μP=34ka+14kb,μP2=916+116+2341412=1316.

样本 (a,a,b,a) 的经验频率恰为 (3/4,1/4),所以本次 μ^P=μP。取 f=kakb,有 f(a)=1/2,f(b)=1/2,故 EPf=1/4;直接算 f,μP 也得 1/4,可复核再生期望公式。

这次经验值相等只是样本频率碰巧匹配,不是一般无误差结论。若核为常数 k(x,z)=1,则所有 P 都映到同一个函数 μP=1;嵌入存在,却完全不能区分分布。单射性需要 characteristic 核。

对无界核,k(x,x)dP 可能发散,形式积分不一定是 Hk 元素。例如多项式核要求相应矩存在。还需可测性与通常的可分值域条件来使用 Bochner 积分;仅逐点写 Ek(,X) 不能绕过这些分析前提。

推论与应用

两个分布均值之差的 RKHS 范数产生 maximum mean discrepancy;经验版本只需三组核和。条件嵌入、核协方差算子和分布回归在此基础上继续加入条件化或算子结构,但都需要额外可逆性与正则化。

若核有界,Hilbert 值均值可用集中不等式得到 OP(m1/2) 误差。这个速率不说明下游检验在所有备择下同样有功效;核带宽会决定哪些分布差异在有限样本中容易看见。

参考资料
  • Alex Smola, Arthur Gretton, Le Song, and Bernhard Schölkopf, “A Hilbert Space Embedding for Distributions,” Proceedings of ALT, 2007, pp. 13–31, doi:10.1007/978-3-540-75225-7_5.
  • Krikamol Muandet, Kenji Fukumizu, Bharath Sriperumbudur, and Bernhard Schölkopf, “Kernel Mean Embedding of Distributions: A Review and Beyond,” Foundations and Trends in Machine Learning 10(1–2), 2017, pp. 1–141, doi:10.1561/2200000060.
  • Bharath K. Sriperumbudur, Arthur Gretton, Kenji Fukumizu, Bernhard Schölkopf, and Gert R. G. Lanckriet, “Hilbert Space Embeddings and Metrics on Probability Measures,” Journal of Machine Learning Research 11, 2010, pp. 1517–1561.
关系图谱9 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系

使用的工具