“对存在核均值的分布 $P,Q$,最大均值差异定义为 RKHS 单位球上的积分概率度量: $$ \operatorname{MMD}k(P,Q) =\sup{ f {\mathcal H k}…”
形式陈述 ​
令
则
有界核
这把期望公理库期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分,概括加权平均与总体质量平衡。表示为一个 Hilbert 内积。
IID 样本
它是 RKHS 值随机变量的样本均值,不是固定的“真实分布向量”。若
直觉
普通均值只测试线性坐标;核均值同时保存 RKHS 中所有测试函数的期望,因为对每个
经验嵌入是把每个样本的 canonical feature
例子与边界
在
于是
样本
这次经验值相等只是样本频率碰巧匹配,不是一般无误差结论。若核为常数
对无界核,
推论与应用
两个分布均值之差的 RKHS 范数产生 maximum mean discrepancy;经验版本只需三组核和。条件嵌入、核协方差算子和分布回归在此基础上继续加入条件化或算子结构,但都需要额外可逆性与正则化。
若核有界,Hilbert 值均值可用集中不等式得到
参考资料
- Alex Smola, Arthur Gretton, Le Song, and Bernhard Schölkopf, “A Hilbert Space Embedding for Distributions,” Proceedings of ALT, 2007, pp. 13–31, doi:10.1007/978-3-540-75225-7_5.
- Krikamol Muandet, Kenji Fukumizu, Bharath Sriperumbudur, and Bernhard Schölkopf, “Kernel Mean Embedding of Distributions: A Review and Beyond,” Foundations and Trends in Machine Learning 10(1–2), 2017, pp. 1–141, doi:10.1561/2200000060.
- Bharath K. Sriperumbudur, Arthur Gretton, Kenji Fukumizu, Bernhard Schölkopf, and Gert R. G. Lanckriet, “Hilbert Space Embeddings and Metrics on Probability Measures,” Journal of Machine Learning Research 11, 2010, pp. 1517–1561.