Skip to content

再生性质

reproducing property · 再生公式 · evaluation reproducing identity

用核截面与函数的内积精确恢复点值,并量化点值泛函的范数。

条目类型
原则

形式陈述

再生核 Hilbert 空间 Hk 中,对每个 xX,核截面 kx=k(,x) 属于 Hk,并且

f(x)=f,kxHk(fHk).

这就是再生性质:内积“再生”函数的点值。令 f=ky 又得到

k(x,y)=ky,kxHk,kxHk2=k(x,x).

点值泛函 Ex 的算子范数恰为 k(x,x)。上界来自 Cauchy–Schwarz:

|f(x)|fHkk(x,x);

k(x,x)>0 时取 f=kx/kx 达到等号。对两个核截面再用同一不等式可得

|k(x,y)|2k(x,x)k(y,y).
直觉

在欧氏空间里,坐标读取是与基向量做内积;再生性质把这个事实推广到可能无限维的函数空间。kx 是“读取位置 x”的代表向量。算法只要能计算核内积,就能读取由核截面组合成的函数,而无需展示整个无限维坐标。

这里有两个层次不能混淆:RKHS 是带范数和完备性的函数空间,再生性质是该空间中点值由内积表示的恒等式。一个抽象 Hilbert 空间未必由函数组成;一个函数 Hilbert 空间若点值不连续,也不会有这样的 kx

例子与边界

X={a,b} 上令

K=(2113),f=kakb.

按 Gram 乘法,(f(a),f(b))=K(1,1)=(1,2),且

fHk2=(1,1)K(1,1)=3.

代表点 b 的截面系数为 (0,1),所以

f,kb=(1,1)K(0,1)=2=f(b),

可逐项复算再生公式。点值界给 |f(b)|33=3,也与数值一致。

k(x,x)=0,核 Cauchy–Schwarz 迫使 k(x,y)=0 对所有 y 成立,继而所有 fHk 都有 f(x)=0。因此零对角并不是“该点没有自相似度但仍可任意预测”的自由情形,而是整个空间在该点被钉为零。

再生是逐点陈述。即便每个 Ex 都有界,若 supxk(x,x)=,也不存在对所有 x 共用的点值常数。导数评价 ff(x) 是否连续还需核的额外可微性;不能从函数值再生直接推出任意导数也可再生。

推论与应用

映射 xkx 给出 canonical feature map,因为其内积就是 k(x,y)。表示定理则利用核截面张成空间与其正交补:正交补在所有训练点取值为零,却增加或不减 RKHS 范数,因而可从最优解中删去。

对概率分布积分 kX 得到核均值时,再生公式把 f,EkX 变成 Ef(X);这一步还需 Bochner 可积性,不能只靠形式交换。点值界同样是核学习中稳定性和泛化估计的入口,但若核无界,相关期望与集中界需要另行验证。

参考资料
  • Nachman Aronszajn, “Theory of Reproducing Kernels,” Transactions of the American Mathematical Society 68(3), 1950, pp. 337–404, doi:10.2307/1990404.
  • Vern I. Paulsen and Mrinal Raghupathi, An Introduction to the Theory of Reproducing Kernel Hilbert Spaces, Cambridge University Press, 2016, Secs. 2.1–2.3.
  • Alain Berlinet and Christine Thomas-Agnan, Reproducing Kernel Hilbert Spaces in Probability and Statistics, Kluwer, 2004, Sec. 1.1.
关系图谱10 个相邻概念 · 1 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组