再生核 Hilbert 空间 | Codeboy's Blog

形式陈述

定义在集合 $\mathcal X$ 上的实值函数 Hilbert 空间 $\mathcal H$ ，若每个点值泛函 $E_x:f\mapsto f(x)$ 都连续，就称为再生核 Hilbert 空间。由 Riesz 表示定理，每个 $x$ 有唯一 $k_x\in\mathcal H$ 使 $f(x)=\langle f,k_x\rangle_{\mathcal H}$ ；令 $k(x,z)=\langle k_z,k_x\rangle_{\mathcal H}$ ，便得到再生核。

反方向是 Moore–Aronszajn 定理：每个正半定核 $k$ 都决定一个 RKHS $\mathcal H_k$ 。先在有限线性组合

f=\sum_{i=1}^{m}\alpha_i k(\,\cdot\,,x_i)

上定义

\left\langle\sum_i\alpha_i k_{x_i},\sum_j\beta_j k_{z_j}\right\rangle =\sum_{i,j}\alpha_i\beta_j k(x_i,z_j),

把零范数组合识别为同一函数，再完备化。所得空间以 $k$ 为再生核；任何另一个以同一 $k$ 为再生核的 Hilbert 函数空间，都与它存在保持每个核截面和函数点值的酉同构。这是适当同构意义的唯一性，不是说坐标表示唯一。

直觉

普通 Hilbert 空间只控制抽象范数，RKHS 还要求“在某一点读取函数值”是稳定操作。连续性意味着范数很小的函数不能在固定点突然爆炸；代表这个读取动作的向量正是 $k_x=k(\cdot,x)$ 。于是函数值、内积和核矩阵成为同一几何的三种观察方式。

构造中的商空间步骤不可省略。若 Gram 矩阵奇异，不同系数向量可以表示同一函数；RKHS 保存函数和其最小几何范数，而不是强行把每组系数当不同对象。完备化则加入有限核截面组合的极限，保证 Cauchy 序列仍落在空间中。

例子与边界

在两点集合 $\mathcal X=\{a,b\}$ 上取

K=\begin{pmatrix}1&\rho\\ \rho&1\end{pmatrix},\qquad |\rho|\le1.

若 $f=\alpha k_a+\beta k_b$ ，则

(f(a),f(b))^\top=K(\alpha,\beta)^\top,\qquad \|f\|_{\mathcal H_k}^2=(\alpha,\beta)K(\alpha,\beta)^\top .

取 $\rho=1/2$ 、 $(\alpha,\beta)=(1,-1)$ ，可复算 $f(a)=1/2$ 、 $f(b)=-1/2$ 且 $\|f\|^2=1$ 。取边界值 $\rho=1$ 时两列相同， $(1,0)$ 与 $(0,1)$ 都表示同一个函数；空间只含满足 $f(a)=f(b)$ 的一维函数族。系数不唯一与 RKHS 本身按同构唯一并不冲突。

一般的 $L^2$ 空间不是 RKHS：其元素是几乎处处等价类，单点值甚至未定义，修改一个点也不改变范数。连续函数空间配某个范数也未必是 RKHS；关键是每个点值泛函对该范数有界。反之，RKHS 不要求 $\sup_x k(x,x)<\infty$ ，所以逐点连续不自动给全域统一的点值界。

Mercer 定理在紧致空间、连续核和相应有限测度等条件下给积分算子的特征展开；这些条件有利于谱表示，却不是 Moore–Aronszajn 存在定理的前提。离散集合、非紧域或没有预先选定测度时，RKHS 仍可由 PSD 核直接构造。

推论与应用

有限样本只通过核截面张成的子空间影响许多正则化问题，Hilbert 正交分解因此导向表示定理。范数也把光滑性或结构偏好编码进优化目标：换核就换了函数空间几何，即使训练数据和损失不变。

核对角线控制逐点评价： $\|E_x\|=\|k_x\|=\sqrt{k(x,x)}$ 。若核有界，经验过程、核均值嵌入和稳定性分析可获得统一界；若无界，则必须对输入分布和可积性另加条件。RKHS 是组织这些论证的空间，不能由“用了 Gram 矩阵”自动推断所有统计结论。

参考资料

Nachman Aronszajn, “Theory of Reproducing Kernels,” Transactions of the American Mathematical Society 68(3), 1950, pp. 337–404, doi:10.2307/1990404.
Vern I. Paulsen and Mrinal Raghupathi, An Introduction to the Theory of Reproducing Kernel Hilbert Spaces, Cambridge University Press, 2016, Chs. 2–3.
Alain Berlinet and Christine Thomas-Agnan, Reproducing Kernel Hilbert Spaces in Probability and Statistics, Kluwer, 2004, Chs. 1–2.

形式陈述 ​

反向链接

形式陈述