再生核 Hilbert 空间 | Codeboy's Blog

形式陈述

定义在非空集合 $\mathcal X$ 上的实值函数Hilbert 空间 $\mathcal H$ ，若每个点值泛函 $E_x:f\mapsto f(x)$ 都连续，就称为再生核 Hilbert 空间。由Riesz 表示定理，每个 $x$ 有唯一 $k_x\in\mathcal H$ 使 $f(x)=\langle f,k_x\rangle_{\mathcal H}$ ；令 $k(x,z)=\langle k_z,k_x\rangle_{\mathcal H}$ ，便得到再生核。

反方向是 Moore–Aronszajn 定理：每个正半定核 $k$ 都决定一个 RKHS $\mathcal H_k$ 。先在有限线性组合

f=\sum_{i=1}^{m}\alpha_i k(\,\cdot\,,x_i)

上定义

\left\langle\sum_i\alpha_i k_{x_i},\sum_j\beta_j k_{z_j}\right\rangle =\sum_{i,j}\alpha_i\beta_j k(x_i,z_j),

若从形式线性组合出发，先对零范数子空间取商。半正定形式的Cauchy–Schwarz 不等式给出 $|f(x)|^2\le\|f\|^2k(x,x)$ ，所以零范数向量在每一点取值都为零；反之，若 $f$ 处处为零，则 $\|f\|^2=\sum_i\alpha_i f(x_i)=0$ 。这个对应保证内积不依赖表示同一函数的系数。

再将所得内积空间完备化。Cauchy 序列在每一点都有唯一确定的极限，上述点值界随极限保留。若完成后的一个向量在每一点取值都为零，它就与所有核截面正交；这些截面的线性包稠密，故该向量也为零。因此完成后的元素仍可忠实地看作函数。

所得空间以 $k$ 为再生核；任何另一个以同一 $k$ 为再生核的 Hilbert 函数空间，都与它存在保持每个核截面和函数点值的线性等距同构。这是适当同构意义的唯一性，不是说坐标表示唯一。

直觉

普通 Hilbert 空间只控制抽象范数，RKHS 还要求“在某一点读取函数值”是稳定操作。连续性意味着范数很小的函数不能在固定点突然爆炸；代表这个读取动作的向量正是 $k_x=k(\cdot,x)$ 。于是函数值、内积和核矩阵成为同一几何的三种观察方式。

Gram 矩阵奇异时，不同系数向量可以表示同一函数。若以系数记录为起点，取商正是识别这些重复表示；若一开始就在实际函数的线性包上工作，这项识别已经包含在“相同函数是同一元素”的约定中。完备化则加入有限核截面组合的极限，保证 Cauchy 序列仍落在空间中。

例子与边界

在两点集合 $\mathcal X=\{a,b\}$ 上取

K=\begin{pmatrix}1&\rho\\ \rho&1\end{pmatrix},\qquad |\rho|\le1.

若 $f=\alpha k_a+\beta k_b$ ，则

(f(a),f(b))^\top=K(\alpha,\beta)^\top,\qquad \|f\|_{\mathcal H_k}^2=(\alpha,\beta)K(\alpha,\beta)^\top .

取 $\rho=1/2$ 、 $(\alpha,\beta)=(1,-1)$ ，可复算 $f(a)=1/2$ 、 $f(b)=-1/2$ 且 $\|f\|^2=1$ 。取边界值 $\rho=1$ 时两列相同， $(1,0)$ 与 $(0,1)$ 都表示同一个函数；空间只含满足 $f(a)=f(b)$ 的一维函数族。系数不唯一与 RKHS 本身按同构唯一并不冲突。

例如，Lebesgue 测度下的 $L^2([0,1])$ 不是以通常点值为评价的 RKHS：其元素是几乎处处等价类，单点值未定义，修改一个点也不改变范数。离散计数测度下的 $\ell^2$ 则不同，每个坐标评价都有界，核为 $k(i,j)=\mathbf1\{i=j\}$ 。连续函数空间配某个范数也未必是 RKHS；关键是每个点值泛函对该范数有界。反之，RKHS 不要求 $\sup_x k(x,x)<\infty$ ，所以逐点连续不自动给全域统一的点值界。

Mercer 定理在紧致空间、连续核和相应有限测度等条件下给积分算子的特征展开；这些条件有利于谱表示，却不是 Moore–Aronszajn 存在定理的前提。离散集合、非紧域或没有预先选定测度时，RKHS 仍可由 PSD 核直接构造。

连续正核的 Mercer 展开与正迹公式给出这条谱表示的完整证明：先将本页的 RKHS 包含到 $L^2$ ，证明其紧性和单射性，再用右奇异基逐点展开核截面。有限全支撑测度把连续点值与等价类相连，随后才得到对角积分等于正谱总和及加权截断误差。

推论与应用

有限样本只通过核截面张成的子空间影响许多正则化问题，Hilbert 正交分解因此导向表示定理。范数也把光滑性或结构偏好编码进优化目标：换核就换了函数空间几何，即使训练数据和损失不变。

核对角线控制逐点评价： $\|E_x\|=\|k_x\|=\sqrt{k(x,x)}$ 。若核有界，经验过程、核均值嵌入和稳定性分析可获得统一界；若无界，则必须对输入分布和可积性另加条件。RKHS 是组织这些论证的空间，不能由“用了 Gram 矩阵”自动推断所有统计结论。

参考资料

Nachman Aronszajn, “Theory of Reproducing Kernels,” Transactions of the American Mathematical Society 68(3), 1950, pp. 337–404, doi:10.2307/1990404，§I.1–2，印刷页 343–344：公开扫描。
Vern I. Paulsen and Mrinal Raghupathi, An Introduction to the Theory of Reproducing Kernel Hilbert Spaces, Cambridge University Press, 2016, Chs. 2–3.
Alain Berlinet and Christine Thomas-Agnan, Reproducing Kernel Hilbert Spaces in Probability and Statistics, Kluwer, 2004, Chs. 1–2.

形式陈述 ​

反向链接

形式陈述