正半定核 | Codeboy's Blog

形式陈述

设 $\mathcal X$ 为非空集合。这里的“核”专指对称二元函数 $k:\mathcal X\times\mathcal X\to\mathbb R$ ；它不是概率转移核、卷积核、算子零空间或证明论中的 kernel。若对任意 $m\ge 1$ 、任意点 $x_1,\ldots,x_m\in\mathcal X$ （允许重复）及任意 $c\in\mathbb R^m$ ，都有

\sum_{i,j=1}^{m}c_i c_j k(x_i,x_j)=c^\top Kc\ge 0, \qquad K_{ij}=k(x_i,x_j),

则称 $k$ 为正半定核。也就是说，每个有限 Gram 矩阵 $K$ 都是实对称半正定矩阵。

有些文献把同一条件简称 positive definite kernel；这不意味着每个 Gram 矩阵严格正定。严格正定还要求对互异点和非零 $c$ 有严格不等式，是更强性质。定义只依赖有限二次型，不要求 $\mathcal X$ 有拓扑、测度或有限维坐标，也不预先要求 Mercer 展开。

直觉

Gram 条件说： $k(x,z)$ 能一致地充当某个内积空间中两点表示的内积。任取系数后， $c^\top Kc$ 将成为向量和 $\sum_i c_i\phi(x_i)$ 的范数平方，所以不可能为负。反过来，所有有限 Gram 矩阵都半正定，正是构造这种 Hilbert 空间表示所需的一致性。

因此“相似度大”不是充分条件。一个对角元很大、数值看似合理的相似度表，仍可能在某个线性组合方向给负能量。对称性也不够：它只保证实特征值，不能保证特征值非负。核条件要对所有样本规模和所有取点成立，而不是只检查当前训练集。

例子与边界

取 $\mathcal X=\mathbb R$ 与 $k(x,z)=1+xz$ 。在点 $(-1,0,2)$ 上，

K=\begin{pmatrix}2&1&-1\\1&1&1\\-1&1&5\end{pmatrix} =\mathbf 1\mathbf 1^\top+xx^\top .

故对 $c=(c_1,c_2,c_3)^\top$ ，

c^\top Kc=(c_1+c_2+c_3)^2+(-c_1+2c_3)^2\ge0.

这是可直接复算的 PSD 证据；三个点只映到二维向量 $(1,x)$ ，所以 $K$ 至多秩二，不能由“核”二字误推为严格正定。

反例是 $s(x,z)=1-xz$ 。在点 $(0,2)$ 上 Gram 矩阵为

\begin{pmatrix}1&1\\1&-3\end{pmatrix},

其行列式为 $-4$ ；取 $c=(1,-1)$ 更直接得到 $c^\top Kc=-4$ 。它虽然对称，也可被口语称为相似度，却不是正半定核。

非负加权和、逐点乘积和点态极限（极限存在且有限）保持 PSD；任意实系数相减则不保持。仅在一个数据集上把负特征值截为零，只修复了该矩阵，并未自动定义出对整个 $\mathcal X$ 有效的核。

推论与应用

PSD 条件使 Gram 矩阵可以进入核岭回归、最大间隔优化和核主成分分析，而不必先写出坐标。它还通过 Moore–Aronszajn 构造产生唯一的再生核 Hilbert 空间；“存在 RKHS”依赖此有限 Gram 条件，不依赖紧致域上的 Mercer 积分算子假设。

核的 PSD 性、普适性和 characteristic 性是三件事。PSD 只保证 Hilbert 表示；普适性讨论函数逼近稠密性；characteristic 性讨论概率分布嵌入是否单射。高斯核在常见域上可同时拥有后两种更强性质，但不能把这种实例结论写回 PSD 定义。

参考资料

Nachman Aronszajn, “Theory of Reproducing Kernels,” Transactions of the American Mathematical Society 68(3), 1950, pp. 337–404, doi:10.2307/1990404.
Vern I. Paulsen and Mrinal Raghupathi, An Introduction to the Theory of Reproducing Kernel Hilbert Spaces, Cambridge University Press, 2016, Chs. 2–3.
Bernhard Schölkopf and Alexander J. Smola, Learning with Kernels, MIT Press, 2002, Secs. 2.1–2.2.

形式陈述 ​

反向链接

形式陈述