核的特征映射 | Codeboy's Blog

形式陈述

正半定核 $k$ 的特征映射是从输入集合到某个实Hilbert 空间 $\mathcal F$ 的映射 $\phi:\mathcal X\to\mathcal F$ ，满足

k(x,z)=\langle\phi(x),\phi(z)\rangle_{\mathcal F}.

这样的表示立即推出所有 Gram 矩阵半正定。反过来，每个 PSD 核都有特征映射：由再生性质可取 canonical map

\phi_{\mathrm{can}}(x)=k_x=k(\cdot,x)\in\mathcal H_k,

因为 $\langle k_x,k_z\rangle_{\mathcal H_k}=k(x,z)$ 。

一般特征映射不唯一。可对 $\phi$ 施加线性等距映射、把它嵌入更大的空间并补零坐标，或用 $(\phi(x)/\sqrt2,\phi(x)/\sqrt2)$ 重复一份缩放后的坐标；这些等距表示都不改变核。只有当闭线性包 $\overline{\operatorname{span}}\phi(\mathcal X)=\mathcal F$ 时称表示为最小，两个最小表示才在保持所有 $\phi(x)$ 的线性等距同构意义下唯一。canonical map 是由对应 RKHS 指定的一种最小表示，不把所有可能的 $\phi$ 变成同一坐标表。

直觉

特征映射把“核相似度”还原为普通内积，因此核的几何可以用长度、角度和正交投影理解。关键收益不是神秘地升维，而是允许选择最适合分析或计算的表示：有限维多项式核可显式列坐标，无限维核则可只保留内积接口。

这与核技巧形成对照。特征映射是一个数学表示；核技巧是算法层面的替换规则，只有当算法确实只依赖特征内积时，才可用 $k(x,z)$ 避免显式构造 $\phi(x)$ 。有特征映射并不自动使任意算法可核化。

例子与边界

在 $\mathbb R$ 上取二次多项式核 $k(x,z)=(1+xz)^2$ 。显式映射

\phi(x)=(1,\sqrt2\,x,x^2)\in\mathbb R^3

满足 $\langle\phi(x),\phi(z)\rangle=1+2xz+x^2z^2$ 。对输入 $(0,1,2)$ ，可复算

K=\begin{pmatrix}1&1&1\\1&4&9\\1&9&25\end{pmatrix};

例如第二、三行交叉项为 $\phi(1)^\top\phi(2)=9$ ，且 $\det K=8>0$ 。把每个 $\phi(x)$ 旋转，或改成 $(\phi(x),0)\in\mathbb R^4$ ，仍给完全相同的 Gram 矩阵，具体坐标显然不唯一。

若只给某个有限样本的 PSD 矩阵，可以分解 $K=BB^\top$ ，把第 $i$ 行当作这些样本的特征；这不自动规定新点 $x$ 应映到哪里。要做样本外预测，必须有定义在整个输入域上的核或一致的扩展规则。

高斯 RBF 核的精确特征空间通常为无限维。有限随机特征只是近似，其 Gram 误差依赖采样数和概率保证；不能把近似坐标的内积与原核静默视为相等。反之，显式特征维数较小且稀疏时，直接在线性空间计算常比构造稠密的 $m\times m$ Gram 矩阵更省。

推论与应用

核距离可写为

\|\phi(x)-\phi(z)\|_{\mathcal F}^2 =k(x,x)+k(z,z)-2k(x,z),

所以聚类、最近邻或异常检测可以在特征空间解释。该式必须非负也是检查候选核的必要结果；出现负值意味着核或数值近似破坏了 PSD。

算法能否仅凭 Gram 矩阵运行，取决于其目标、约束和输出是否都能改写为内积。核岭回归、SVM 和 kernel PCA 满足这一结构；需要逐坐标稀疏性、输入空间梯度或可解释原始系数的步骤通常不能无损地只保留核值。

参考资料

Bernhard Schölkopf and Alexander J. Smola, Learning with Kernels, MIT Press, 2002, Secs. 2.1–2.2.
Vern I. Paulsen and Mrinal Raghupathi, An Introduction to the Theory of Reproducing Kernel Hilbert Spaces, Cambridge University Press, 2016, Ch. 3.
John Shawe-Taylor and Nello Cristianini, Kernel Methods for Pattern Analysis, Cambridge University Press, 2004, Ch. 3.

形式陈述 ​

反向链接

形式陈述