核技巧

显式特征方法先生成坐标再做点积，核技巧则直接询问“这两个隐式向量的点积是多少”。它像只保留几何量的接口：若后续计算只需要角度和长度，就没有必要保存坐标。对无限维特征空间，这让有限样本算法仍能用有限 Gram 矩阵运行。

与特征映射公理库核的特征映射kernel feature map · feature space representation · 核特征空间把正半定核表示为 Hilbert 特征空间中的内积，并区分一般与 canonical 映射。的对照必须保持双向：特征映射回答核代表哪种 Hilbert 几何，核技巧回答某个算法能否只通过这份几何计算。知道 $\varphi$ 不代表必须核化；当显式维数 $d\ll m$ 时，直接做 $d$ 维线性代数可能更便宜。

在 ${\mathbb{R}}^2$ 上取 $k(x,z)=(1+x^{\mathrm{\top }}z{)}^2$，训练点 $x_1=(1,0)$、$x_2=(0,1)$。无需列出二次单项式，便可复算

对查询 $z=(1,1)$，核向量为 $(4,4{)}^{\mathrm{\top }}$。若某个已推导出的特征空间线性预测器有系数 $\alpha =(1,-1)$，则

而训练点得分为 $K\alpha =(3,-3{)}^{\mathrm{\top }}$。这些数值与显式展开 $(1,\sqrt{2}{x}_1,\sqrt{2}{x}_2,x_1^2,\sqrt{2}{x}_1{x}_2,x_2^2)$ 的点积完全相同。

若算法要求删掉“第七个特征”、对坐标施加 ${\ell }_1$ 稀疏惩罚或直接输出原始坐标权重，这些操作并非仅由内积决定，不能无损核化。输入梯度有时可由可微核求出，但那是额外结构，不是通用核技巧。

核化也不自动更快。存储稠密 Gram 矩阵需 $O(m^2)$ 空间，直接分解常达 $O(m^3)$ 时间；查询还可能需要对许多训练点求核值。大样本下，显式线性方法、Nyström 或随机特征近似可能更合适，但近似误差必须单独计入。

SVM 的对偶、核岭回归的有限线性系统和 kernel PCA 的中心化特征协方差，都能改写为 Gram 矩阵问题。它们共享替换原则，却有不同的正则化、归一化和样本外公式；“都用了核”不能替代各自推导。

若 Gram 矩阵因浮点误差出现微小负特征值，数值算法可能仍需对称化或稳定化；若有显著负方向，则应检查核定义，而不是把不定相似度当 Hilbert 内积。对不定核另有 Kreĭn 空间方法，但那已经超出这里的核技巧前提。