多项式核 | Codeboy's Blog

形式陈述

在 $d\ge1$ 维实欧氏内积空间 $\mathbb R^d$ 上，多项式核通常写成

k(x,z)=(\gamma\,x^\top z+c)^p,

其中 $\gamma\ge0$ 、 $c\ge0$ ，次数 $p$ 是非负整数；学习中通常取正整数。若允许 $p=0$ ，本页把核直接约定为 $k\equiv1$ ，而不依赖可能出现的 $0^0$ 。当 $p>0$ 且 $\gamma>0$ 时， $c=0$ 给齐次 $p$ 次核， $c>0$ 则同时包含次数 $0$ 到 $p$ 的项；当 $p>0$ 且 $\gamma=0$ 时，核退化为常数 $c^p$ 。只要这些条件成立，它就是正半定核。

PSD 可由闭包性质直接证明：线性核 $\gamma x^\top z$ 与常数核 $c$ 都 PSD，二者之和仍 PSD，整数次幂是 $p$ 个核的逐点乘积，也仍 PSD。等价地，多项式展开给一个有限维特征映射，其坐标是经过 multinomial 系数缩放的单项式。这里的整数条件不是排版习惯，而是保证全域实值与 PSD 构造的关键。

直觉

线性模型在多项式特征空间中可以表达坐标交互和弯曲边界，而核值一次性算出所有单项式内积。次数 $p$ 控制最高交互阶， $c$ 控制低阶项是否出现， $\gamma$ 则与输入尺度共同决定各阶项的相对权重。

多项式核仍是有限维表示。固定 $d,p$ 时，它并不会产生任意复杂函数；次数升高会迅速扩大特征数并放大数值尺度。把“非线性”理解为无限表达能力，会掩盖模型空间仍是有限次数多项式这一边界。

例子与边界

在一维取 $k(x,z)=(1+xz)^3$ 。显式映射为

\phi(x)=(1,\sqrt3\,x,\sqrt3\,x^2,x^3),

因为其内积为 $1+3xz+3x^2z^2+x^3z^3$ 。对点 $(-1,0,1)$ ，Gram 矩阵是

K=\begin{pmatrix} 8&1&0\\ 1&1&1\\ 0&1&8 \end{pmatrix},

其一阶主子式为 8，前两阶行列式为 7，全行列式为 $48>0$ ，可直接核验 PSD。这里 $k(-1,1)=0$ 并不表示两个输入在原空间正交，而是对应的四维多项式特征正交。

若允许 $c<0$ ，PSD 会立刻失败：取 $p=1,\gamma=1,c=-1$ 与单点 $x=0$ ，Gram 矩阵只有元素 $k(0,0)=-1$ 。若 $p$ 非整数，底数可能为负而使核在实数域无定义；即便限制到正底数，也不能沿用整数乘积证明并自动宣称 PSD。

高次核对输入缩放非常敏感。例如把 $x$ 放大十倍，最高次内积项放大约 $10^{2p}$ ，Gram 条件数可能恶化。数据归一化、 $\gamma$ 与 $c$ 必须作为一个几何规范共同选择，不能只搜索次数。

推论与应用

多项式核可直接用于 KRR、SVM 和 kernel PCA，算法看到的是 Gram 矩阵，分析者仍可借显式单项式解释交互。齐次核只包含恰好 $p$ 次项；非齐次核包含低阶项，因此两者即使次数相同也有不同的假设空间。

固定次数的多项式核通常不在无限连续域上 universal，也不自动 characteristic；这些性质不能由 PSD 推出。在有限数据上 Gram 矩阵严格正定也不改变全局函数空间有限维这一事实。需要局部、无限阶表达时，可考虑 Gaussian 等核，但那是不同的建模选择。

参考资料

Bernhard Schölkopf and Alexander J. Smola, Learning with Kernels, MIT Press, 2002, Secs. 2.1–2.3.
John Shawe-Taylor and Nello Cristianini, Kernel Methods for Pattern Analysis, Cambridge University Press, 2004, Sec. 3.2.
Vern I. Paulsen and Mrinal Raghupathi, An Introduction to the Theory of Reproducing Kernel Hilbert Spaces, Cambridge University Press, 2016, Sec. 3.3.

形式陈述 ​

反向链接

形式陈述