Gaussian RBF 核 | Codeboy's Blog

形式陈述

在 $\mathbb R^d$ 上，Gaussian RBF 核定义为

k_\gamma(x,z)=\exp\!\left(-\gamma\|x-z\|_2^2\right) =\exp\!\left(-\frac{\|x-z\|_2^2}{2\sigma^2}\right),

其中 $\gamma>0$ 、 $\sigma>0$ ，本页固定 convention

\gamma=\frac{1}{2\sigma^2}.

不同软件若把 $\gamma$ 写成 $1/\sigma^2$ ，同一个数值便对应不同带宽，必须查明而不能只报“RBF 参数”。

Gaussian RBF 是正半定核的严格实例。可由 Gaussian 的非负 Fourier 谱结合 Bochner 定理证明平移不变核的 PSD，也可把各坐标的一维级数特征相乘构造特征映射。 $\gamma=0$ 的极限是常数核，仍 PSD 但不再是有限带宽的 Gaussian RBF，也不严格正定于互异点。

直觉

$\sigma$ 决定多远的点仍显著相似：距离等于 $\sigma$ 时核值为 $e^{-1/2}$ 。小 $\sigma$ （大 $\gamma$ ）使每个样本只影响很局部的邻域，Gram 矩阵趋近单位阵；大 $\sigma$ （小 $\gamma$ ）使许多点几乎相同，Gram 矩阵趋近全一矩阵。这两端分别容易得到过局部的拟合与近乎常数的表示。

核值总在 $(0,1]$ 且 $k(x,x)=1$ ，但这只固定特征向量长度。它不说明最佳带宽、分类 margin 或分布可辨识的有限样本精度；这些性质还依赖数据尺度、正则化和样本量。

例子与边界

在一维点 $(0,1,2)$ 上取 $\gamma=\log2$ ，等价于 $\sigma=1/\sqrt{2\log2}$ 。距离 1 的核值为 $1/2$ ，距离 2 的核值为 $1/16$ ，故

K=\begin{pmatrix} 1&1/2&1/16\\ 1/2&1&1/2\\ 1/16&1/2&1 \end{pmatrix}.

其一阶主子式为 1，前两阶行列式为 $3/4$ ，全行列式为

1-2(1/2)^2+2(1/2)^2(1/16)-(1/16)^2 =\frac{135}{256}>0.

这个三点 Gram 矩阵因而可直接复算为严格正定。

若把 $\gamma$ 增到无穷，对互异训练点有 $K\to I$ ，核模型几乎把每点当孤岛；若令 $\gamma\downarrow0$ ，则 $K\to\mathbf1\mathbf1^\top$ ，只能保留近常数方向。标准化输入会改变所有平方距离，所以带宽选择必须在最终预处理流水线上完成。

把公式中的欧氏距离换成任意“距离”不保证 PSD。更一般地，只有满足适当负型条件的平方距离才能安全地进入该指数构造。缺失值临时填充、类别编码和各向异性尺度也都会改变几何，不能靠 RBF 名称消除建模选择。

推论与应用

在 $\mathbb R^d$ 的常见条件下，Gaussian 核具有普适性和 characteristic 性，因此可用于函数逼近与分布区分；这两种性质都比 PSD 强，证明条件和结论不同。不能由“任意 PSD 核”推出 MMD 是概率分布上的度量。

RBF 可用于 KRR、SVM、kernel PCA 和核均值嵌入。算法间可共享 Gram 计算，但中心化、正则化和估计量不同。大样本时矩阵成本可促使随机 Fourier 特征或 Nyström 近似；近似维数是新的精度参数，不应与 $\sigma$ 混为一谈。

参考资料

I. J. Schoenberg, “Metric Spaces and Completely Monotone Functions,” Annals of Mathematics 39(4), 1938, pp. 811–841, doi:10.2307/1968466.
Ingo Steinwart, “On the Influence of the Kernel on the Consistency of Support Vector Machines,” Journal of Machine Learning Research 2, 2001, pp. 67–93.
Bharath K. Sriperumbudur, Kenji Fukumizu, and Gert R. G. Lanckriet, “Universality, Characteristic Kernels and RKHS Embedding of Measures,” Journal of Machine Learning Research 12, 2011, pp. 2389–2410.

形式陈述 ​

形式陈述