Gaussian RBF 核

$\sigma$ 决定多远的点仍显著相似：距离等于 $\sigma$ 时核值为 $e^{-1/2}$。小 $\sigma$（大 $\gamma$）使每个样本只影响很局部的邻域，对固定的互异样本，Gram 矩阵趋近单位阵；大 $\sigma$（小 $\gamma$）使许多点几乎相同，Gram 矩阵趋近全一矩阵。这两端分别容易得到过局部的拟合与近乎常数的表示。

核值总在 $(0,1]$ 且 $k(x,x)=1$，但这只固定特征向量长度。它不说明最佳带宽、分类 margin 或分布可辨识的有限样本精度；这些性质还依赖数据尺度、正则化和样本量。

在一维点 $(0,1,2)$ 上取 $\gamma =\log 2$，等价于 $\sigma =1/\sqrt{2\log 2}$。距离 1 的核值为 $1/2$，距离 2 的核值为 $1/16$，故

其一阶主子式为 1，前两阶行列式为 $3/4$，全行列式为

这个三点 Gram 矩阵因而可直接复算为严格正定。

若把 $\gamma$ 增到无穷，对互异训练点有 $K\to I$，核模型几乎把每点当孤岛；若令 $\gamma \downarrow 0$，则 $K\to \mathbf{1}{\mathbf{1}}^{\mathrm{\top }}$，只能保留近常数方向。标准化输入会改变所有平方距离，所以带宽选择必须在最终预处理流水线上完成。

把公式中的欧氏距离换成任意“距离”不保证 PSD。精确的全参数结论是：对称实值函数 $D(x,z)$ 满足 $D(x,x)=0$ 时，$\exp (-\gamma D(x,z))$ 对每个 $\gamma >0$ 都 PSD，当且仅当 $D$ 条件负定，即对任意有限点列及满足 $\sum _i{c}_i=0$ 的实系数， $\sum _{i,j}{c}_i{c}_{j}D(x_i,x_j)\le 0$。用于距离替换时取 $D=d^2$；只检查某一个 $\gamma$ 的 Gram 矩阵不足以给出这个全参数结论。缺失值临时填充、类别编码和各向异性尺度也都会改变几何，不能靠 RBF 名称消除建模选择。

对固定 $d\ge 1$、$\gamma >0$，Gaussian 核在 ${\mathbb{R}}^d$ 上是 $c_0$-universal：其 RKHS 在无穷远消失的连续函数空间 $C_0({\mathbb{R}}^d)$ 中按上确界范数稠密；限制到任意紧子集 $K$，则在 $C(K)$ 中一致稠密。它也对全部 Borel 概率分布 characteristic，即不同分布有不同核均值。这两项分别是函数逼近和分布可辨识结论，均强于 PSD。对应的 Gaussian MMD 因而在这些概率分布上是真度量。

RBF 可用于 KRR、SVM、kernel PCA 和核均值嵌入。算法间可共享 Gram 计算，但中心化、正则化和估计量不同。大样本时矩阵成本可促使随机 Fourier 特征或 Nyström 近似；近似维数是新的精度参数，不应与 $\sigma$ 混为一谈。