核岭回归 | Codeboy's Blog

形式陈述

给定 $m\ge1$ 个样本 $(x_i,y_i)_{i=1}^{m}$ 、核 $k$ 的RKHS $\mathcal H_k$ 与 $\lambda>0$ ，核岭回归是正则化经验风险最小化的平方损失、平方范数特例，固定采用目标

\min_{f\in\mathcal H_k} \frac1m\sum_{i=1}^{m}\bigl(f(x_i)-y_i\bigr)^2 +\lambda\|f\|_{\mathcal H_k}^2.

由表示定理可取 $f(\cdot)=\sum_i\alpha_i k(\cdot,x_i)$ 。令 $K_{ij}=k(x_i,x_j)$ 、 $y=(y_1,\ldots,y_m)^\top$ ，一个标准系数代表满足

(K+m\lambda I)\alpha=y, \qquad \widehat f(x)=k_X(x)^\top\alpha.

$m\lambda$ 来自经验损失前的 $1/m$ 。若把损失写成不除以 $m$ 的求和，系统才是 $(K+\lambda I)\alpha=y$ ；两种 convention 不能在同一 $\lambda$ 名下混用。

这个系统同时给出最优解存在性与函数唯一性。记 $\rho=m\lambda$ ，解出 $\alpha$ 并定义 $\widehat f=\sum_i\alpha_i k_{x_i}$ 。由 $K\alpha-y=-\rho\alpha$ 和再生性质，目标在 $\widehat f$ 处沿任意 $g\in\mathcal H_k$ 的一次项为零；因此

J(\widehat f+g)-J(\widehat f) =\frac1m\sum_i g(x_i)^2+\lambda\|g\|_{\mathcal H_k}^2.

右侧非负，且只在 $g=0$ 时为零。这样，有限系统确实产生唯一最优函数，而不需预先假定无限维问题已达到最小值。

若一次核求值成本为 $C_k$ ，构造训练 Gram 矩阵需 $O(m^2C_k)$ ；在稠密、单位成本标量运算模型下，对正定系统作 Cholesky 分解并求解需 $O(m^3)$ 算术工作与 $O(m^2)$ 数值存储。保存系数后，单个标量响应的查询需 $m$ 次核求值及 $O(m)$ 次加乘，即 $O(mC_k+m)$ ；训练输入的存储、核求值所需工作空间及数值精度成本另计。

直觉

正则化 Gram 系统解出系数，再把核截面加权成平滑预测 — 核岭回归的求解与核组合

平方损失希望训练预测 $K\alpha$ 靠近 $y$ ，RKHS 范数则惩罚在核几何中复杂的函数。对 Gram 特征方向 $Ku_j=\sigma_j u_j$ ，训练拟合为

\widehat y=K(K+m\lambda I)^{-1}y,

所以第 $j$ 个正特征方向乘上 $\sigma_j/(\sigma_j+m\lambda)$ 。小特征值方向被更强地压缩，零特征方向完全无法由这些核截面拟合。

正则项还让 $K+m\lambda I$ 严格正定，即使 $K$ 奇异也可解。这个数值事实不表示原始系数表示天然唯一：Gram 零空间中的系数表示零函数；公式只是选择了一个确定且方便计算的代表。

例子与边界

取两点的 Gram 矩阵与标签

K=\begin{pmatrix}1&1/2\\1/2&1\end{pmatrix}, \qquad y=\begin{pmatrix}1\\-1\end{pmatrix}, \qquad \lambda=\frac14,\quad m=2.

于是

K+m\lambda I =\begin{pmatrix}3/2&1/2\\1/2&3/2\end{pmatrix},

其逆为 $\frac12\begin{pmatrix}3/2&-1/2\\-1/2&3/2\end{pmatrix}$ ，故 $\alpha=(1,-1)^\top$ 。训练预测为 $K\alpha=(1/2,-1/2)^\top$ ；平均平方损失是 $1/4$ ，范数平方 $\alpha^\top K\alpha=1$ ，正则项也是 $1/4$ ，总目标为 $1/2$ 。零函数目标为 $1$ ，所以这一步可直接核验改进。

若 $\lambda=0$ ，系统可能不可逆，且当 $y$ 不在 $K$ 的像空间时不能插值；应使用最小二乘或伪逆并明确选择准则。若核本身不 PSD，目标中的“范数”解释失效，线性系统可有负曲率，不能只靠加一个小 jitter 宣称得到 KRR。

若另设未惩罚截距 $b$ ，同一 $1/m$ 损失 convention 下可取由以下方程选出的标准系数代表：

\begin{pmatrix}K+m\lambda I&\mathbf1\\ \mathbf1^\top&0\end{pmatrix} \begin{pmatrix}\alpha\\ b\end{pmatrix} =\begin{pmatrix}y\\0\end{pmatrix},

其中第二行即 $\mathbf1^\top\alpha=0$ ；也可用训练权重一致地中心化 $K$ 与 $y$ 后求核部分。把常数列直接塞进核会同时改变其惩罚方式。大样本下稠密系统的存储与求解是主要边界，迭代法或低秩近似会引入额外数值误差。

推论与应用

预测是训练响应的线性平滑器，帽子矩阵为 $S_\lambda=K(K+m\lambda I)^{-1}$ 。其迹常作为有效自由度，并可用于留一法或超参数选择推导；若同一数据用于反复选核与 $\lambda$ ，仍需把选择过程纳入验证。

有效自由度和噪声方差不是同一个迹

固定训练输入、核和 $\rho=m\lambda>0$ ，令 $S=K(K+\rho I)^{-1}$ 。现在把响应视为 $Y=\mu+\varepsilon$ ，其中 $\mu\in\mathbb R^m$ 是这些输入上的真实均值， $\mathbb E\varepsilon=0$ 、 $\operatorname{Cov}(\varepsilon)=\sigma^2I_m$ 。核和 $\rho$ 不依赖这些响应；若由独立资料预先确定，则先条件于那些冻结的信息。此处不要求 $\mu$ 必须能由有限核截面精确表示。

预测误差分为 $(S-I)\mu+S\varepsilon$ 。固定项与均值零项的交叉期望为零，故偏差—方差分解给出

\mathcal R_\rho:=\frac1m\mathbb E\|SY-\mu\|_2^2 =\frac{\|(I-S)\mu\|_2^2}{m} +\frac{\sigma^2}{m}\operatorname{tr}(S^2).

若 $K$ 的特征值为 $\nu_j\ge0$ ，记 $g_j=\nu_j/(\nu_j+\rho)$ ，则 $\operatorname{tr}(S)=\sum_jg_j$ ，而方差使用 $\operatorname{tr}(S^2)=\sum_jg_j^2$ 。因为 $0\le g_j<1$ ，有 $\operatorname{tr}(S^2)\le\operatorname{tr}(S)$ ；两者在非平凡 ridge 收缩下通常不相等，不能把有效自由度直接代入精确方差公式。

$\operatorname{tr}(S)$ 也有明确统计含义。当 $\sigma^2>0$ 时，

\frac1{\sigma^2}\sum_{i=1}^m\operatorname{Cov}((SY)_i,Y_i) =\operatorname{tr}(S).

所以它量的是拟合值对本次响应的总敏感度。训练残差的均方期望为

\frac1m\mathbb E\|Y-SY\|_2^2 =\frac{\|(I-S)\mu\|_2^2}{m} +\frac{\sigma^2}{m}\{m-2\operatorname{tr}(S)+\operatorname{tr}(S^2)\}.

若 $Y'=\mu+\varepsilon'$ 是相同设计上的独立新响应，且 $\mathbb E[\varepsilon']=0$ ，噪声协方差同为 $\sigma^2I_m$ ，则新响应风险是 $\mathcal R_\rho+\sigma^2$ 。它与训练残差均方期望之差恰为 $2\sigma^2\operatorname{tr}(S)/m$ 。因此两个迹分别出现在方差与平均训练乐观度中，承担不同工作。

沿用前面两点 Gram 矩阵及 $\rho=1/2$ ，其特征值为 $3/2,1/2$ ，所以 $g=(3/4,1/2)$ ， $\operatorname{tr}(S)=5/4$ 、 $\operatorname{tr}(S^2)=13/16$ 。这次把旧算例标签 $(1,-1)^{\mathsf T}$ 作为真实均值 $\mu$ ，围绕它重复抽取噪声，则

\mathcal R_\rho=\frac14+\frac{13\sigma^2}{32},\qquad \frac1m\mathbb E\|Y-SY\|_2^2=\frac14+\frac{5\sigma^2}{32}.

新响应风险为 $1/4+45\sigma^2/32$ 。其与训练值相差 $5\sigma^2/4$ ，正好等于上述自由度公式。这里的重复采样计算没有把旧页的确定性标签算例偷偷改成无噪声结论。

这些风险针对原设计上的均值或独立重复响应。预测新输入 $x_*$ 时要分析 $k_X(x_*)^{\mathsf T}(K+\rho I)^{-1}Y$ 的偏差和方差，再对目标输入分布平均；仅有训练 Gram 谱不能保证任意新分布上的同一数值风险。

留一公式要固定哪一个正则系数

对 $m\ge2$ ，先固定未归一化目标中的系数 $\rho>0$ ： $\sum_j(f(x_j)-y_j)^2+\rho\|f\|^2$ 。令

A_\rho=(K+\rho I)^{-1},\qquad \alpha_\rho=A_\rho y,\qquad S_\rho=K A_\rho.

在每个留一子问题中只删去一个平方损失、仍保留同一 $\rho$ ，块消元给出

y_i-\widehat f_{-i,\rho}(x_i) =\frac{(\alpha_\rho)_i}{(A_\rho)_{ii}} =\frac{y_i-(S_\rho y)_i}{1-(S_\rho)_{ii}}.

第二个等号来自 $I-S_\rho=\rho A_\rho$ ； $A_\rho$ 严格正定，故分母为正。一次分解即可取得全部这些留一残差。

本页原始平均损失用 $\rho=m\lambda$ 。若删点后改用 $1/(m-1)$ 的平均损失并保持数值 $\lambda$ 不变，则折内系数为 $\rho'=(m-1)\lambda$ ，应先用 $K+\rho'I$ 构造全样本辅助矩阵，再套上式；原先的 $S_\lambda=K(K+m\lambda I)^{-1}$ 不能直接使用。等价地，若坚持用原矩阵，就须把折内平均损失的系数改为 $m\lambda/(m-1)$ 。

例如 $K=\mathbf1\mathbf1^\top$ 、 $m=2$ 、 $y=(1,0)^\top$ 、 $\lambda=1/4$ 。原全样本拟合值均为 $2/5$ ，直接套原平滑器会给第二点的留一预测 $2/3$ 。但保持平均损失系数 $1/4$ 、只用第一点训练，常数函数的目标是 $(s-1)^2+s^2/4$ ，最优预测为 $4/5$ 。差别来自正则系数的归一化，不是核矩阵奇异。若每折还重新选核、带宽或正则参数，则须把这些步骤纳入完整验证流程。

GCV 把逐点杠杆换成平均杠杆

上面的固定 $\rho$ 留一公式保留了每个位置的杠杆 $S_{ii}$ 。记 $e=(I-S)y$ ，则

\operatorname{CV}_{\rm loo}(\rho) =\frac1m\sum_{i=1}^m\frac{e_i^2}{(1-S_{ii})^2}.

广义交叉验证（GCV）改用平均杠杆 $\operatorname{tr}(S)/m$ ：

\operatorname{GCV}(\rho) =\frac{\|(I-S)y\|_2^2/m}{\{1-\operatorname{tr}(S)/m\}^2}.

这里 $\rho>0$ ，且有限 PSD 矩阵的全部收缩因子小于一，故分母正。如果各个 $S_{ii}$ 相同，GCV 与这套固定惩罚的 LOO 恰好相等；不等杠杆时，这一步是替换，并非代数恒等式。

取 $m=2$ 、 $\rho=1$ 、 $K=\operatorname{diag}(9,1/9)$ 、 $y=(1,1)^{\mathsf T}$ 。则 $S=\operatorname{diag}(9/10,1/10)$ 、 $e=(1/10,9/10)^{\mathsf T}$ 。每个真实留一残差都等于一，故 $\operatorname{CV}_{\rm loo}=1$ ，但

\operatorname{GCV}=\frac{(1/100+81/100)/2}{(1-1/2)^2} =\frac{41}{25}=1.64.

把两个截然不同的杠杆平均掉，便改变了分数。GCV 也不是任意有限样本下新响应风险的无偏估计：在同一个 $S$ 、 $\mu=0$ 、 $\sigma^2=1$ 的模型中， $\mathbb E[\operatorname{GCV}]=41/25$ ，而独立新响应风险为 $1+\operatorname{tr}(S^2)/2=141/100$ 。

GCV 的一个结构优势是旋转不变性。若同时把 $y$ 换为 $Qy$ 、 $S$ 换为 $QSQ^{\mathsf T}$ ，其中 $Q$ 为正交矩阵，残差范数与迹都不变，因此 GCV 不变。逐点 LOO 一般会变化，因为旋转后的“删去一条坐标”已不是删去原来的一个观测。这个性质解释了 GCV 的构造，但不证明它在每个设计上优于 LOO。

调参时应声明扫描的是固定未归一化系数 $\rho$ ，还是随折样本数换算的平均损失系数 $\lambda$ ；这里沿用前面的固定 $\rho$ 规则。选出最小 GCV 后，该最小值也不是最终模型的独立测试评价。若核、输入预处理或 $\rho$ 都从响应中调整，固定 $S$ 的风险账本要改成整套选择流程的分析。

与有限时间迭代的接口

线性模型早停把谱因子改成 $1-(1-\eta d)^t$ ，再用同一偏差—方差账本评价有限轮次。在线性核 $K=XX^{\mathsf T}$ 下， $d$ 为 $X^{\mathsf T}X/m$ 的正特征值，ridge 因子正好为 $d/(d+\lambda)$ 。两者都逐方向收缩，却通常不能用一个 $\lambda$ 精确匹配全部早停方向；该页给出双特征值的明确反例。

对向量值输出，可在共享标量核下逐列求解同一个线性系统，输出坐标相关时这仍是有效的拟合方式。若希望在核中显式建模或利用坐标间的耦合，可以采用算子值核；这种扩展超出本页。KRR 给条件均值型点预测，不自动提供噪声方差或概率后验；与高斯过程回归的公式相似需要额外概率模型才能解释为后验均值。

曲率半范数与多个平滑组件

三次平滑样条的连续曲率罚项不惩罚仿射函数，其平滑矩阵保留两个收缩因子一，因此EDF强平滑极限为二。固定平滑器的偏差、方差与迹账本仍沿用本页，但LOO分母为正需另外检查删除后至少两个互异位置能识别该零空间；不能使用纯KRR中全部因子严格小于一的理由。

加性样条回拟合则将多个中心化组件放入同一个损失。总平滑矩阵由联合带惩罚正规方程决定，组件相关时不能把各自独立拟合的EDF直接相加。其求解和组件可识别性取决于联合设计与未惩罚方向的交，而不只是每个单变量平滑器能否单独求出。

参考资料

Craig Saunders, Alex Gammerman, and Volodya Vovk, “Ridge Regression Learning Algorithm in Dual Variables,” Proceedings of ICML, 1998, pp. 515–521.
Bernhard Schölkopf and Alexander J. Smola, Learning with Kernels, MIT Press, 2002, Sec. 4.2.
Ingo Steinwart and Andreas Christmann, Support Vector Machines, Springer, 2008, Secs. 5.5–5.6.
Ryan M. Rifkin and Ross A. Lippert, Notes on Regularized Least Squares, MIT-CSAIL-TR-2007-025 / CBCL-268, 2007-05-01，§§2–3：固定未归一化惩罚的线性系统与留一公式；链接为作者上传稿。
Gene H. Golub, Michael Heath and Grace Wahba, Generalized Cross-Validation as a Method for Choosing a Good Ridge Parameter, Technometrics 21(2), 1979, pp. 215–223，式(1.7)的均方风险、§2 的 PRESS 与 GCV。本文固定设计风险及不等杠杆例在正文逐项推导。

形式陈述 ​

有效自由度和噪声方差不是同一个迹 ​

留一公式要固定哪一个正则系数 ​

GCV 把逐点杠杆换成平均杠杆 ​

与有限时间迭代的接口 ​

曲率半范数与多个平滑组件 ​