表示定理 | Codeboy's Blog

形式陈述

给定 $m\ge1$ 个训练输入 $x_1,\ldots,x_m$ 、RKHS $\mathcal H_k$ 、任意点值目标 $\Psi:\mathbb R^m\to\mathbb R\cup\{+\infty\}$ ，考虑有限点值正则化目标

J(f)=\Psi\bigl(f(x_1),\ldots,f(x_m)\bigr)+\Omega(\|f\|_{\mathcal H_k}),

其中 $\Omega:[0,\infty)\to\mathbb R$ 单调不减。若 $J$ 在 $\mathcal H_k$ 中达到有限最小值，则至少存在一个最优解

f^*(\cdot)=\sum_{i=1}^{m}\alpha_i k(\cdot,x_i).

正则化经验风险是常见应用，此时 $\Psi$ 可取 $\sum_i L_i(y_i,f(x_i))$ 或其平均。每项可非凸或不可微，定理真正需要的是损失只通过有限个点值依赖 $f$ 。有限值条件排除了 $\Psi\equiv+\infty$ 时“每个函数都形式上取到最小值”的空洞情形。若 $\Omega$ 严格递增，则每个最优解都在该有限线性包中；仅单调不减时，只保证可以选择一个这样的最优解。

定理不自动证明最小解存在，也不保证函数或系数唯一。存在性通常另由下半连续性、强制性与弱紧性等条件获得；函数唯一性可由严格凸目标获得；若 Gram 矩阵奇异，即使最优函数唯一，表示它的 $\alpha$ 仍可能不唯一。

直觉

令 $M=\operatorname{span}\{k_{x_1},\ldots,k_{x_m}\}$ ，它是有限维闭子空间。用Hilbert 空间投影定理把任意 $f$ 唯一分解为 $f=f_M+f_\perp$ 。由再生性质，

f_\perp(x_i)=\langle f_\perp,k_{x_i}\rangle=0,

所以删去 $f_\perp$ 完全不改变所有训练损失；而 $\|f\|^2=\|f_M\|^2+\|f_\perp\|^2$ ，单调惩罚不会变大。严格单调时，任何非零正交分量都会让目标严格变差。这一行正交分解就是证明核心。

核技巧是在取得有限展开后计算 $f(x)=\sum_i\alpha_i k(x_i,x)$ 的办法，而不是表示定理的证明工具。二者先后衔接，但不能把“可用核值算”当作“最优解必在样本张成空间”的理由。

例子与边界

取两点 $a,b$ ，核矩阵

K=\begin{pmatrix}1&1\\1&1\end{pmatrix},

标签均为 $1$ ，并最小化

\frac12\sum_{i=1}^{2}(f(x_i)-1)^2+\lambda\|f\|_{\mathcal H_k}^2,\qquad\lambda>0.

写 $f=\alpha_1k_a+\alpha_2k_b$ ，只需 $s=\alpha_1+\alpha_2$ ：两个拟合值均为 $s$ ，范数平方为 $s^2$ ，故目标为 $(s-1)^2+\lambda s^2$ 。求导得到

s^*=\frac{1}{1+\lambda}.

所有满足 $\alpha_1+\alpha_2=s^*$ 的系数都表示同一个最优函数。这同时展示了有限展开、函数唯一与系数非唯一可以共存。

平坦惩罚可能保留不在 $M$ 中的最优解。例如两点集合 $\{a,b\}$ 上取 delta 核，只在 $a$ 观测标签 $1$ ，并令 $\Omega\equiv0$ 。平方损失的所有最优函数都满足 $f(a)=1$ ，而 $f(b)$ 可任意；只有 $f(b)=0$ 的那个位于 $M=\operatorname{span}\{k_a\}$ 。因此仅单调不减时，“每个最优解都有有限展开”确实会失败。若损失依赖 $\int f$ 、导数值或整个函数轨迹，正交分量未必对损失不可见；需要把相应连续线性泛函的 Riesz 代表加入张成空间，不能照搬点值版本。

当 $\Omega$ 递减时，删除正交分量反而可能提高目标，结论一般不成立。无正则项的插值问题也可能存在无限多个离开 $M$ 的最优函数；最小范数插值解才由核截面展开选出。

推论与应用

表示定理把无限维函数优化降为至多 $m$ 个系数的有限问题，是核岭回归和许多 SVM 推导的结构入口。降维后的目标仍可能非凸或病态；定理保证表示形式，不保证优化容易，也不提供泛化误差。

Gram 矩阵的秩 $r<m$ 时，实际函数子空间维数最多为 $r$ 。可用特征分解选择无冗余坐标，但通常没有必要：加正则的线性系统可直接给一个稳定代表。若要解释系数，必须记住零空间方向没有函数意义。

半范数惩罚还要保留零空间

三次平滑样条惩罚 $\int(f'')^2$ ，其零空间包含全部仿射函数，因此不能把它直接代入本页对整个RKHS范数的陈述。先在 $f(a)=f'(a)=0$ 的锚定空间构造积分核，再把截距、斜率作为未惩罚部分加入有限展开；相应系数满足两条矩约束。该页证明带约束系统的可逆性及函数唯一性，明确两个互异输入如何识别零空间。

参考资料

George S. Kimeldorf and Grace Wahba, “Some Results on Tchebycheffian Spline Functions,” Journal of Mathematical Analysis and Applications 33(1), 1971, pp. 82–95, doi:10.1016/0022-247X(71)90184-3.
Bernhard Schölkopf, Ralf Herbrich, and Alex J. Smola, “A Generalized Representer Theorem,” Proceedings of COLT/EuroCOLT, 2001, pp. 416–426, doi:10.1007/3-540-44581-1_27.
Ingo Steinwart and Andreas Christmann, Support Vector Machines, Springer, 2008, Sec. 4.2.

形式陈述 ​

半范数惩罚还要保留零空间 ​

反向链接

形式陈述

半范数惩罚还要保留零空间