三次平滑样条与未惩罚零空间

每个允许的函数都有积分表示

在锚定空间 $f(a)=f^{\prime }(a)=0$ 中，以 $\int f^{″}{g}^{″}$ 为内积，点评价的代表正是式(2)。映射 $f\mapsto f^{″}$将锚定空间等距映到整个 $L^2[a,b]$：任意 $u\in L^2$积分两次就给逆映射，所以该空间完备。这里构造了具体的核，而非只引用一般表示定理理路表示定理representer theorem · generalized representer theorem · 有限核展开定理说明点值损失加单调 RKHS 范数惩罚的最优解可取为有限核截面展开。后留下一个未知Gram矩阵。锚定空间的正交投影负责有限核展开；另外两维仿射函数仍未受罚。

式(3)确实产生最优函数。其齐次系统左乘 $(c^{\mathsf{T}},{\beta }^{\mathsf{T}})$ 得 $c^{\mathsf{T}}Kc+\lambda \Vert c{\Vert }^2=0$，于是 $c=0$；$T$满列秩再给 $\beta =0$，所以系统可逆。由核的积分定义及 $T^{\mathsf{T}}c=0$，对任意允许扰动 $g$ 有

代回目标的一次项恰好相消，留下

等号为零时 $g$仿射且在两个互异点为零，故 $g=0$。这同时证明存在和唯一，没有假定无限维最小值事先已经达到。

再求两次导数：${\hat{f}}^{″}(x)=\sum _i{c}_i(x_i-x{)}_{+}$。它连续、分段一次，故 $\hat{f}$是 $C^2$分段三次；在 $b$二阶导数为零，在 $a$则因 $\sum _i{c}_i(x_i-a)=0$也为零。这是自然边界的来源。把罚项换成 $\int (f^{\prime }{)}^2$时零空间改为常数，不能沿用这两个未惩罚方向。

三点算到整条曲线 ​

取 $x=(0,1,2)$、$y=(0,1,0)$、$\lambda =1/9$。设 $v=(1,-2,1{)}^{\mathsf{T}}$，下节会得到节点曲率罚矩阵 $A=(3/2)v{v}^{\mathsf{T}}$。仿射投影和曲率分量分别为

$Av=9v$，所以曲率方向恰收缩为一半，得到

将这些拟合值而非原响应交给自然三次插值构造理路样条与分段多项式插值Spline interpolation以光滑拼接的低次分段多项式完成插值，并用边界条件与带状线性系统确定三次样条。，内部二阶导数为 $-3/2$，完整函数为

平方残差和为 $1/6$；曲率积分为 $3/2$；罚项贡献也是 $1/6$，总目标为 $1/3$。式(3)给另一份可交叉核验的表示：$c=(-3/2,3,-3/2)$、$\beta =(1/6,3/4)$。核矩阵首行全零并不妨碍带仿射约束系统可逆。

强平滑的终点与失效边界 ​

$\lambda \to \mathrm{\infty }$时保留仿射最小二乘拟合，当前例为常数 $1/3$；它不会趋向零函数。$\lambda \downarrow 0$时趋向自然插值，但把式(1)直接设为 $\lambda =0$，所有通过数据的允许函数都最优，唯一性已经丢失。极限选择与零参数问题不是同一断言。

仅有一个互异输入时，任意穿过其响应的直线都使两项为零，斜率无法识别。重复输入可以先按相同位置合并均值并保留计数作为权重，不能让下面的间距分母取零。若噪声相关或异方差，也要改变统计协方差账本；曲率罚项本身不提供误差分布。

从拟合值构造带状系统 ​

给定任意节点值 $z$，令 $s_z$为其自然插值。对 $h=f-s_z$逐段分部积分，$h(x_i)=0$、$s_z^{″}$连续且两端为零，使所有边界项消失，得到

因此在相同拟合值中，自然插值有最小曲率；原有插值公式现在用于函数优化的有限化，没有重新选择插值边界。

记 $h_i=x_{i+1}-x_i$。$Q\in {\mathbb{R}}^{n\times (n-2)}$的第 $j$列只有三个非零项：

$R$为 $(n-2)$阶对称三对角矩阵，$R_{jj}=(h_j+h_{j+1})/3$，$R_{j,j+1}=h_{j+1}/6$。令 $m=(s_z^{″}(x_2),\dots ,s_z^{″}(x_{n-1}){)}^{\mathsf{T}}$；旧页的一阶拼接方程除以六给

第二个等式直接积分每段线性二阶导数的平方。$R$正定，因为 $m^{\mathsf{T}}Rm$是两端值为零、内节点值为 $m$的连续分段直线的平方积分，只有 $m=0$才能为零。又 $Q^{\mathsf{T}}z=0$恰说所有相邻割线斜率相等，所以其零空间是二维仿射值向量；由秩—零度公式，$Q$满列秩，$\ker A=\mathrm{span}\{\mathbf{1},x\}$。不必形成通常稠密的 $A$或 $R^{-1}$：先解

该矩阵正定且至多五对角，可以用带状Cholesky分解理路Cholesky 分解Cholesky factorization · Cholesky decomposition把 Hermitian 正定矩阵唯一分解为正对角下三角因子与其共轭转置的乘积。在 $O(n)$算术工作与存储内求解；输入排序另计，之后每个查询用区间定位和三次式。$n=2$时空矩阵步骤省略，输出穿过两点的直线。验收应检查式(6)残差、节点值、$C^2$拼接和自然边界。

自由度是对既有线性平滑器账本的具体应用 ​

$S_{\lambda }=(I+\lambda A{)}^{-1}$。$A$恰有两个零特征值，其余 $d_j>0$，故

固定设计、固定且不依赖当前响应的 $\lambda$，若 $Y=\mu +\epsilon$、$E\epsilon =0$、$\mathrm{Cov}(\epsilon )={\sigma }^{2}I$，则直接复用线性平滑器的偏差、方差与自由度公式理路核岭回归kernel ridge regression · KRR · least-squares regularization network用表示定理把 RKHS 平方损失正则化化为一个 Gram 线性系统。。当前三点例的收缩因子为 $(1,1,1/2)$，所以EDF为 $5/2$，方差迹为 $9/4$；若 $\mu =(0,1,0)$，原设计均值MSE是 $1/18+3{\sigma }^2/4$。不要求Gaussian就有此二阶矩结论，也没有由此给出区间覆盖。

LOO/GCV的定义、杠杆替换及选择偏差沿用核岭页。样条的额外检查是：$n\ge 3$时删除一个观测后，剩余至少两个互异输入仍能识别仿射零空间，删点后的二次目标严格正定。删点解在剩余极端节点之外线性延拓，仍在原来的满节点自然样条空间中。因此可在同一有限基上删去一个平方损失，使用秩一消元，得到 $1-S_{ii}>0$以及固定 $\lambda$的LOO残差 $(y_i-{\hat{z}}_i)/(1-S_{ii})$。KRR中所有收缩因子小于一的论证不能直接搬来，因为这里有两个因子等于一；$n=2$时 $S=I$，LOO分母为零。当前三点且固定 $\lambda >0$时，各折只余两点，预测均为直线，与 $\lambda$无关；LOO均方误差恒为3，GCV恒为2。这一小数据不含可据LOO识别最佳曲率惩罚的信息。

有限B样条与差分罚项是明确的另一个选择 ​

若预先选定较少的B样条及其二阶导数理路B样条导数与形状证书B-spline differentiation · Spline derivative coefficients把样条求导变成缩放后的相邻系数差，并用单侧导数和符号检查连续性、单调性与凸性。，必须要求这些函数属于同一个 $H^2$允许空间，例如次数 $p\ge 2$且内部重数至多 $p-1$。记设计矩阵 $B_{ij}=B_j(x_i)$，则真正的曲率矩阵是 ${\mathrm{\Omega }}_{jk}=\int B_j^{″}{B}_k^{″}$。由正规方程理路最小二乘与正规方程Least squares · Normal equations将目标向量正交投影到矩阵列空间，并以残差正交条件导出正规方程。求 $(B^{\mathsf{T}}B+\lambda \mathrm{\Omega })c=B^{\mathsf{T}}y$；它可逆当且仅当 $\ker B\cap \ker \mathrm{\Omega }=\{0\}$。限制较少节点得到的是有限维惩罚回归样条，一般不再等于全部观测位置上的平滑样条。分段直线帐篷的经典二阶导数在每个开跨度为零，但顶点产生分布二阶导数的Dirac项，所以它不属于 $H^2$；不能只积分跨度内的零值就称其曲率罚为零。

P-spline常把 $\mathrm{\Omega }$换成 $D_2^{\mathsf{T}}{D}_2$，其中 $(D_{2}c{)}_i=c_i-2c_{i+1}+c_{i+2}$。不能仅靠“都惩罚二阶”宣称两目标相同。次数二、节点 $(0,0,0,1,3,3,3)$时，直线 $f(x)=x$的B系数为Greville位置 $(0,1/2,2,3)$，真实曲率罚为零，普通二阶差分却为 $(1,-1/2)$，平方和 $5/4$。反向，系数 $(0,1,2,3)$的差分为零，但导数系数为 $(2,2/3,1)$，曲率积分为 $16/9+1/18=11/6$。在不均匀节点上，参数索引中的直线并非横坐标中的直线；需要保留各自的惩罚和零空间声明。

自测一。 把横坐标放大 $r>0$倍、希望拟合值不变，未归一化曲率罚系数应怎样改？因二阶导数平方积分变为原来的 $r^{-3}$，应取 ${\lambda }_{\mathrm{n}\mathrm{e}\mathrm{w}}=r^3\lambda$。这一尺度换算也说明不能把系数差分参数原封不动解释为连续曲率参数。

自测二。 三点例给全部响应加上 $2-3x$，拟合曲线如何改变？恰好加上同一直线；残差与曲率惩罚都不变，因为 $S_{\lambda }T=T$且仿射函数不受罚。