加性样条模型与回拟合

形式陈述

对固定设计 $x_{ij}$ 、 $i=1,\ldots,n$ 、 $j=1,\ldots,d$ ，加性均值模型写为

m(x_1,\ldots,x_d)=\beta_0+\sum_{j=1}^d f_j(x_j).

每个 $f_j$ 由一组预先固定且属于 $H^2$ 的样条基表示，也就是函数及一阶导数绝对连续、弱二阶导数平方可积。次数 $p\ge2$ 且内部重数至多 $p-1$ 是一个充分条件；允许斜率跳跃的分段直线不能只用跨度内零二阶导数冒充零曲率。用训练样本的经验均值中心化每一组基，仅删除作为整个函数恒为零或函数层面线性依赖的冗余方向，并同步变换曲率矩阵，得到设计矩阵 $B_j$ ，满足 $\mathbf1^{\mathsf T}B_j=0$ 。函数基独立不要求观测设计满列秩：两个函数可以在所有训练点取值相同而曲率不同，不能只凭样本列重复随意删除。在整个输入区间上也使用同一批中心化后的基函数，以便定义新输入预测；不能在测试批次重新中心化。

令 $\Omega_j\succeq0$ 为对应曲率矩阵， $\lambda_j>0$ 固定，求

\min_{\beta_0,\theta_1,\ldots,\theta_d} \left\|y-\beta_0\mathbf1-\sum_jB_j\theta_j\right\|^2 +\sum_j\lambda_j\theta_j^{\mathsf T}\Omega_j\theta_j.\tag{1}

这是正则化经验风险的一类平方损失模型；用满节点自然样条时，各组件来自三次平滑样条，也可预先限制较少节点。中心化使 $\widehat\beta_0=\bar y$ ，但它只去掉分量之间转移常数的歧义，并不自动保证其余分解唯一。

记 $B=[B_1\ \cdots\ B_d]$ 、 $y_c=y-\bar y\mathbf1$ ，以及

P=\operatorname{diag}(\lambda_1\Omega_1,\ldots,\lambda_d\Omega_d), \quad H=B^{\mathsf T}B+P,\quad b=B^{\mathsf T}y_c.

本页的唯一解与收敛接口要求

\ker B\cap\ker P=\{0\},\quad\text{即 }H\succ0.\tag{2}

输入还应给定初值、固定的组件访问顺序、残差容差与最大扫掠数。输出各组件、截距、总预测、目标值及 $H\theta-b$ 的实际范数；预算用尽不能标为已达到要求的精度。这里处理Gaussian恒等链接的平方损失拟合；只有拟合公式需要平方损失，下面的固定设计风险不额外要求误差Gaussian。其他链接的广义加性模型还需不同的似然和外层求解，不能直接继承本页算法。

直觉

单独把每个变量与原始 $y$ 平滑，会让几个相关变量重复解释同一部分响应。回拟合（backfitting）在更新第 $j$ 个组件时，先扣除其他组件当前已经解释的部分，再只拟合剩余响应。

设 $A_j=B_j^{\mathsf T}B_j+\lambda_j\Omega_j$ 。固定其他块，式(1)的最优条件给出一次精确更新

r_j=y_c-\sum_{\ell\ne j}B_\ell\theta_\ell,\qquad A_j\theta_j^{\rm new}=B_j^{\mathsf T}r_j.\tag{3}

$H\succ0$ 保证每个 $A_j\succ0$ 。顺序执行时，前面已经更新的组件要用本轮新值，后面用旧值。这正是联合正规方程的块Gauss–Seidel定常迭代，可以直接采用这种块线性迭代求解；“多做几次单变量回归”本身并不保证联合最优。

总残差缓存 $r=y_c-\sum_jB_j\theta_j$ 可沿用部分残差缓存的思想：先加回 $B_j\theta_j$ 得到 $r_j$ ，解本块后减去 $B_j\theta_j^{\rm new}$ 。这里块求解是二次惩罚的线性系统，绝对值软阈值不适用。所有 $A_j$ 可在固定设计、固定惩罚下预分解，若每轮又重选 $\lambda_j$ ，就已改变了正在求解的目标。

例子与边界

两个相关的曲率组件

取三个观测，第一坐标 $X_1=(0,1,2)$ ，第二坐标 $X_2=(0,2,1)$ 。在 $[0,2]$ 上仅使用各一维的二次样条子空间：

h_1(t)=3(t-1)^2-2,\qquad h_2(t)=-3(t-1)^2+2.

两条基函数在各自训练坐标上的均值为零。列向量是

u=(1,-2,1)^{\mathsf T},\qquad v=(-1,-1,2)^{\mathsf T},\qquad u^{\mathsf T}u=v^{\mathsf T}v=6,\quad u^{\mathsf T}v=3.

各曲率积分为 $\int_0^2(h_j'')^2=72$ 。取 $\lambda_1=\lambda_2=1/12$ 、 $y=u+2v=(-1,-4,5)$ ，截距为零，联合方程为

H=\begin{pmatrix}12&3\\3&12\end{pmatrix},\qquad b=\begin{pmatrix}12\\15\end{pmatrix},\qquad \widehat\theta=(11/15,16/15)^{\mathsf T}.\tag{4}

从零开始按第一、第二组件的顺序扫掠，递推为

a^{k+1}=1-b^k/4,\qquad b^{k+1}=5/4-a^{k+1}/4.

第一轮得到 $(1,1)$ ，第二轮 $(3/4,17/16)$ ，极限为式(4)。消去 $a$ 得 $b^{k+1}=1+b^k/16$ ，故第二组件的误差每轮精确乘 $1/16$ 。单独各自拟合原响应却会给 $(1,5/4)$ ，不满足联合方程。

最终拟合值为 $(-1/3,-38/15,43/15)$ ，残差为 $(-2/3,-22/15,32/15)$ 。残差平方和 $536/75$ ，罚项 $6(a^2+b^2)=754/75$ ，总目标为 $86/5$ 。第一轮目标是18，第二轮是 $1101/64$ ，最终更低；可用联合方程与目标两种方式核验结果。

中心化仍可能留有共曲率混淆

若两个坐标完全相同且不是常数，例如都取 $(0,1,2)$ ，且两组件都含未惩罚的线性函数，取同一个中心化列 $z=X-\bar X\mathbf1$ 。把 $f_1$ 改成 $f_1+tz$ ，同时把 $f_2$ 改成 $f_2-tz$ ，总拟合值和所有曲率罚项都不变。中心化没有排除它，因为 $z$ 均值本来就是零。

在响应 $y_c=z$ 的极端例中，任何斜率 $(a,b)$ 满足 $a+b=1$ 都达到零目标；从零先更新第一块得 $(1,0)$ ，倒序则得 $(0,1)$ 。两者预测相同，组件解释不同。这个现象称为共曲率或concurvity的一种精确退化情形。给组件另加ridge会选择一种分配，但那是在改变惩罚，不能把新解解释成数据本身已经识别出两个效应。

推论与应用

唯一性要查联合零空间

对任意块向量 $\delta$ ，

\delta^{\mathsf T}H\delta =\left\|\sum_jB_j\delta_j\right\|^2 +\sum_j\lambda_j\delta_j^{\mathsf T}\Omega_j\delta_j.

所有项非负，所以正定当且仅当不存在既相互抵消又全部不受罚的非零组件组合，这就是式(2)。在每个坐标有互异观测、各组件采用完整自然三次样条并做中心化的情形，未惩罚组件只剩各坐标的中心化直线。因此若 $[\mathbf1,X_1,\ldots,X_d]$ 满列秩，条件成立；若有线性依赖，曲率惩罚无法消除这份分解歧义。有限基的坐标冗余须先删掉，否则还会出现表示层面的非唯一。

即使条件不成立，任何两个最小点的总拟合值仍相同：对两个最小点取中点，二次目标的凸性等号强迫总拟合差的平方范数为零。唯一的总拟合并不等于唯一的组件，也不等于在训练支持之外能识别真实机制。统计或因果解释另需模型和设计假设。

复用块迭代机制，给出可用停止证书

固定 $H\succ0$ 时，块Gauss–Seidel收敛可由既有定常迭代理论使用。也可按已有循环精确最小化机制核验：更新第 $j$ 块的下降恰为 $\Delta_j^{\mathsf T}A_j\Delta_j$ ；目标有下界使各步位移趋零，正定联合二次型使迭代有界。每个聚点的所有块梯度均为零，从而是唯一解，故整列收敛。应用这份收敛论证时，关键是先检查样条组件是否真的使联合系统正定。

若有已证下界 $0<\gamma\le\lambda_{\min}(H)$ ，对真实正规方程残差 $q=H\theta-b$ 有

\|\theta-\widehat\theta\|\le\|q\|/\gamma, \qquad J(\theta)-J(\widehat\theta)=q^{\mathsf T}H^{-1}q\le\|q\|^2/\gamma.

当前例 $\gamma=9$ 。只比较两轮组件变化很小，若没有收缩或残差界，不能保证误差已经小。每次完整检查应从当前组件重建总残差；缓存漂移、非有限值、秩检查失败和达到预算分别报告。

若第 $j$ 块有 $q_j$ 列，直接稠密预处理与分解约需 $O(nq_j^2+q_j^3)$ ；缓存总残差后，一轮约为 $O(\sum_j(nq_j+q_j^2))$ 。利用B基局部支撑可减小矩阵构造代价，但总工作仍须计入所有组件、实际扫掠数和证书检查次数。

风险、自由度与迁移

固定设计、基、惩罚和中心化规则后，收敛的总拟合是线性平滑器

S=\frac1n\mathbf1\mathbf1^{\mathsf T}+BH^{-1}B^{\mathsf T}.

直接复用固定平滑器的风险与有效自由度账本：若 $Y=\mu+\varepsilon$ 、 $E\varepsilon=0$ 、协方差 $\sigma^2I$ ，方差项用 $\operatorname{tr}(S^2)$ ，响应敏感度用 $\operatorname{tr}(S)$ 。式(4)例的中心化Gram特征值为9和3，罚项为 $6I$ ，所以总收缩因子为 $(1,3/5,1/3)$ ，EDF为 $29/15$ ，方差迹为 $331/225$ 。不能把各单变量独立平滑的EDF相加：组件相关性进入联合系统。

迁移。 将第二坐标改为与第一相同但仍保留上例的两个有正曲率罚项的二次基，两个系数虽可在拟合项中相互抵消，罚项却不为零， $H$ 仍正定。问题不在“出现重复变量”这句话本身，而在重复方向是否同时落入惩罚零空间。

自测一。 若 $m(x_1,x_2)=x_1x_2$ 且两个坐标独立、各以相同概率取 $-1,1$ ，加性模型能精确表达它吗？不能。其最佳总体平方损失加性投影为零，因为对任一坐标条件平均都为零，最小风险为1；四个支持点上的混合差分为4，而任何加性函数的该差分为零。回拟合收敛只证明给定模型内的优化，不会凭迭代次数创造缺失的交互项。

自测二。 当前两组件例停止在第一轮 $(1,1)$ ，其 $q=(3,0)$ ，能声称误差为零吗？不能。 $\gamma=9$ 给目标差上界1，实际目标差是 $18-86/5=4/5$ ；一次组件循环结束并不等于联合系统已解。

参考资料

Ryan Tibshirani，Additive Models，§§2.1–2.2：组件中心化、部分残差与回拟合。本文将唯一性限制写成可检查的联合零空间条件。
Andreas Buja, Trevor Hastie and Robert Tibshirani，Linear Smoothers and Additive Models，Annals of Statistics 17(2), 1989，pp.453–510：线性平滑器与回拟合收敛。
Veeranjaneyulu Sadhanala and Ryan J. Tibshirani，Additive Models with Trend Filtering，Annals of Statistics 47(6), 2019，§1.1：对照用的加性平滑样条目标及部分残差系统；本文不涉及该文的趋势滤波速率。

形式陈述 ​

两个相关的曲率组件 ​

中心化仍可能留有共曲率混淆 ​

唯一性要查联合零空间 ​

复用块迭代机制，给出可用停止证书 ​

风险、自由度与迁移 ​

反向链接