从自然插值到样条平滑与形状证书
入口与交卷目标
短主线只经过自然三次插值理路样条与分段多项式插值Spline interpolation以光滑拼接的低次分段多项式完成插值,并用边界条件与带状线性系统确定三次样条。与三次平滑样条理路三次平滑样条与未惩罚零空间Cubic smoothing spline · Smoothing spline · 平滑样条从二阶导数惩罚构造带仿射零空间的表示式,解自然样条的带状系统,并区分曲率惩罚与系数差分惩罚。:从三条观测算出真正的函数最小点、节点值、曲率积分、未惩罚方向和调参分数。原有插值公式作为表示工具保留,泛化风险与GCV的基本解释复用核岭回归的线性平滑器账本理路核岭回归kernel ridge regression · KRR · least-squares regularization network用表示定理把 RKHS 平方损失正则化化为一个 Gram 线性系统。。
两条独立选读分支不必串成前置:需要多个解释变量时读加性样条回拟合理路加性样条模型与回拟合Additive spline model · Spline backfitting · 加性模型回拟合把多个中心化样条组件放入同一平方损失,以部分残差轮流拟合,并核验联合零空间、分量可识别性和真实停止残差。,需要全区间形状控制时从节点插入理路节点插入与不变曲线Boehm knot insertion · Spline knot insertion插入一个节点后局部更新控制系数,证明新旧表示为同一函数,并把细化用于分段多项式提取。进入全非负配点与变号缩减理路B样条全非负配点与变号缩减B-spline total positivity · Spline variation diminution · 样条变差缩减通过插结矩阵的有序局部支撑证明配点矩阵的所有子式非负,再将系数变号次数转成曲线穿线次数的证书。。
可下载仅用Python标准库的精确复算程序与分数形式的预期输出。程序以有理数检查两套平滑表示、三点平坦CV、全部小矩阵子式、差分惩罚反例和回拟合轨迹;它不以有限测试代替正文的任意输入证明。
核心任务:三点数据究竟平滑成什么
观测为 。目标固定为残差平方和加 ,取 。请交出以下四份互相核对的答案。
一、由曲率矩阵解节点值
自然样条的内部二阶导数只有一个坐标。令 ,则
仿射值向量组成二维零空间,是特征值9的曲率方向。在仿射方向的投影为 ,剩下 被收缩一半。因此
由 再核对一次。,这是本例的一阶正定带状系统。
二、交出整条曲线与目标值
以拟合值作自然插值得
在1处值、斜率、二阶导数分别为 ,左右相同;两外端二阶导数为零。残差平方和是 ,曲率积分是 ,总目标为 。
不要用“足够平滑”替代最优性。对任何允许扰动 ,完整证明最终应得到
等号要求 仿射且在两个互异输入为零,因此 。这才说明拟合曲线是唯一函数最小点。
三、用积分核核验零空间处理
锚定核为 。系数
满足 ,并给出同一个 。若删去仿射项,核在0处恒零会强迫 ,与正确值 不同。能指出这一具体错解,才说明没有把半范数当作全函数范数。
四、分清自由度、风险与选择信息
收缩因子为 ,EDF为 ,方差迹为 。固定设计和惩罚、均值为 、零均值同方差不相关噪声下,均值预测MSE为 。这是原设计的重复采样风险,不是任意新输入风险或95%覆盖保证。
每次留一只余两点,其直线预测产生残差 ,所以CV为3。GCV用平均杠杆,得到2。这两个数都与任何正 无关:三点数据在这套评分下不能选出唯一的曲率强度。两分数不相等也不矛盾,逐点杠杆与平均杠杆本来就不同。
迁移验收。 将横坐标乘二,取 可保留同一组拟合值。给响应加 ,拟合也加同一直线。得到仿射最小二乘,不是零函数;的原无限维问题不再唯一。
选读一:两个组件必须一起解释响应
第一坐标 、第二坐标 。基函数分别为 及其相反数,训练列为 、。两列中心化,曲率积分各72,取惩罚系数各 、响应 。
联合方程、正确系数与目标为
从零按第一、第二组件更新,第一轮 、目标18;第二轮 、目标 。第二组件误差每轮乘 。第一轮的联合残差为 ,即使每块刚完成一次精确拟合,整个系统仍未解完。
识别验收。 设两个输入坐标相同且非恒定,例如都取 ,而两组件都允许未惩罚的中心化直线。则沿 改变组件不改变拟合或罚项,中心化仍不能给唯一解释。真正条件是 ;改变访问顺序可以改变组件分配,却不改变总预测。
模型边界。 两个独立Rademacher输入上的 具有纯交互。最佳加性平方损失预测为零、风险为1。求解器收敛并不意味着模型可以表达缺失交互。
选读二:从系数变号到全区间证书
次数二、节点 、系数 。请先写出五个查询 的B样条矩阵,再核验
完整两段为 和 ,三次零穿越在 。证明任意更多查询也不会超过三次,需要插结矩阵的有序相邻支撑:所有子式非负;每次凸混合插入及随后保序取子序列都不能增加强变号。
Greville位置为 。对任意直线 ,把系数改成 再数变号,就得到相对于这条直线的证书。连续性保证真正穿线;允许跳变时只说强变号,跳过零不必取到零。
失败验收。 非负且和为一的两函数 配系数 ,能产生四次样本变号,表明凸包性质本身不够。二次函数 则有二重零点却无变号,表明这里不数代数重数。
最终检查:惩罚、表示与数据不要混账
在次数二、节点 的基中,直线的系数是 。真实曲率罚为零,普通二阶系数差分平方和却为 ;索引等差的系数 反而差分罚为零、曲率积分为 。据此说明为何不能在不均匀节点上把P-spline差分罚直接叫作同一个连续曲率目标。
交卷时必须保留三层对象:观测响应、拟合节点值、某个样条基中的控制系数。变号缩减约束最后两者之间的表示映射,不会自动约束从原始数据反解出的系数。需要单调拟合时,还要在求解阶段明确施加形状条件。
资料与完整推导见三个链接的知识页。主线交卷无需完成两条选读分支,也无需引入非Gaussian广义加性模型、自动选节点或自适应置信带。