局部多项式回归

局部常数把邻居的高度混在一起。若邻居都在查询右侧，曲线又在上升，平均会高估左端高度。局部直线先估斜率，再把邻居移回查询位置，因此可以消去这种由一阶趋势造成的偏差。

这一校正依靠矩条件。常数复制要求权重和为1；直线复制还要求加权位移和为0。单侧所有位移都为正时，除非只用位移为零的点，否则要满足第二条就必须允许负权重。负权重是局部外推的代价，也会放大噪声。

同一函数，两个位置，全部数值可算 ​

取 $m(t)=t+t^2$，先把响应取为无噪声均值。各窗口内三个点等权；框核在窗口端点也取正值。

内部查询 $x=1/2$，输入为 $(1/4,1/2,3/4)$，响应为 $(5/16,3/4,21/16)$。位移关于0对称，局部常数和局部线性截距都为三点平均

偏差为 $1/24$。二者的响应权重均为 $(1/3,1/3,1/3)$。

边界查询 $x=0$，输入为 $(0,1/4,1/2)$，响应为 $(0,5/16,3/4)$。局部常数预测 $17/48$。对局部直线，令未缩放位移 $t_i=X_i-x$，$S_j=\sum _i{a}_i{t}_i^j$，则

在这三个点上得到 $(5/6,1/3,-1/6)$，故

真实 $m(0)=0$，局部线性消除了斜率引起的一阶偏差，但留下曲率偏差，甚至略低于全部响应。若给三个响应各加独立方差 ${\sigma }^2$ 的噪声，局部常数方差为 ${\sigma }^2/3$，局部线性方差为

偏差缩小不等于MSE在所有噪声水平下都缩小。这里两方法MSE分别为 $289/2304+{\sigma }^2/3$ 与 $1/2304+5{\sigma }^2/6$，局部线性较小恰在 ${\sigma }^2<1/4$ 时成立。

同一边界设计，缩小尺度看偏差阶 ​

把边界三点改为 $(0,a,2a)$，仍取 $m(t)=t+t^2$。局部常数的偏差为 $a+5a^2/3$，局部线性的权重保持不变，偏差为 $-a^2/3$。在内部查询处用对称三点 $(x-a,x,x+a)$，两方法的偏差都是 $2a^2/3$。这组精确代数直接展示了一阶项如何只在单侧平均中出现。

次数升到 $p=2$ 后，这三个点可以恰好拟合真二次函数；查询0也是一个训练输入，截距权重为 $(1,0,0)$。无噪声偏差消失，但噪声方差变为 ${\sigma }^2$。刚好足够插值的局部设计没有额外观测供平均。

秩不足和接近秩不足 ​

所有正权重输入都等于同一个非查询点时，不能识别局部直线的截距与斜率。即使输入稍有不同，查询在它们之外也可能极不稳定。例如两个输入为 $a,a+ϵ$、查询0，局部直线权重为 $((a+ϵ)/ϵ,-a/ϵ)$；若 $a>0$ 固定、$ϵ\to 0$，同方差噪声的方差趋于无穷。

所以“有两个点”只保证代数可解，不保证有足够几何信息。加小正则项会改变矩复制性质，截去小奇异值也改变所解问题；都应报告实际规则，而不能继续声称完全复制同阶多项式。

矩复制和偏差界的完整机制 ​

把式(2)右乘 $R$ 得

因此任意次数至多 $p$ 的多项式响应都在查询处被精确复制。这个结论是设计矩阵的恒等式，在内部和边界都成立，无须输入对称。

若在查询至所有正权重点的区间上 $m$ 有 $p+1$ 阶导数，且 $|m^{(p+1)}|\le M$，Taylor余项理路泰勒定理Taylor's theorem足够光滑函数由有限阶导数多项式加余项表示。给

式(4)消去所有低阶误差，故

绝对值不能省。负权重之间可以抵消某条具体曲线的偏差，却不能抵消最坏情形余项上界。噪声条件独立时方差为 $\sum _i{\ell }_i^2{\sigma }_i^2$；这两项再由MSE分解理路偏差、方差与均方误差Bias–variance decomposition · Mean squared error平方损失下将点态估计风险精确拆成抽样波动与系统位移，并说明两者的权衡边界。相加。

如果一列随 $n$ 变化的设计满足：非零权重点距查询至多 $h$、$\sum _i|{\ell }_i|\le C_1$、$\sum _i{\ell }_i^2\le C_2/(nh)$，且条件方差有统一上界，则局部线性 $p=1$ 有

这给 $h\asymp n^{-1/5}$、MSE $O(n^{-4/5})$。有限三点例本身不满足“$nh$ 个有效观测不断增长”的条件，不能据缩小三个点的间距推出噪声方差趋零。局部矩阵的稳定性必须随样本量保持，才可把有限样本界升级为这条速率。

$d$维局部线性使用常数和 $d$ 个坐标位移，需满秩的局部设计。若二阶Taylor余项为 $O(\Vert t-x{\Vert }^2)$、权重总绝对值有界且平方和为 $O((n{h}^d{)}^{-1})$，同理得到 $h^4+(n{h}^d{)}^{-1}$，平衡后为 $h\asymp n^{-1/(d+4)}$、MSE $O(n^{-4/(d+4)})$。这些是给定稳定设计条件的上界；本页没有证明极小极大下界。

实现和推断 ​

一次查询先计算权重并检查局部秩，再对 $W^{1/2}R$ 作QR。令 $q=p+1$，直接密集实现每查询约 $O(n{q}^2+q^3)$ 工作、$O(nq)$ 存储；紧支撑核可先筛出 $N$ 个非零点，拟合部分改为 $O(N{q}^2+q^3)$，筛点成本另计。算法没有渐近迭代停止，线性求解需给秩阈值与残差容差。

在回归不连续设计理路回归不连续设计Regression discontinuity design · RDD · RD design利用处理概率在已知阈值处跳变、而潜在结果回归连续来识别阈值附近局部因果效应的设计。中，可分别在阈值两侧拟合局部直线，再取两个截距之差；本页处理估计，潜在结果连续性等因果识别条件仍由该设计负责。式(5)则可进入局部均值置信区间理路局部平滑的置信区间Local smoothing confidence intervals · Bias-aware nonparametric confidence intervals从固定设计的加权正态误差构造偏差可控区间，精确展示MSE带宽欠覆盖，并区分单点、网格与连续曲线覆盖。。选MSE小的带宽与取得名义覆盖仍是两个待验证的目标。

自测与答案 ​

1. 边界三个点的响应若为 $2+3X_i$，局部线性预测0处是多少？为2，因为权重和为1、加权位移和为0。
2. 上例 $p=1$、$|m^{″}|\le 2$ 的偏差界 $B_X$ 是多少？$B_X=(1/3)(1/4{)}^2+(1/6)(1/2{)}^2=1/16$。实际偏差绝对值 $1/48$ 更小；界保护的是全部满足曲率界的函数。