Nadaraya–Watson 核回归

形式陈述

给定训练对 $(X_i,Y_i)\in\mathbb R\times\mathbb R$ 、查询 $x$ 、带宽 $h>0$ 和非负核形状 $K:\mathbb R\to[0,\infty)$ 。目标仍是平方损失下的条件均值 $m(x)$ 。令

a_i(x)=K((X_i-x)/h),\quad A(x)=\sum_i a_i(x).

当 $A(x)>0$ 时，Nadaraya–Watson（NW）估计为

w_i(x)=\frac{a_i(x)}{A(x)},\qquad \widehat m_h(x)=\sum_iw_i(x)Y_i =\frac{\sum_iK((X_i-x)/h)Y_i}{\sum_iK((X_i-x)/h)}.\tag{1}

若 $A(x)=0$ ，本页规则返回“邻域为空”，不输出 $0/0$ ；若需总定义预测器，须在训练协议中另定后备值并在风险中保留空邻域事件。核形状乘任意正数不改变权重，所以定义本身不要求 $\int K=1$ ；做下面人口积分计算时取对称、紧支撑的概率密度核。

式(1)也是在查询处解局部常数平方拟合

\min_{a\in\mathbb R}\sum_i a_i(x)(Y_i-a)^2.

对 $a$ 求导给 $A(x)a=\sum_i a_i(x)Y_i$ ； $A(x)>0$ 时二阶导数为 $2A(x)>0$ ，唯一解恰为式(1)。因此本方法是局部多项式回归取次数 $p=0$ 的特例。

给定设计 $X_{1:n}$ ，若响应噪声条件独立、条件均值零、方差为 $\sigma_i^2$ ，则精确有

b_X(x)=\sum_iw_i(x)[m(X_i)-m(x)],\qquad v_X(x)=\sum_iw_i(x)^2\sigma_i^2.\tag{2}

以下凡用式(2)，均固定 $h$ 或令其只依赖设计及独立资料；后一情形先条件于这些已冻结资料与独立随机种子，再条件于设计。需要无条件结果时最后再对独立资料平均。不能用响应调好 $h$ 后仍把权重当作与噪声无关。

直觉

k近邻固定记录数，NW先固定一个距离尺度，再按远近分配份额。最后除以所有核值之和，保证常数响应仍预测同一个常数。非负权重总和为1，还保证预测位于邻域响应的最小值和最大值之间。

同叫“核”的三个对象承担不同任务。密度估计要求对整个查询轴积分为1，输出单位是输入单位的倒数；本页只在每个查询处对记录归一化，输出与响应同单位；正半定核要求所有有限Gram二次型非负，用来构造Hilbert空间。形状可能巧合相同，定义并不相同。

例子与边界

三个响应怎样组成一个预测

取 $(X_i,Y_i)=(0,0),(1,2),(2,1)$ ，查询 $x=1$ 、 $h=2$ ，三角形核 $K(u)=(1-|u|)_+$ 。原核值为 $(1/2,1,1/2)$ ，归一化后为 $(1/4,1/2,1/4)$ ，预测

\widehat m_h(1)=0/4+2/2+1/4=5/4.

若各噪声方差均为 $\sigma^2$ ，条件方差为 $3\sigma^2/8$ ，而不是 $\sigma^2/3$ 。常用的方差等效数量 $n_{\rm eff}=1/\sum_iw_i^2$ 在此为 $8/3$ ；它只总结固定权重、同方差独立噪声的平均效果，不是新的独立观测数。

若同一三角核、 $h=1/4$ 、查询 $x=1/2$ ，三个核值全零。扩大带宽可以得到预测，但改变了原先指定的方法；应把该规则预先写入算法，并在留一验证时同样执行。

同一曲线的内部和边界

为隔离设计随机性，先看人口平滑函数。若输入密度为 $f$ ，定义

m_h(x)=\frac{\int K((t-x)/h)m(t)f(t)\,dt} {\int K((t-x)/h)f(t)\,dt},\tag{3}

分母要求正。它是总体加权平均。具体地，固定 $x,h$ ，令 $a(X)=K((X-x)/h)$ ；训练对IID、 $0<Ea(X)<\infty$ 、 $E|a(X)Y|<\infty$ 时，分子与分母各除以 $n$ 后分别由强大数律几乎必然收敛到 $E[a(X)Y]$ 与 $Ea(X)$ 。后者严格为正，故非空分母事件的概率趋于1，比值几乎必然趋于式(3)。有限样本一般没有 $E\widehat m_h=m_h$ ；随机比值的期望不能换成两个期望之比。

取 $X\sim U[0,1]$ 、 $m(t)=t+t^2$ 、 $K(u)=\tfrac12\mathbf1_{|u|\le1}$ 、 $0<h<1/2$ 。在内部点 $x=1/2$ ，式(3)平均区间 $[x-h,x+h]$ ，代入 $t=x+u$ 后奇函数项消失，得到

m_h(1/2)=3/4+h^2/3.

在左边界 $x=0$ ，只能平均 $[0,h]$ ，于是

m_h(0)=\frac1h\int_0^h(t+t^2)\,dt=h/2+h^2/3.

同一个函数、同一个带宽，内部偏差是二阶，边界多出一阶 $h/2$ 。这里NW已经重新归一化，故边界偏差趋于零；它与普通KDE在均匀密度边界留下常数偏差的机制不同。若 $m$ 为常数，NW即使只见单侧数据也完全复制常数。

核形状非负不意味着 Gram 正半定

把矩形窗口 $W(u)=\mathbf1_{|u|\le1}$ 当作二元函数 $k(s,t)=W(s-t)$ 。在 $(0,3/4,3/2)$ 上，其Gram矩阵是

G=\begin{pmatrix}1&1&0\\1&1&1\\0&1&1\end{pmatrix}.

取 $c=(1,-1,1)^\top$ 有 $c^\top Gc=-1$ ，所以这个完全合法的局部平均窗口不是PSD核。反向地， $k(s,t)=st$ 是PSD核，却可以取负值，不能一般当作本页的非负平均权重。核岭回归需要前一种Gram条件；NW需要这里的权重和分母条件。

推论与应用

人口偏差里的输入密度项

固定内部点 $x$ ，假定其邻域内 $m,f$ 二阶连续可微、 $f(x)>0$ ； $K$ 对称、支撑 $[-1,1]$ 、积分1，记 $\mu_2=\int u^2K(u)\,du$ 。变量代换后式(3)的分子除以 $h$ 为 $\int K(u)(mf)(x+hu)\,du$ 。Taylor展开和核的一阶矩为零给

N_h=(mf)(x)+\frac{h^2\mu_2}{2}(mf)''(x)+o(h^2),

D_h=f(x)+\frac{h^2\mu_2}{2}f''(x)+o(h^2).

从 $N_h/D_h-m(x)=[N_h-m(x)D_h]/D_h$ 消去 $m f''$ ，得到

m_h(x)-m(x)=\frac{h^2\mu_2}{2} \left[m''(x)+2m'(x)\frac{f'(x)}{f(x)}\right]+o(h^2).\tag{4}

密集侧会把平均拉过去，即使 $m$ 本身是直线也可能有偏差。式(4)属于人口平滑函数；要把它升级为有限样本估计量的无条件偏差展开，还需控制随机分母与空邻域，本页不省略这层区别。

给定实际设计时，可以直接用式(2)而不作随机分母近似。若 $m$ 为 $L$ -Lipschitz，非零权重都位于距离 $h$ 内，便有 $|b_X|\le Lh$ ；若噪声方差至多 $\sigma^2$ ，则 $v_X\le\sigma^2\sum_iw_i^2$ 。在窗口内有 $q$ 个近似均权观测时，方差约为 $\sigma^2/q$ 。二阶偏差需要对称几何或局部矩消除，不能仅凭“用了平滑核”获得。

查询、选择和接续

直接实现时初始化分子和分母为零，逐条累加 $a_iY_i$ 与 $a_i$ ，扫描结束后检查分母。对一维数据每个查询需 $O(n)$ 核求值与加乘；对 $d$ 维径向核，距离另需 $O(nd)$ 工作。无须迭代收敛，停止于一次扫描完成；紧支撑核可借空间索引筛点，但仍要保留分母检查。

Gaussian核在精确算术中分母为正，远距离时浮点指数却可能全部下溢。可先从指数中减去最大值再归一化；它保持相同权重，但并未解决查询远离数据的统计外推风险。

带宽验证给固定核的留一快算与失败处理。需要降低边界一阶偏差时，可在同一邻域拟合局部直线；需要估计条件分位数时，应改用pinball损失，而不是把均值权重直接解释成区间覆盖概率。

自测与答案

三点例把所有响应加5，预测如何变？变为 $25/4$ ，因为权重和为1。把核形状乘10，预测不变。
式(4)中 $m(t)=t$ 、 $f'(x)\ne0$ ，人口偏差是否必为零？不必；主项为 $h^2\mu_2 f'(x)/f(x)$ 。局部常数只复制常数，不能一般复制直线。

参考资料

Ryan Tibshirani, Nonparametric Regression, Spring 2017，§2.1–2.2，PDF pp. 5–7：NW与局部线性拟合；本页对人口比值和有限样本条件偏差分别推导。
Ryan Tibshirani and Larry Wasserman, Nonparametric Regression, Spring 2019，§3.1，PDF p. 7：核权重与RKHS核的区分。

形式陈述 ​

三个响应怎样组成一个预测 ​

同一曲线的内部和边界 ​

核形状非负不意味着 Gram 正半定 ​

人口偏差里的输入密度项 ​

查询、选择和接续 ​

自测与答案 ​

反向链接