Jackknife+ 预测区间 | Codeboy's Blog

留掉一个样本再预测它，可以避免这个样本直接参与自己的拟合。但这些留一残差来自不同模型，不能当作同一个冻结模型的独立校准分数。Jackknife+同时保留每个留一模型对新输入的预测，让这份模型变化进入区间端点。

形式陈述

同一个留一模型产生一对端点

设 $n\ge2$ ，数据对 $Z_1,\ldots,Z_n,Z_{n+1}$ 可交换，响应为实数。取确定、可测、对样本排列不变的拟合算法 $A$ ，输出实值预测器。随机算法可先固定一个独立于数据的共同随机种子，再要求得到的算法对排列不变。

记 $\widehat f_{-i}=A((Z_j)_{j\ne i,j\le n})$ ，留一残差为

R_i=|Y_i-\widehat f_{-i}(X_i)|.

固定 $0<\alpha<1/2$ 。给定新输入 x，逐个计算

a_i(x)=\widehat f_{-i}(x)-R_i,\qquad b_i(x)=\widehat f_{-i}(x)+R_i.

将两列分别按带重数的顺序统计量排序，令

\ell=\lfloor\alpha(n+1)\rfloor,\qquad u=\lceil(1-\alpha)(n+1)\rceil.

约定 $a_{(0)}=-\infty,b_{(n+1)}=+\infty$ ，返回闭区间

C^+(x)=[a_{(\ell)}(x),b_{(u)}(x)].\tag{1}

则

P\{Y_{n+1}\in C^+(X_{n+1})\}\ge1-2\alpha.\tag{2}

概率平均了训练样本与未来点；没有固定住某份训练资料，也没有条件于每个输入 x。要求至少90%的最坏覆盖时，可用内部参数 $\alpha=0.05$ 。把 $\alpha=0.1$ 的常见经验表现直接标成无条件定理保证90%，会漏掉式(2)的因子二。

直觉

一个模型删掉异常点后可能向左移，另一个模型删掉普通点后可能向右移。只在全数据模型周围加同一残差分位数，会忽略这些中心变化。式(1)先为每个模型生成自己的左右端点，再分别排序，不必让最终区间围绕某一个拟合值对称。

证明也不是让全部 $R_i$ 与某个新残差共享一个秩。它在一份包含真实未来点的假想数据上，每次删掉两个点，让被比较的两点面对同一个模型。每一对至多有一方残差严格更大，因此不可能有太多点同时赢过几乎所有其他点。

一个有限比较计数

令 $N=n+1$ 。对任意零对角的0–1矩阵 H，假设 $H_{ij}+H_{ji}\le1$ 。记

S=\{i:\sum_jH_{ij}\ge u\},\qquad u=\lceil(1-\alpha)N\rceil.

若 $s=|S|>0$ ，每个 S 中的点对其余 $N-1$ 点，至多有 $N-1-u$ 次“不赢”。S 内每个无序点对至少贡献一次不赢，包括并列时的两次。因此

\frac{s(s-1)}2\le s(N-1-u),\qquad s\le2(N-u)-1\le2\alpha N.

若 $S$ 为空，最后的弱界同样成立。这里不要求每对恰有一方赢，所以并列残差不会破坏结论。

例子与边界

四个响应，得到一个不以全样本均值为中心的区间

忽略输入，算法返回训练响应均值。历史响应为 $(0,0,2,4)$ ，取 $\alpha=1/5$ 。四个留一均值和残差分别是

\widehat f_{-i}=(2,2,4/3,2/3),\qquad R_i=(2,2,2/3,10/3).

新输入上仍使用这些常数预测，得到

a_i=(0,0,2/3,-8/3),\qquad b_i=(4,4,2,4).

此时 $\ell=1,u=4$ ，所以 $C^+=[-8/3,4]$ 。全样本均值为 $3/2$ ，式(1)无需围绕它对称。若用全样本中心加减同样的最大留一残差，则得到 $[-11/6,29/6]$ ，是另一种算法；两个区间甚至互不包含。

为什么普通留一残差加全样本中心仍可能失败

设响应恒为零。定义一个排列不变却不稳定的算法：训练样本数为偶数时恒预测100，为奇数时恒预测0。取 $n=4,\alpha=1/5$ 。所有留一模型都在三个零上训练，故预测和残差全为零；全数据模型却预测100。

用全数据中心加残差分位数，得到 $\{100\}$ ，未来零响应的覆盖为零。Jackknife+得到 $\{0\}$ ，覆盖为一。例子只改变训练规模就使算法跳变，已经足够否决“留一残差自然保证覆盖”；定理并不要求这个拟合算法准确或稳定。

旧Jackknife偏差与方差估计也逐点删除，但它研究统计量敏感性与伪值，不等于式(1)的预测集合。共享删除操作不意味着共享有限样本覆盖证明。

小样本与实施边界

若 $\alpha<1/(n+1)$ ，则 $\ell=0,u=n+1$ ，式(1)输出整个实轴。把无穷端点截成观测极值会改变程序。端点接受用非严格比较，证明中的异常比较则严格；将并列端点删除也可能损失当前保证。

拟合算法可包含调参，但每次留一拟合必须按同一个预定流程，仅读取其允许的数据。若先用全数据标签选超参数，然后在每次删除中偷用这个结果，删二对称构造通常已不是实际算法。拟合失败时也须有预先规定的对称返回规则，不能只丢掉不方便的残差。

推论与应用

将比较矩阵与漏覆盖事件接起来

在包含真实测试点的 N 份数据中，对不同 i,j 定义删二模型

\widetilde f_{-(i,j)}=A((Z_k)_{k\notin\{i,j\},k\le N}),

以及

Q_{ij}=|Y_i-\widetilde f_{-(i,j)}(X_i)|,\qquad H_{ij}=\mathbf1\{Q_{ij}>Q_{ji}\},\quad H_{ii}=0.

两点使用同一个模型，故 H 满足前面的比较条件。算法排列不变与数据可交换使 H 的联合律在同时置换行列时保持不变。因此每个位置落入 S 的概率相同，

P(N\in S)=\frac{E|S|}{N}\le2\alpha.

现在取 $i=N$ 。删掉 N 和 j 的模型恰为实际的 $\widehat f_{-j}$ 。若 $Y_N>b_{(u)}(X_N)$ ，至少 u 个 j 满足

Y_N>\widehat f_{-j}(X_N)+R_j,

从而 $Q_{Nj}>R_j=Q_{jN}$ 。若 $Y_N<a_{(\ell)}(X_N)$ ，至少 $n-\ell+1=N-\ell=u$ 个 j 给出同样的严格残差比较。无穷端点时对应事件不发生。于是漏覆盖必然推出 $N\in S$ ，式(2)成立。

这个证明中的删二拟合只用于分析，并不要求用户在预测时真的拟合全部 $\binom N2$ 个模型。实际训练需 n 次规模 n−1 的拟合；校准需 n 次留一点评分。每个新输入再调用 n 个模型并排序两列，时间为 $O(nc_f+n\log n)$ ，端点工作存储为 $O(n)$ ；保存模型的空间和训练成本另计。精确选择算法可代替完整排序。

CV+将留一改为等大折删除，K=n时更新式恢复为式(1)。本页覆盖定理只需有限可交换性，CV+页为证明一般折数的保证使用IID数据，两个统计前提仍须分别保留。K较小时拟合次数减少，但折内点之间缺少同一套两点比较，需要相应有限样本修正。两者都不能因为复用了更多训练数据，就无条件承诺区间更短。

参考资料

Rina Foygel Barber, Emmanuel J. Candès, Aaditya Ramdas, Ryan J. Tibshirani，Predictive Inference with the Jackknife+，The Annals of Statistics49(1),486–507,2021；所阅作者稿§1.2、§2 Theorem1、§6（PDF第17–20页）。本文展开含并列的比较计数与双端点事件，并另构造训练规模跳变反例。

形式陈述 ​

同一个留一模型产生一对端点 ​

一个有限比较计数 ​

四个响应，得到一个不以全样本均值为中心的区间 ​

为什么普通留一残差加全样本中心仍可能失败 ​

小样本与实施边界 ​

将比较矩阵与漏覆盖事件接起来 ​

反向链接