CV+ 交叉验证预测区间

交叉验证能让每条历史数据都接受一次样本外预测。CV+将这些预测用于区间构造，但不会把高度重叠的折外模型当成独立实验。它与留一版本的区别，会在可用模型数和最坏覆盖修正中同时出现。

形式陈述

预先固定等大折

沿用交叉验证的隔离协议。取整数 $K\ge2,m\ge1$ ，令 $n=Km$ ，把 n 个历史索引预先分成 K 个大小为 m 的折 $I_1,\ldots,I_K$ 。划分固定，或由独立于数据的随机性产生。历史数据与未来点独立同分布；拟合算法 A 确定、可测且对输入样本排列不变，预处理与调参均包括在其折外流程中。

记 k(i)为第i点所在折， $\widehat f_{-k}=A((Z_j)_{j\notin I_k})$ ，令

R_i=|Y_i-\widehat f_{-k(i)}(X_i)|,

a_i(x)=\widehat f_{-k(i)}(x)-R_i,\qquad b_i(x)=\widehat f_{-k(i)}(x)+R_i.

固定 $0<\alpha<1/2$ ，取 $\ell=\lfloor\alpha(n+1)\rfloor,u=\lceil(1-\alpha)(n+1)\rceil$ ，按顺序统计量返回

C^{\rm CV+}(x)=[a_{(\ell)}(x),b_{(u)}(x)],\tag{1}

并仍约定0阶下端为负无穷、n+1阶上端为正无穷。以下有限样本保证成立：

P\{Y_{n+1}\in C^{\rm CV+}(X_{n+1})\} \ge1-2\alpha-\frac{1-K/n}{K+1}.\tag{2}

右端若为负，只是一个没有信息的下界。这里证明一项透明的保守保证，不声称它是最锐常数。K=n时 m=1，修正项为零，算法严格变成Jackknife+。

直觉

同一折里的每个点都被同一模型排除。若只问它们的残差，就没有“为这两个点单独删去相同对象”的跨位置比较。证明因此将测试点补成一整折，再让折与折交换、折内位置交换。它保留的对称性少于任意位置置换，却仍足以使每个位置有同样的异常概率。

补足未来折，但不要求程序读取它

为了证明，可以在真实测试点旁再生成 m−1 个独立同分布未来点。现在共有 $N=n+m=(K+1)m$ 个点，分成 K+1 个等大折，最后一折全部是未来点。

对不同折中的 i,j，删去它们所在的两整折，拟合 $\widetilde f_{-(k(i),k(j))}$ ，并定义

Q_{ij}=|Y_i-\widetilde f_{-(k(i),k(j))}(X_i)|,\qquad H_{ij}=\mathbf1\{Q_{ij}>Q_{ji}\}.

同折位置直接规定 $H_{ij}=0$ 。跨折比较满足 $H_{ij}+H_{ji}\le1$ ，每个位置至多与 n 个其他折位置比较。删两折后剩 N−2m=n−m 个训练点；当i在测试折、j在原第k折时，模型恰好就是实际的 $\widehat f_{-k}$ 。

这些额外点只存在于概率证明。推断程序仍只读取 n 条历史数据与一个新输入。

例子与边界

同一份四点资料，两次拟合替代四次

响应为 $(0,0,2,4)$ ，预测算法仍返回训练响应均值。预先选 $I_1=\{1,2\},I_2=\{3,4\}$ ，取 $\alpha=1/5$ 。两个折外模型分别恒预测3和0。

残差和端点为

R=(3,3,2,4),\qquad a=(0,0,-2,-4),\qquad b=(6,6,2,4).

因此式(1)给 $[-4,6]$ ，比这份资料上留一法的 $[-8/3,4]$ 宽。每个模型只见两个训练点；计算省下来了，拟合信息也改变了。一般模型和数据下宽度未必按此方向排序。

$n=4,K=2$ 时修正为 $1/6$ ，式(2)只保证

1-2/5-1/6=13/30.

这不是声称实际覆盖等于13/30，而是提醒小样本下该统一界可能很松。不能把实际打印出的“80%区间”当成已证明至少80%的标签。

并列、折数与数据依赖划分

同样的输出分位数仍使用 n+1，而非 K+1。参与端点列表的是 n 个带重数的样本残差，不是 K 个独立折均值。把每折先平均成一个残差，再套相同公式，会得到另一个算法。

定理的等大折要求 n被K整除。不等大折、按标签分层、按误差聚类后切折，都需要重新建立所需置换结构，不能凭名称仍叫交叉验证就沿用式(2)。预测时间序列或按实体成组的资料，IID假设也可能不合适。

Jackknife+的有限n+1点可交换性已经足以支撑其证明；这里为生成完整额外折，明确采用IID样本。只有手中n+1维向量可交换，不保证它可以延拓到n+m维，不能把这份证明偷偷用于任意有限可交换向量。

推论与应用

折内未比较项怎样产生修正

令 $t=\lceil(1-\alpha)(n+1)\rceil$ ，定义异常集合

S=\{i:\sum_jH_{ij}\ge t\},\quad s=|S|,\quad s_k=|S\cap I_k|.

若s>0，每个异常点在其他折的n个比较中，至多有n−t次不赢。S中跨折的无序点对至少贡献一次不赢；同折点对则不参加比较。因此

\frac{s(s-1)}2 \le s(n-t)+\sum_{k=1}^{K+1}\frac{s_k(s_k-1)}2.

因为每个 $s_k\le m$ ，最后一项至多 $s(m-1)/2$ 。整理得

s\le2(n-t)+m \le2\alpha(n+1)+m-2.

当右端为负时不可能存在非空S；空集单独处理即可。又因

2\alpha(n+1)+m-2 \le2\alpha(n+m)+(m-1),

总有

\frac{|S|}{n+m}\le2\alpha+\frac{m-1}{n+m} =2\alpha+\frac{1-K/n}{K+1}.\tag{3}

只使用保留折结构的对称性

IID数据保证增广样本可交换，但H的定义还使用折。故这里只允许整体交换等大折，以及在各折内置换位置。这些置换保持“两个位置是否同折”的关系，拟合对排列不变，所以H的联合律在相应同行同列置换下不变。

这组置换仍能把任意一个位置送到另一个位置：先交换所在折，再作折内置换。因此各点属于S的概率相同， $P(n+1\in S)=E|S|/(n+m)$ 。这一步不要求全部比较项独立，也没有把折标记抹掉后宣称完全置换不变。

若真实测试响应超出式(1)上端，至少t个历史端点低于它；若低于下端，也至少有 $n-\ell+1=t$ 个端点高于它。每个对应的实际折外残差比较都使 $H_{n+1,j}=1$ ，故漏覆盖推出测试点属于S。结合式(3)，即得式(2)。这是端点计数与保折对称性两项共同产生的保证。

训练需K次规模n−m的拟合及n次残差评价。每个新输入只需求K个模型值，再展开对应n个端点并排序，成本 $O(Kc_f+n\log n)$ ，端点空间 $O(n)$ ；模型存储和训练成本另计。不能将证明中的全部删两折模型计入实际运行成本。

已有交叉验证估计训练流程风险；CV+则用对应残差和新点模型值构造预测集合。二者复用同一切分协议，却输出不同统计对象。若需要更高的名义最坏覆盖，应按式(2)反解内部α并检查它是否为正，再确定有限端点是否可能出现。

参考资料

Rina Foygel Barber, Emmanuel J. Candès, Aaditya Ramdas, Ryan J. Tibshirani，Predictive Inference with the Jackknife+，2021，§3 Theorem4(b)及AppendixB.2.2（所阅作者稿PDF第34–36页）。本文完整写出该项修正、等大折的传递置换与未比较点对的计数，不混入需另证的另一项更锐界。

形式陈述 ​

预先固定等大折 ​

补足未来折，但不要求程序读取它 ​

同一份四点资料，两次拟合替代四次 ​

并列、折数与数据依赖划分 ​

折内未比较项怎样产生修正 ​

只使用保留折结构的对称性 ​

反向链接