交叉拟合与正交得分

每折留出的数据像一次临时的独立测试：条件于训练资料后，nuisance 函数已固定，而留出观测仍按原分布独立产生。这让我们控制“用拟合函数替换真实函数后，评价平均增加了多少随机噪声”。正交性另把平均偏差降为两个误差的乘积。少了任何一项，不能从“做了交叉拟合”四个字推出正态区间。

余项账本及证明 ​

写 $h_k={\varphi }_{{\hat{\eta }}^{(-k)}}-{\varphi }_{{\eta }_0}$、$w_k=n_k/n$。直接加减期望有

最后一项是偏差。由上面的恒等式和Cauchy–Schwarz 不等式理路Cauchy–Schwarz 不等式Cauchy–Schwarz inequality · 柯西–施瓦茨不等式内积的绝对值不超过两向量范数之积，且等号精确刻画线性相关。，

中间一项是评价噪声。展开得分差为

分母下界与条件方差上界给 $\Vert h_k{\Vert }_{L^2(P)}\le C_1\Vert \hat{m}-m{\Vert }_2+C_2\Vert \hat{e}-e{\Vert }_2=o_P(1)$。条件于 $I_k^c$ 及其拟合随机种子，留出折仍 IID，所以中心化评价均值的条件方差至多 $\Vert h_k{\Vert }_2^2/n_k$。条件版Chebyshev 不等式理路Chebyshev 不等式Chebyshev's inequality随机变量偏离均值至少给定距离的概率由方差除以距离平方控制。推出 $\sqrt{n}(P_{n,k}-P)h_k=o_P(1)$；若随机方差只依概率趋零，可先限制到 $\Vert h_k{\Vert }_2^2\le \delta$ 的高概率事件，再令 $\delta \downarrow 0$，无需假设其期望也趋零。

固定 $K$ 个小 $o_P$ 项相加仍是小 $o_P$，不要求不同折独立。首项对固定真实得分应用中心极限定理理路中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。，再由Slutsky 定理理路Slutsky 定理Slutsky's theorem依分布收敛随机量与依概率收敛常量组合时，和、积与合法商保持相应分布极限。去掉余项，完成结论。

四条记录的索引级执行 ​

令已知观察概率为 $e=1/2$。第一折 $I_1=\{1,2\}$：第1条 $R=1,Y=2$，第2条 $R=0$；第二折 $I_2=\{3,4\}$：两条均 $R=1$，观测结局为4和6。用“训练集中已观察结局的平均”作为常数回归器。

评价第一折时只能在 $\{3,4\}$ 上训练，得到 ${\hat{m}}^{(-1)}=5$，两个得分为 $5+2(2-5)=-1$ 与5。评价第二折时在 $\{1,2\}$ 上训练，得到 ${\hat{m}}^{(-2)}=2$，两个得分为6和10。因此 $\hat{\mu }=(-1+5+6+10)/4=5$。

这共训练两次、评价四个得分。若两种 nuisance 都须学习，就是每折各训练一个结局模型和一个观察概率模型；总训练成本为各折完整学习器成本之和，评价阶段为 $O(n)$ 次预测与标量运算。训练折没有任何已观察结局时，这个具体学习器无定义，必须预先指定失败或后备规则，不能偷看评价折填补。

若错误地用全数据拟合常数回归，常数变为4，四个得分变为 $0,4,4,8$，最后得到4。两种输出之差只说明执行协议真的不同，这个小样本不证明其中某个数更接近未知总体均值，也不验证渐近速率。

L² 中完美的拟合仍可能在复用数据时失败 ​

令 $X\sim \mathrm{Uniform}[0,1]$，$R\sim \mathrm{Bernoulli}(1/2)$，$Y\sim N(0,1)$，三者独立。真实 $m=0$、$e=1/2$。构造一个故意记忆训练资料的拟合器：在训练中 $R_i=1$ 的位置 $X_i$ 返回 $Y_i$，在 $R_i=0$ 的位置返回1，在其他位置返回0。

由于训练位置只有有限个，一条新的连续 $X$ 以概率一不会命中它们；这个拟合器相对于真实 $m$ 的 $L^2(P_X)$ 误差恰为零。然而若在原训练样本上评价，得分为 $R_i{Y}_i+(1-R_i)$，其平均趋于 $1/2$，不是目标零。失败的是条件独立评价步骤，不能用人口范数替代对样本自适应选点的控制。

按交叉拟合执行时，留出 $X_i$ 以概率一不等于任何训练位置，所以得到预测0、得分 $2R_i{Y}_i$。其均值为零、方差为2，普通IID平均理论恢复适用。这个反例用来定位数据复用风险，不建议采用这种学习器。

用各条样本外得分 ${\hat{\varphi }}_i$ 构造 ${\hat{\sigma }}^2=n^{-1}\sum _i({\hat{\varphi }}_i-\hat{\mu }{)}^2$。逐折条件化先给 $P_{n,k}{h}_k^2=o_P(1)$，再由 Cauchy–Schwarz 控制真实与拟合得分平方之差，结合真实得分的大数律理路强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。得到 ${\hat{\sigma }}^2{\to }_P{\sigma }^2$；标准误为 $\hat{\sigma }/\sqrt{n}$。四行算例的经验方差为 $31/2$，标准误为 $\sqrt{31/8}$，只是一项可复算输出，不是四个样本已经支持名义覆盖的证据。

交叉拟合不能修复缺失不随机、缺乏观察概率下界或错误的目标定义。若有家庭等相关单元，应按独立单元分折；随机拆散同一家庭的行可能重新引入依赖。重复很多次分折并挑最显著结果，也超出了预先固定协议的保证。

自测与答案 ​

1. 两个 nuisance 误差分别为 $O_P(n^{-0.30})$ 和 $O_P(n^{-0.25})$，乘积条件是否足够？答案：乘积为 $O_P(n^{-0.55})=o_P(n^{-1/2})$，足够；两者都只有 $O_P(n^{-1/4})$ 则仅得到大 $O_P(n^{-1/2})$，不足以由这条界排除一阶偏差。
2. 五折拟合是否让五个折均值独立？答案：不。训练集彼此大量重叠；证明逐折条件化，然后利用固定有限项相加，不采用折间独立性。