留出法与交叉验证

训练、选择和评价之所以必须分角色，是因为每次查看分数都会改变下一次要评估的对象。对一个事先固定的模型，测试误差只是独立样本均值；对许多候选里挑出的最低误差，它还包含“偶然最走运者获胜”的选择效应。文件是否命名为 test 无关紧要，真正决定独立性的是这批数据有没有进入决策回路。

交叉验证用轮换减少一次切分造成的样本浪费，却没有制造 $k$ 份新数据。每条样本虽只在一个折里担当测试点，各轮训练集却大幅重叠，所得误差彼此相关。嵌套设计再增加一层隔离，目的不是让分数更漂亮，而是让外层评价面对一套已经在内层完成选择的流程。

从预处理到最终测试的完整协议 ​

假设要在三种特征处理方式和十个正则强度间选择。先保留一次性测试集；在其余数据上进行交叉验证，且每一折内重新拟合标准化、缺失值处理和特征选择，再选出管线。随后用全部非测试数据重新拟合一次，最后只评价一次测试集。

若管线还包含保序概率校准理路保序概率校准与相邻块合并Isotonic probability calibration · Pool adjacent violators在独立校准集上用相邻违反块合并求最优非降概率映射，给出完整执行轨迹、线性时间不变量和累计残差最优性证书。或温度缩放理路温度缩放概率校准Temperature scaling固定分类 logits 后以一个正温度重新分配概率，证明类别排序不变及逆温度目标的凸性，并算出可修正和无法修正的校准例子。，校准映射也是拟合步骤：先固定基础模型，再用它未参与拟合的数据学习映射，最终测试必须隔离整个流程。

若先在全数据上标准化或筛特征，再切折，测试折的信息已进入训练变换，形成数据泄漏。泄漏不一定表现为直接读取标签；用全体样本估计词表、时间窗口或归一化尺度，也可能让评估对象不再是实际部署时可用的训练流程。

时间、群组与分布边界 ​

这里的风险与集中结论以 IID 抽样为基准；仅有可交换性不保证测试损失独立。时间序列应尊重因果顺序，常用滚动或向前验证；同一用户、病人或设备产生的多条记录应按群组切分，避免近重复实体跨越训练和测试。若部署分布与收集分布不同，即使切分完全独立，估计的仍是旧分布风险，不会自动覆盖分布漂移。

分类不平衡时可做分层切分以稳定各折类别比例，但分层不把条件抽样重新变成原始总体；报告指标时仍需说明目标先验和加权方式。极少数群组或稀有类别下，折数选择受实际可分样本数限制。

置信度与重复使用 ​

一次独立测试集支持固定模型的有限样本置信界。若团队根据测试结果继续改模型，再回来报告同一测试集，模型已经依赖测试反馈。此时要么取得新测试集，要么把旧测试集降格为验证数据，并用自适应数据分析理路自适应数据分析Adaptive data analysis · Adaptive statistical queries描述同一数据上的自适应查询，并以完整反馈记录的有限比特预算证明最终查询的泛化保证。机制明确管理复用。

重复多次随机交叉验证可以描述切分敏感性，但这些重复共享大量样本，不能把重复次数当作独立样本量。最可靠的报告会同时给出切分协议、评价对象、候选搜索范围和不确定性计算方法，而不是只给一个平均分。

留出法适合训练数据充足、候选流程已基本确定的场景：它用最简单的协议换取容易解释的最终评价。$k$ 折交叉验证更适合样本有限且需要比较若干候选的场景；折数应同时考虑训练偏差、计算成本、群组约束和每折能否包含足够的稀有类别。

当同一批数据既要调超参数又要报告选择流程的性能时，嵌套交叉验证把内层模型选择与外层评价分开。若最终还要发布一个在全部开发数据上重训的模型，外层结果估计的是训练流程在相应样本规模下的表现，而不是这个最终模型条件于现有数据的精确风险。

若团队会根据测试反馈长期迭代，可在协议层限制公开记录的可能值。自适应数据分析理路自适应数据分析Adaptive data analysis · Adaptive statistical queries描述同一数据上的自适应查询，并以完整反馈记录的有限比特预算证明最终查询的泛化保证。给出一条可计算的有限反馈界，并用两轮比较树说明如何把潜在分支、停止和量化信息计入预算。该界仍要求分析者无法直接访问留出原始数据；简单增加交叉验证重复次数不能替代这项信息隔离。

把协议落实到实体、校准与可用时间 ​

嵌套交叉验证的执行协议理路嵌套交叉验证的执行协议Nested cross-validation protocol · Nested model evaluation protocol对重复实体资料逐层隔离拟合、校准、调参与评价，完整复算内层选择、外层损失和实际拟合次数。将本页的角色分离落实为12个实体、24条重复记录的完整算例。每次明确基础拟合、校准、内评价与外评价索引，分别计15次基础拟合和15次校准；三个外层损失为 $5/32,1/4,5/16$，汇总为 $23/96$。恰好相同的最终分数不能证明数据流相同，必须检查每个预测实际依赖哪些标签。

按群验证理路按群验证与评价目标Grouped validation and risk target · New-group prediction risk先区分新实体与已见实体的预测任务，再按群切分、选择等群或等记录损失，并以独立群数解释评价精度。进一步区分新实体与已见实体的未来记录；前者需要保留整实体的外层隔离。等群与等行汇总对应不同风险目标，不能由软件默认值代选。滚动起点验证理路滚动起点验证与信息可用时间Rolling-origin validation · Forecast-origin evaluation · 滚动预测起点评价按每个预测起点当时真正可用的信息重建训练资料，分别核算预测步长、标签成熟时间、重叠窗口和多次重拟合成本。则按照每个字段的实际可用时间重建训练集：预测步长为 $h$、标签发布延迟为 $d$时，起点 $t$通常只能使用 $s+h+d\le t$的监督标签；仅按事件日期先后切分仍可能读取未来。

若目标不是平均折外损失，而是未来响应集合，CV+理路CV+ 交叉验证预测区间CV+ · Cross-validation plus prediction将每个折外模型的新点预测与本折残差配对，在等大预定折和IID数据下证明保折对称性带来的有限样本覆盖修正。将每个折外模型在新输入的预测与该折残差配对。等大、预先固定的折支持保留折结构的对称性证明，并带有限折修正；不能把各折当独立，也不能把本页的一般分层或时间切分无条件代入该覆盖定理。