分割共形预测

校准集负责测量“这套已经冻结的评分规则会犯多大的错”。把新测试分数也放进来，它与校准分数的地位对称，因此不能总落在最高的少数几个位置。选择阈值就是预先规定允许落在阈值之外的秩数量。

这里的有限样本修正使用 $n+1$，因为比较中包含一个尚未看到的新分数。附加的 $+\mathrm{\infty }$ 负责处理校准样本过少、所需秩超过 $n$ 的情况；它不应被软件随手截成最大校准分数。

图中的横向位置表示秩而不是残差间距。上行第八个格子决定有限阈值，下行最后一个格子说明极小校准集可能只能给出整个响应空间。

从九个残差到一个预测区间 ​

回归时取 $s_{\mathcal{T}}(x,y)=|y-{\hat{f}}_{\mathcal{T}}(x)|$。设九个校准绝对残差排序后为

若 $\alpha =0.2$，则 $k=\lceil 10\cdot 0.8\rceil =8$，所以 $\hat{q}=0.8$。新输入上若预测器输出 ${\hat{f}}_{\mathcal{T}}(x)=2.3$，反解

得到 $C(x)=[1.5,3.1]$。无需假定残差正态，也无需认为 ${\hat{f}}_{\mathcal{T}}$ 是正确条件均值；预测器不好时区间可能很宽，覆盖保证并不保证有用的宽度。

若只有 $n=4$ 个校准点而要求 $90\mathrm{\%}$ 覆盖，$k=\lceil 5\cdot 0.9\rceil =5$，阈值就是 $+\mathrm{\infty }$。绝对残差评分于是返回 $\mathbb{R}$。若擅自改用最大校准残差，无并列情形覆盖只有 $4/5$，达不到 $0.9$。

覆盖的概率究竟对谁取 ​

这是对未来响应 $Y_{n+1}$ 的预测集合，不是关于固定总体参数的抽样置信区间公理库置信区间Confidence interval · Confidence set以重复抽样覆盖率校准参数区间，并从正态枢轴与二项等尾检验反演算出有限样本端点。。例如均值置信区间随着样本增加可以很窄，但单个新响应仍有自身噪声，两种区间的目标和随机性不同。置信序列公理库置信序列Confidence sequence · Anytime-valid confidence sequence · 时间一致置信序列一列随数据更新的随机置信集合，以规定概率在所有时间同时覆盖同一个固定参数目标。进一步要求同一个固定参数在所有时间同时被覆盖；本页对一个未来响应的边际覆盖不能直接推出这种全时间事件。

边际覆盖平均了校准集和测试对的随机性。它不保证每个固定 $x$ 都有 $1-\alpha$ 条件覆盖，也不保证每份已经固定的校准集都达到该比例。若容易预测的群体占 $90\mathrm{\%}$，困难群体占 $10\mathrm{\%}$，一个程序可能在前者覆盖全部、后者全部漏掉，整体仍有 $90\mathrm{\%}$ 覆盖；仅给出整体数字不能排除这种分配。

若用同一校准集反复选择评分函数、调参再报告普通阈值，训练和校准的角色已混淆，上述冻结条件不再自动满足。时间漂移或按结果选择测试数据也可能破坏可交换性，需要另行适用的保证。

秩证明 ​

给定训练信息，$S_1,\dots ,S_{n+1}$ 可交换。先假设无并列，则测试分数的秩均匀分布于 $1,\dots ,n+1$。当 $k\le n$ 时，事件 $S_{n+1}\le \hat{q}$ 等价于测试分数在这 $n+1$ 个真实分数中的秩不超过 $k$，故概率为 $k/(n+1)\ge 1-\alpha$；当 $k=n+1$ 时阈值为无穷大，覆盖概率为一。

有并列时，给各分数附上随机数 $U_i$；这些随机数相互独立、均服从 $\mathrm{Uniform}(0,1)$，且整个随机数向量独立于原始数据、训练信息及分数向量。按“分数、随机数”作字典序排序，测试秩仍均匀。随机打破并列后秩不超过 $k$ 的事件包含在原来使用 $\le \hat{q}$ 的覆盖事件中，因而原覆盖不会更小。这解释了为何下界稳定，而上界需要排除或随机处理并列。

若希望历史数据全部参与拟合，全共形预测公理库全共形预测Full conformal prediction · Transductive conformal prediction · 全保形预测把候选响应加入数据后对称地重新拟合，以全部分数的秩检验候选值，在可交换性下构造有限样本预测集合。对每个候选响应增广数据并对称重拟合，使候选点与历史点共同接受评分；覆盖仍来自可交换秩，但历史分数及阈值都随候选改变。

分类问题可用 $s_{\mathcal{T}}(x,y)=1-{\hat{p}}_{\mathcal{T}}(y\mid x)$，输出所有分数不超过阈值的标签；不要求这些模型概率本身已校准。回归也可用按输入尺度归一化的残差，让集合宽度随 $x$ 改变，但尺度估计和评分规则仍应在校准前冻结。评分选择影响集合效率，可交换秩负责覆盖，两个任务应分别检查。

自测 ​

设 $n=19,\alpha =0.1$，应选择哪个秩？答案为 $k=18$；无并列时覆盖为 $18/20=0.9$。若全部校准及测试分数都相同，仍使用非严格不等式，覆盖是多少？答案为一；因此不能在有并列时宣称覆盖恰为 $0.9$。