不同输入附近的响应波动可能相差很大。先用分位回归学习上下边界,可以让预测集合随输入改变形状;再用独立校准资料修正边界,可以把有限样本覆盖与分位模型是否准确分开。
形式陈述
冻结两条曲线,再校准一个有符号量
先在训练资料上拟合两条可测、实值曲线 ,通常来自分位回归理路分位数回归与 pinball 损失Quantile regression · Pinball loss · Check loss · 分位数损失用不对称绝对损失定位条件分位数,推导总体最优性、分组与局部加权解,并区分函数类限制和预测覆盖。的两个预定分位水平。以下条件于这份训练结果;校准对 与一个未来对仍须可交换,且不再使用其标签修改曲线、分位水平或评分规则。
定义
取 、,将 n 个分数从小到大排序。若 ,令 ;若 ,令 。输出
有限 q 时,完整反解为
其中左端大于右端表示空集,而不是交换两个端点。 时输出整个实轴。
这正是分割共形预测理路分割共形预测Split conformal prediction · 分割保形预测用冻结评分规则的校准秩构造预测集合,并在预先固定群组内分别校准,以获得边际或群组覆盖保证。采用上述固定评分函数的特例,因此
训练资料两条曲线不必等于真实条件分位数,也不必来自一致估计量。它们的准确性影响集合宽度与输入间的资源分配;覆盖下界来自冻结评分和可交换秩。
直觉
响应在原区间外时,E 是离最近端点的正距离。在原区间内时,E 为负,绝对值是到最近端点的距离。若大多数校准响应离边缘很远,负校准阈值会把原区间向内收;若原区间经常漏掉响应,正阈值会向外扩。
为什么不能把负分数偷偷置零
例如原区间是 ,响应为2时分数是−2,响应为5时分数是1。把第一种分数截为零会失去“原边界过宽”的信息。若最后把 q 改成 ,得到的是包含式(1)的更大集合,因此仍有覆盖下界,但已经是只能扩不能缩的另一个程序。
q 是一个共同的加法修正;原宽度 仍随输入变化。有限且非空时新宽度为 ,不是固定半径的对称残差区间。这个几何区别正是分位模型提供的接口。
例子与边界
同一个负阈值,可让宽区间收缩,也可使窄区间为空
在九个校准输入上,冻结边界均为 ,响应依次为
对应分数为
取 ,则 。新输入若有原边界 ,输出 ;另一个输入若有原边界 ,两个校准端点为 与1,输出为空。
空集不是排序错误。在那个窄区间中,任何 y 的分数都不小于−1/10,无法达到−1/5的接受条件。覆盖保证平均了校准资料和未来输入,并没有承诺每个输入得到非空集合。
一个边际精确合格、稀有群组仍严重漏盖的总体
令输入有两组,。条件于A,响应在 均匀,冻结边界也取 ;条件于B,响应在 均匀,边界取同一区间。两组原边界甚至都覆盖自己的全部响应。
A组的分数在 均匀,B组在 均匀。混合分数分布连续,其分布函数在相应两段为
仍取独立校准样本 。对固定未来分数 s, 当且仅当九个校准分数中至多七个严格低于 s。用二项计数理路二项分布Binomial distribution固定次数独立同概率 Bernoulli 试验中成功总数的离散分布。计算这个事件,记
因 ,将这个接受概率按各组分数密度积分,得到
加权后恰为0.8,与连续可交换秩的 一致。积分只是多项式有理数积分,可在本单元脚本中精确重算。B组空集的校准概率还达到
因此即使原曲线具有漂亮的异方差形状,共用一个边际校准阈值也不自动给出群组覆盖。需要群组保证时,应使用预先定义群组的校准合同,不能从式(3)直接条件化。
图左固定一次 ,图右对九个观测组成的随机校准集平均。右图的总体0.8来自两组加权,不表示每个输入都获得0.8覆盖。
交叉曲线、缺失拟合与泄漏
实际分位模型可能输出上下交叉的曲线。可以在校准前固定规则,例如把两条曲线逐点取最小和最大。它成为新的冻结评分函数,秩证明仍适用。若看过校准标签后挑选最有利的修复规则,再用同一批资料套式(3),就失去了当前证明的冻结条件。
仅对已经成功输出有限边界的输入使用程序,也可能引入选择。若模型会失败,应预先规定一个可测后备集合或评分规则,并在校准与未来点上一致执行。
推论与应用
从评分接受到覆盖,不需再证明一次分位回归正确
式(1)中两个不等式分别为 与 ,所以式(2)包括了全部候选 y,没有额外的区间凸包步骤。
在包含未来点的 个分数中,随机打破并列后的测试秩均匀。若其秩至多 k,则其分数不超过校准第 k 小分数;使用非严格接受只会多收并列值。因此有限 k 时覆盖至少 ,无穷阈值时覆盖为一。这里实际调用的就是分割共形的秩机制;无需把各分位模型的估计误差另外塞进覆盖界。
训练成本由两条曲线的拟合决定;校准需 n 次双端点评价和排序,通常为 ,也可只选择第 k 项。之后每个新输入只评估两条曲线并加减 q,不重训模型。常数时间的端点计算并不包括模型本身的预测成本。
若关心一份已经固定的校准资料将来会覆盖多少,校准资料条件覆盖理路给定校准资料后的共形覆盖Calibration-conditional conformal prediction · PAC conformal calibration · Training-conditional coverage把部署规则的条件覆盖率视为随校准资料变化的随机量,以顺序统计量和精确二项尾选择满足双层概率目标的校准秩。会对随机阈值诱导的总体覆盖率再给一个外层概率界。这个要求与群组覆盖仍不同。
参考资料