Skip to content

算法Algorithm

共形化分位回归

Conformalized quantile regression · CQR

用冻结分位曲线的有符号越界分数校准非等宽预测集合,完整处理负阈值收缩、空集和边际覆盖不等于群组覆盖。

不同输入附近的响应波动可能相差很大。先用分位回归学习上下边界,可以让预测集合随输入改变形状;再用独立校准资料修正边界,可以把有限样本覆盖与分位模型是否准确分开。

形式陈述 ​

冻结两条曲线,再校准一个有符号量 ​

先在训练资料上拟合两条可测、实值曲线 l(x)≤u(x),通常来自分位回归的两个预定分位水平。以下条件于这份训练结果;校准对 (Xi,Yi),1≤i≤n 与一个未来对仍须可交换,且不再使用其标签修改曲线、分位水平或评分规则。

定义

Ei=max{l(Xi)−Yi, Yi−u(Xi)}.

取 0<α<1、k=⌈(n+1)(1−α)⌉,将 n 个分数从小到大排序。若 k≤n,令 q=E(k);若 k=n+1,令 q=+∞。输出

(1)C(x)={y:max(l(x)−y,y−u(x))≤q}.

有限 q 时,完整反解为

(2)C(x)=[l(x)−q,u(x)+q],

其中左端大于右端表示空集,而不是交换两个端点。q=+∞ 时输出整个实轴。

这正是分割共形预测采用上述固定评分函数的特例,因此

(3)P{Yn+1∈C(Xn+1)∣训练资料}≥1−α.

两条曲线不必等于真实条件分位数,也不必来自一致估计量。它们的准确性影响集合宽度与输入间的资源分配;覆盖下界来自冻结评分和可交换秩。

直觉

响应在原区间外时,E 是离最近端点的正距离。在原区间内时,E 为负,绝对值是到最近端点的距离。若大多数校准响应离边缘很远,负校准阈值会把原区间向内收;若原区间经常漏掉响应,正阈值会向外扩。

为什么不能把负分数偷偷置零 ​

例如原区间是 [0,4],响应为2时分数是−2,响应为5时分数是1。把第一种分数截为零会失去“原边界过宽”的信息。若最后把 q 改成 q+=max(q,0),得到的是包含式(1)的更大集合,因此仍有覆盖下界,但已经是只能扩不能缩的另一个程序。

q 是一个共同的加法修正;原宽度 u(x)−l(x) 仍随输入变化。有限且非空时新宽度为 u(x)−l(x)+2q,不是固定半径的对称残差区间。这个几何区别正是分位模型提供的接口。

例子与边界

同一个负阈值,可让宽区间收缩,也可使窄区间为空 ​

在九个校准输入上,冻结边界均为 [0,4],响应依次为

(2,1,3,3/2,1/2,7/2,1/5,19/5,5).

对应分数为

(−2,−1,−1,−3/2,−1/2,−1/2,−1/5,−1/5,1).

取 α=1/5,则 k=8,q=−1/5。新输入若有原边界 [0,4],输出 [1/5,19/5];另一个输入若有原边界 [1,6/5],两个校准端点为 6/5 与1,输出为空。

空集不是排序错误。在那个窄区间中,任何 y 的分数都不小于−1/10,无法达到−1/5的接受条件。覆盖保证平均了校准资料和未来输入,并没有承诺每个输入得到非空集合。

一个边际精确合格、稀有群组仍严重漏盖的总体 ​

令输入有两组,P(X=A)=9/10,P(X=B)=1/10。条件于A,响应在 [0,4] 均匀,冻结边界也取 [0,4];条件于B,响应在 [1,6/5] 均匀,边界取同一区间。两组原边界甚至都覆盖自己的全部响应。

A组的分数在 [−2,0] 均匀,B组在 [−1/10,0] 均匀。混合分数分布连续,其分布函数在相应两段为

F(s)={9/10+(9/20)s,−2≤s<−1/10,1+(29/20)s,−1/10≤s≤0.

仍取独立校准样本 n=9,k=8。对固定未来分数 s,s≤E(8) 当且仅当九个校准分数中至多七个严格低于 s。用二项计数计算这个事件,记

H(v)=∑j=07(9j)vj(1−v)9−j.

因 F(−1/10)=171/200,将这个接受概率按各组分数密度积分,得到

P(Y∈C(X)∣X=B)=20029∫171/2001H(v)dv≈0.152815,P(Y∈C(X)∣X=A)=109∫0171/200H(v)dv+1029∫171/2001H(v)dv≈0.871909.

加权后恰为0.8,与连续可交换秩的 k/(n+1) 一致。积分只是多项式有理数积分,可在本单元脚本中精确重算。B组空集的校准概率还达到

P{Bin(9,171/200)≥8}≈0.616854.

因此即使原曲线具有漂亮的异方差形状,共用一个边际校准阈值也不自动给出群组覆盖。需要群组保证时,应使用预先定义群组的校准合同,不能从式(3)直接条件化。

图左固定一次 q=−0.2,图右对九个观测组成的随机校准集平均。右图的总体0.8来自两组加权,不表示每个输入都获得0.8覆盖。

交叉曲线、缺失拟合与泄漏 ​

实际分位模型可能输出上下交叉的曲线。可以在校准前固定规则,例如把两条曲线逐点取最小和最大。它成为新的冻结评分函数,秩证明仍适用。若看过校准标签后挑选最有利的修复规则,再用同一批资料套式(3),就失去了当前证明的冻结条件。

仅对已经成功输出有限边界的输入使用程序,也可能引入选择。若模型会失败,应预先规定一个可测后备集合或评分规则,并在校准与未来点上一致执行。

推论与应用

从评分接受到覆盖,不需再证明一次分位回归正确 ​

式(1)中两个不等式分别为 y≥l(x)−q 与 y≤u(x)+q,所以式(2)包括了全部候选 y,没有额外的区间凸包步骤。

在包含未来点的 n+1 个分数中,随机打破并列后的测试秩均匀。若其秩至多 k,则其分数不超过校准第 k 小分数;使用非严格接受只会多收并列值。因此有限 k 时覆盖至少 k/(n+1)≥1−α,无穷阈值时覆盖为一。这里实际调用的就是分割共形的秩机制;无需把各分位模型的估计误差另外塞进覆盖界。

训练成本由两条曲线的拟合决定;校准需 n 次双端点评价和排序,通常为 O(nlog⁡n),也可只选择第 k 项。之后每个新输入只评估两条曲线并加减 q,不重训模型。常数时间的端点计算并不包括模型本身的预测成本。

若关心一份已经固定的校准资料将来会覆盖多少,校准资料条件覆盖会对随机阈值诱导的总体覆盖率再给一个外层概率界。这个要求与群组覆盖仍不同。

参考资料
  • Yaniv Romano, Evan Patterson, Emmanuel J. Candès,Conformalized Quantile Regression,2019,§4,式(9)–(11)及Theorem1:冻结分位曲线、有符号分数与有限样本秩。本页完整反解空集,并自行构造两组均匀总体的多项式覆盖算例。
关系图谱11 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
分类位置

上位 / 更一般

下位 / 直接特例

暂未标注直接特例。

类型化关系

使用的工具