共形风险控制 | Codeboy's Blog

预测集合可以不只用“是否盖住真值”评分。例如多标签任务中，漏掉十个真实标签中的一个，比全部漏掉更轻。共形风险控制直接校准这种有界损失，同时保留一个必须说清的概率层次：保证先平均了校准资料，再平均未来损失。

形式陈述

有序有限菜单与安全后备

先固定训练结果、评分方式、参数网格 $\lambda_0<\cdots<\lambda_M$ ，其中 $M\ge1$ 。第 i 个观测产生可测损失函数 $L_i(\lambda_j)$ ，假设这 $n+1$ 条随机函数可交换，且几乎必然满足

0\le L_i(\lambda_{j+1})\le L_i(\lambda_j)\le B, \qquad L_i(\lambda_M)=0,

其中已知 $B>0$ ， $n\ge1$ 。例如参数越大，预测集合越宽，漏失损失逐点不增。最后一项是事先知道的安全动作，不能靠校准样本恰好零损失来代替。

固定 $0<\alpha<B$ ，用前 n 个观测计算

\widehat R_j=\frac1n\sum_{i=1}^nL_i(\lambda_j),\qquad \widetilde R_j=\frac{n\widehat R_j+B}{n+1}.

选择第一个满足 $\widetilde R_j\le\alpha$ 的 j；若没有，选择 j=M。记选择为 $\widehat\lambda$ 。则

\boxed{E[L_{n+1}(\widehat\lambda)]\le\alpha.}\tag{1}

本页采用有限网格与全零安全动作，使最小值、终止和失败返回都明确。若损失来自固定规则 $L(\lambda;Z)$ ，且资料IID，式(1)也写为 $E_{\rm cal}[R(\widehat\lambda)]\le\alpha$ ，其中 $R(\lambda)=E_ZL(\lambda;Z)$ 是总体风险。

这个期望没有固定校准资料。它不声称每次部署的 $R(\widehat\lambda)$ 都不超过α，也不自动给定置信度 $1-\delta$ 。

直觉

经验损失和要面对的新损失相差一个尚未看到的观测。修正项把这个新损失暂按最坏的 B 记入，总数则按 n+1 计算。越宽松的参数使每一条损失都下降，所以这个保守记账会选得不早于一份知道真实新损失的理想规则。

理想规则不能实际部署，但它同时平等地看待 n+1 个观测。其平均损失已经达标，可交换性便把这份平均预算分给每一个位置。证明利用的是函数的逐点单调与对称性，不需要各参数损失独立，也不需要总体风险已知。

例子与边界

多标签漏失比例的可计算菜单

标签有 A、B、C。冻结排序均为 A、B、C，菜单依次输出前一个、前两个、全部三个标签。令真实集合为 Y，损失定义为

L(C,Y)=\frac{|Y\setminus C|}{\max(|Y|,1)}.

$Y=\varnothing$ 时损失为零，其他情形是该观测的真实标签漏失比例，范围在 $[0,1]$ 。集合扩大时损失不增，输出全部标签是零损失后备。

四个校准真实集合依次为 $\{A,B\},\{A,C\},\{B\},\{A\}$ 。三个菜单的损失列为

\begin{array}{c|ccc} &\{A\}&\{A,B\}&\{A,B,C\}\\\hline \{A,B\}&1/2&0&0\\ \{A,C\}&1/2&1/2&0\\ \{B\}&1&0&0\\ \{A\}&0&0&0 \end{array}

经验风险为 $1/2,1/8,0$ 。取 $B=1,\alpha=2/5$ ，修正后为 $3/5,3/10,1/5$ ，所以选择前两个标签。

这里控制的是“先对每个观测算比例，再平均”。前两个标签总共漏一个，真实标签总数为六，合并计数得到 $1/6$ ，不同于本页经验风险 $1/8$ 。应先选定实际要控制的损失，不能校准宏平均后宣称微平均也享有同一个结论。

期望合格，仍可能频繁遇到风险不合格的校准集

考虑只有两个动作。第一个动作的每点损失独立服从Bernoulli(1/2)，第二个动作恒为零，故逐点单调。取 $n=4,B=1,\alpha=2/5$ 。

令 S 为校准集中第一个动作的总损失。修正条件是 $(S+1)/5\le2/5$ ，即 $S\le1$ 。这一事件概率为 $5/16$ 。在该事件上选择的动作真实风险是1/2，大于2/5；其余时候风险为零。因此

E_{\rm cal}R(\widehat\lambda)=\frac5{32}\le\frac25, \qquad P_{\rm cal}\{R(\widehat\lambda)>2/5\}=\frac5{16}.

式(1)完全成立，但不能由此声称95%的校准资料都产出风险合格规则。风险控制预测集合把后一种要求单独写成外层失败预算δ。

去掉逐点单调，最坏损失修正也会失效

取 $n=1,B=1,\alpha=1/2$ 。前十个候选各自在每个观测上产生独立Bernoulli(9/10)损失，最后再加恒零后备。不同观测独立同分布，但一条观测的十项损失不要求单调。

修正条件只在校准损失为零时通过，因此规则会选择第一个出现零的候选。至少一个候选通过的概率为 $1-(9/10)^{10}$ ；一旦选择，独立未来点上的风险仍是9/10。于是

E L_{2}(\widehat\lambda) =\frac9{10}\left[1-\left(\frac9{10}\right)^{10}\right] =0.58618940391>1/2.

有界、IID和安全动作都在，缺失的是逐点单调。不能把菜单按经验损失重新排序后补称“现在单调”，因为那个次序已经读过校准资料。

推论与应用

一个对称理想阈值完成证明

在包含真实未来点的 n+1 条损失函数中，定义

\lambda^*=\min\left\{\lambda_j: \frac1{n+1}\sum_{i=1}^{n+1}L_i(\lambda_j)\le\alpha\right\}.

安全动作保证集合非空。若实际规则在某个 j 通过，因为 $L_{n+1}(\lambda_j)\le B$ ，该 j 也满足理想规则的条件；故 $\lambda^*\le\widehat\lambda$ 。若实际规则没有通过任何 j，返回最大参数也仍满足这个顺序。

逐点单调给

L_{n+1}(\widehat\lambda)\le L_{n+1}(\lambda^*).

理想选择只看 n+1 条函数之和，对观测排列不变。因此可交换性使各个 $L_i(\lambda^*)$ 具有相同期望，进而

E L_{n+1}(\lambda^*) =E\left[\frac1{n+1}\sum_{i=1}^{n+1}L_i(\lambda^*)\right] \le\alpha.

连接两个不等式就是式(1)。若用实测总和而不加 B，实际选择可能早于理想选择；若损失不单调，参数顺序也不能转成损失顺序。两个条件在证明中各有明确责任。

运行与校准资料的使用范围

直接计算整个损失表要 $O(n(M+1))$ 次损失评价。可边扫描边累计每列，之后从小到大找首个通过项；若只有随机访问某列的接口，单调性允许二分寻找通过边界，每次评价需读 n 个损失，成本 $O(n\log(M+1))$ ，不含集合构造和模型预测。

当 $\alpha<B/(n+1)$ 时，任何修正经验值都不可能通过，算法必用已知安全动作。将分母换成 n 或删掉修正以获得较小集合，不再是本定理。

损失的定义、标签权重、参数菜单及模型都须在校准前固定，或条件于独立的训练资料后固定。没有已知有限 B 的平方损失、随集合扩大反而上升的错误惩罚、事后挑选最有利损失，都不在当前合同内。选择性分类的“仅在接受者中平均错误”还含随机分母，不能直接用上述漏失比例损失代替。

参考资料

Anastasios N. Angelopoulos, Stephen Bates, Adam Fisch, Lihua Lei, Tal Schuster，Conformal Risk Control，§2.1 Theorem1及其证明，§2.4非单调风险。本页给可执行的有限网格版本，安全末动作要求加强为零损失；理想阈值比较、交换平均及非单调反例均在正文展开。

形式陈述 ​

有序有限菜单与安全后备 ​

多标签漏失比例的可计算菜单 ​

期望合格，仍可能频繁遇到风险不合格的校准集 ​

去掉逐点单调，最坏损失修正也会失效 ​

一个对称理想阈值完成证明 ​

运行与校准资料的使用范围 ​