选择性分类与拒绝风险

形式陈述

预测器可以输出类别，也可以拒绝作答。令 $h(x)\in\{0,1\}$ 是分类规则， $g(x)\in[0,1]$ 是接受概率；给定 $X=x$ 后，接受所用的随机币独立于 $Y$ 。确定性选择对应 $g\in\{0,1\}$ 。

覆盖率与选择性风险分别为

\operatorname{cov}(g)=\mathbb E g(X), \qquad R_{\mathrm{sel}}(h,g)= \frac{\mathbb E[g(X)\mathbf1\{h(X)\ne Y\}]}{\mathbb E g(X)}.

后者只在覆盖率为正时定义，表示“已经接受作答的样本中，错误占多少”。全部拒绝时不能把 $0/0$ 记成零风险，再声称得到完美预测器。

另一种目标给每次拒绝指定成本 $c$ ：

R_c(h,g)=\mathbb E\bigl[g(X)\mathbf1\{h(X)\ne Y\}+c(1-g(X))\bigr]. \tag{1}

本文取 $0<c<1/2$ 。因此正确预测成本零，错误成本一，拒绝成本介于两者之间。它与固定覆盖率下最小化 $R_{\mathrm{sel}}$ 是相关但不同的优化问题。[1,2]

令 $\eta(x)=\Pr(Y=1\mid X=x)$ 。在Bayes 决策允许的全部规则中，三种动作的条件成本为

\begin{array}{c|ccc} \text{动作}&0&1&\text{拒绝}\\\hline \text{条件成本}&\eta(x)&1-\eta(x)&c \end{array}

于是一个最优规则为： $\eta<c$ 预测 0， $\eta>1-c$ 预测 1，中间拒绝；边界相等时可任选或随机化，并应明确平票约定。

直觉

拒绝让预测器把有限的错误预算集中在较有把握的部分样本上。但覆盖率会随之下降，所以不能只报告“接受后错误很低”。同时写出低错误覆盖了多少输入，才能知道这个系统实际完成了多少工作。

拒绝成本把这个取舍变成清楚的条件比较。面对一个正例率 $0.45$ 的输入，猜较可能的负类仍有 $0.45$ 错误率；若拒绝只需付 $0.2$ ，应拒绝。面对正例率 $0.95$ 的输入，预测正类只承担 $0.05$ ，就不值得付更高的拒绝成本。

例子与边界

四类输入的质量与真实正例率为

输入类	质量	$\eta$	最优分类的条件错误
$a$	$0.1$	$0.05$	$0.05$
$b$	$0.4$	$0.30$	$0.30$
$c$	$0.3$	$0.60$	$0.40$
$d$	$0.2$	$0.95$	$0.05$

若必须全部作答，Bayes 分类风险为

0.1(0.05)+0.4(0.30)+0.3(0.40)+0.2(0.05)=0.255.

取拒绝成本 $c=0.2$ ，只接受 $a,d$ 。覆盖率为 $0.3$ ，无条件“接受且错误”概率为

0.1(0.05)+0.2(0.05)=0.015.

因此接受后的条件风险是 $0.015/0.3=0.05$ ；计入拒绝后的总成本则是

R_c=0.015+0.2(0.7)=0.155.

$0.015$ 、 $0.05$ 、 $0.155$ 回答三个不同问题，不能只选最小的数作为系统错误率。

固定分类器 $h$ ，定义其条件错误 $r_h(x)=\Pr(h(X)\ne Y\mid X=x)$ 。若要求覆盖率恰好为 $0<\kappa\le1$ ，分母固定，目标等价于

\min_{0\le g\le1,\ \mathbb Eg=\kappa}\mathbb E[g(X)r_h(X)].

最优方案按 $r_h$ 从小到大接受，在临界错误水平的平票处随机化，以补齐所需质量。证明可以直接交换：若较差点有正接受量而较好点仍有拒绝量，把同样概率质量从前者移到后者，覆盖率不变，错误分子下降。

更一般地，设阈值 $t$ 及 $g^*$ 实现所需覆盖率，低于 $t$ 全收、高于 $t$ 全拒。对任意同覆盖率 $g$ ，

\mathbb E[(g-g^*)r_h] =\mathbb E[(g-g^*)(r_h-t)]\ge0.

低风险侧两个因子都非正，高风险侧都非负，平票处为零。若 $h$ 也可选，先逐点取 Bayes 类别，最小条件错误便是 $\min(\eta,1-\eta)$ 。未知数据分布下，用估计置信度排序只是近似执行这一步。

若 $S$ 已经概率校准，分类和接受都只依赖 $S$ ，取 $h=\mathbf1\{S\ge1/2\}$ ，则

\Pr(h\ne Y\mid S)=\min(S,1-S).

只接受 $\min(S,1-S)\le c$ 的分数，并且覆盖率为正，就可用条件概率平均得 $R_{\mathrm{sel}}\le c$ 。这是总体校准下的结论，不适用于仅有一张噪声很大的经验可靠度图。

“只依赖 $S$ ”也有实际意义。若一个校准模型恒报 $0.9$ ，整体恰有九成正例；另有特征可挑出剩下的一成负例。若只在这些负例上接受，却仍按 $S$ 预测正类，选择性风险就是一。按额外信息筛选后，原来按 $S$ 的校准未必保留；需要更细的条件校准保证。

推论与应用

风险—覆盖曲线必须同时固定排序规则和评估分布。用独立评估样本检查不同覆盖率下的错误，可以发现“高置信度先错”的失败情形；根据同一评估集反复选择阈值，又会引入模型选择偏差。

拒绝输出也不同于共形预测集合。后者通常控制真标签落入集合的边际概率；只接受单元素集合后，接受样本上的条件错误未必仍小于同一个显著性水平。若要从一个保证推出另一个，必须把选择事件的分母及允许的条件化范围写出来。

参考资料

[1] C. K. Chow, On Optimum Recognition Error and Reject Tradeoff, MIT 技术报告 AIM-175，1969-04-01；期刊版 IEEE Transactions on Information Theory 16(1), 1970, pp. 41–46。本文逐点推导二分类拒绝成本规则，并证明固定覆盖率的阈值选择。
[2] Peter L. Bartlett and Marten H. Wegkamp, Classification with a Reject Option Using a Hinge Loss, JMLR 9, 2008, pp. 1823–1840，§1，式 (1)–(3)：带拒绝成本的损失与 Bayes 拒绝规则。