校准与群体平衡的不可兼得性

形式陈述

令 $Y\in\{0,1\}$ ，风险分数 $S\in[0,1]$ ，两群组 $A\in\{0,1\}$ 均有正概率。设组内正类比例

\pi_a=\Pr(Y=1\mid A=a)

满足 $0<\pi_0,\pi_1<1$ ，且 $\pi_0\ne\pi_1$ 。考虑三个要求：

那么三者同时成立，必推出

S=Y\qquad\text{几乎处处}.

也就是说，全部正类得到分数一，全部负类得到分数零，预测完美。这是校准与群体平衡的不可兼得性的一种精确概率表述。[1, Theorem 1.1、§2]

这里的校准是报告概率的条件频率要求。后两个要求比较连续分数的条件平均值，不是equalized odds所比较的阈值后 TPR 和 FPR。若把 $S$ 改成一个阈值事件，需重新写定理。

直觉

校准先固定了每组能够发出的“总分预算”：一组正类占几成，所有分数的平均就必须是几成。如果又要求两组正类拿到同一个平均分 $u$ 、负类拿到同一个平均分 $v$ ，各组就只能用不同的正负比例混合这同一对数。

当两组基率不同，两份混合预算给出两条不同的直线。它们在允许的平均分范围内只能交在 $u=1,v=0$ ：正类一分、负类零分。真正的不确定性没有剩下的位置。

例子与边界

由群体内校准和全期望，对每一组

\mathbb E[S\mid A=a] =\mathbb E[\mathbb E[Y\mid S,A]\mid A=a] =\pi_a.

设正类共同平均分为 $u$ ，负类共同平均分为 $v$ 。再按 $Y$ 分组求平均，便得

\pi_au+(1-\pi_a)v=\pi_a\qquad(a=0,1). \tag{1}

两式相减：

(\pi_0-\pi_1)(u-v)=\pi_0-\pi_1.

因为基率不同，可以除去该差，得到 $u-v=1$ 。而 $u,v\in[0,1]$ ，只可能 $u=1,v=0$ 。

还需从“平均分到边界”走到“每个分数到边界”。对任一组， $1-S$ 在正类条件下非负且期望为零，故 $S=1$ 在该条件下几乎处处；同理负类中的非负量 $S$ 期望为零，故 $S=0$ 。四个条件事件覆盖全部概率质量，于是 $S=Y$ 几乎处处。非退化基率保证四个条件平均都定义良好。

令分数只有 $0.2$ 和 $0.8$ ，并在每个群体的每个分数档内令 $Y\sim\operatorname{Bernoulli}(S)$ 。这样群体内校准按构造成立。

甲组有 $3/4$ 样本取分数 $0.2$ 、 $1/4$ 取 $0.8$ ；乙组的比例反过来。两组基率为

\pi_{\text{甲}}=0.35,\qquad\pi_{\text{乙}}=0.65.

校准意味着 $\mathbb E[SY\mid A]=\mathbb E[S^2\mid A]$ 。因此正类平均分为

u_{\text{甲}}=\frac{(3/4)(0.2)^2+(1/4)(0.8)^2}{0.35}=\frac{19}{35},

u_{\text{乙}}=\frac{(1/4)(0.2)^2+(3/4)(0.8)^2}{0.65}=\frac{49}{65}.

两者约为 $0.543$ 与 $0.754$ ，并不相同。负类平均分用 $\mathbb E[S(1-Y)\mid A]=\mathbb E[S(1-S)\mid A]$ 计算：两组分子都为 $0.16$ ，于是

v_{\text{甲}}=\frac{16}{65},\qquad v_{\text{乙}}=\frac{16}{35}.

它们也不相同。这个例子没有制造失准来解释冲突：它在每组每档都精确校准，只是两项平均分平衡必须让步。

若两组基率相同为 $\pi$ ，常数分数 $S=\pi$ 同时满足三个要求，却通常没有区分能力。此时式 (1) 的两条直线重合，相减只得到 $0=0$ 。

若不要求群体内校准，给所有对象同一个分数当然能让正负类平均都跨组一致。若只保留其中一项平均分平衡，方程也不再构成这里的两项共同约束。定理没有说任意两个公平要求都冲突。

完美预测本身是一个数学例外，不保证在给定特征下可实现。若分数只能依据 $X$ 和独立内部随机币产生，而同一个 $X$ 下仍有不可消除的标签随机性，就不能在观察结果之前做到 $S=Y$ 。也不能通过把真实标签泄漏给预测器来把形式上的例外当成有效学习方案。

推论与应用

使用这个定理时，先检查三项指标的定义、基率差和是否允许完美预测，而不是看到两组错误率不同就引用一句“不可能公平”。它精确解释了一组统计约束之间的冲突，没有替人决定应当优先保留哪一项。

有限数据中，近似校准和近似平衡也不等于上述精确条件。尤其当两组基率非常接近时，证明中的除法会放大误差；精确零误差定理不能直接给出一个不含基率差的稳健数值界。若要作近似结论，需另行保留各项容差并做误差分析。[1, Theorem 1.2]

与多重校准并用时，也应保留这种区分：在更多群组里提高概率可靠性，并不自动产生正负类平均分平衡。二者是不同的、可能相互牵制的目标。

参考资料

[1] Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, Inherent Trade-Offs in the Fair Determination of Risk Scores, ITCS 2017，Theorem 1.1、§2（精确约束），Theorem 1.2（近似版本）。本文用条件期望写出两行预算恒等式，再补足从极端平均推出几乎处处完美预测的步骤。