“与多重校准并用时,也应保留这种区分:在更多群组里提高概率可靠性,并不自动产生正负类平均分平衡。二者是不同的、可能相互牵制的目标。”
形式陈述
总体概率校准可能把两个子群方向相反的误差抵消掉。多重校准要求对一族指定群组同时检查报告概率,群组可以重叠,不必组成一个划分。
固定
本文使用一个明确的分箱版本:对所有
这约束单元内的平均残差。若箱宽至多
它不要求质量不足
直觉
群组可以是不同地区、不同设备版本,或者它们的交集。整体预报正确不代表每个部署环境的报告都可靠。反过来,把每个环境单独修一次也不够:一个样本属于多个群组,修正其中一组会改变另一组的平均值。
所以算法必须反复审计当前预测器,而不是在开始时把各组统计一次就结束。好消息是,如果每次都针对一个确实存在的总体偏差作恰当修正,就能用同一个全局平方势衡量所有修正的进展。
例子与边界
总体已经校准,子群仍然失准
令四类对象等概率出现,真实风险为
初始全部报告
并用区间
先修
此时
第二步改动了交集对象 2。现在
总体精确查询下的有限步算法
先假设能得到每个当前单元的精确质量和总体平均残差。这是分析理想接口,不是把有限样本均值冒充总体。
如果某个质量
并作更新
随后重新找违反单元。对有限
取势函数
在裁剪前,只在
因为
势最多从
在刚才四点例中,势依次为
两次下降分别为
从总体接口到有限数据还差什么
有标签样本只能估计
具体地,记
因此取
更重要的是,当前分数桶取决于前面用数据做过的更新。它们不是训练前固定的一组查询。反复复用同一批数据涉及自适应数据分析;简单实现可以为各轮使用新的独立样本,精细实现则需要专门的泛化论证。上面的势下降只证明总体算法,不提供一个未经证明的样本复杂度。
推论与应用
群组族应由实际需要和可识别性决定。要求所有可测子群都满足极小容差,可能接近要求逐点学准
多重校准与群体公平准则也不是同义词。它约束每个报告档内的平均真实风险,未要求各组输出正类的比例相同,更未证明数据标签或使用方式本身公平。它提供的是一组可核查的概率可靠性要求。
参考资料
- [1] Úrsula Hébert-Johnson, Michael P. Kim, Omer Reingold, Guy N. Rothblum, Multicalibration: Calibration for the (Computationally-Identifiable) Masses, ICML 2018,§2(校准与离散化)、§3.1(反复修正和自适应查询)。本文明确采用带单元质量下限的分箱版本,并完整证明其精确总体查询算法的平方势界;不将此界等同于原文有限样本定理。