“当 $Y$ 为二元标签、$X$ 换成报告概率 $S$ 时,再用全方差公式比较条件均值与总体基率,可得Brier 分数的可靠度—分辨力分解。它区分了报告值失准造成的损失与不同报告档真实风险差异…”
形式陈述
令
二元 Brier 分数采用
这一归一化;若把两类完整概率向量与 one-hot 向量的平方差相加,数值会是本文的两倍。
定义三个非负量:
则有可靠度—分辨力分解
可靠度项衡量概率校准偏差,越小越好;分辨力项衡量不同报告档的真实风险相差多少,越大越好;不确定性项是总体 Bernoulli 结果本身的方差。三个量均非负,但分辨力在恒等式中被减去。[1,3]
直觉
从“所有情况都报总体正例率”出发,基线平方误差就是
这个顺序解释了一个常见误会:完全校准不代表已经没有改进空间。常报基率的预测器可靠度项为零,分辨力也为零;能可靠地区分高低风险的模型,可以在仍然校准的同时获得更低 Brier 分数。
例子与边界
一份可以逐格验算的预报
令两种报告等概率出现:
两档都高报了
真实风险分别离基率
分解给出
若把两档改报成正确的
分解为什么成立
写
再用全方差公式,
因为
经验分组中的精确性边界
若有限样本里每个组都对应同一个实际报告值
若把一段内不同报告值先替成箱均值,再做分解,得到的是“分箱后预测器”的 Brier 分数,未必是原预测器的分数。例如两个观测为
推论与应用
由全方差公式,
更一般地,以更丰富的信息
本分解适合定位改进方向:数值偏离真实频率时,校准后处理可能减少可靠度损失;所有档真实风险几乎相同时,需要更有信息的预测依据。单独压低经验校准误差,不能代替对独立数据上总体预测质量的检查。
参考资料
-
[1] Allan H. Murphy, A New Vector Partition of the Probability Score, Journal of Applied Meteorology 12(4), 1973, pp. 595–600。二元概率评分分解的原始文献。
-
[2] Tilmann Gneiting and Adrian E. Raftery, Strictly Proper Scoring Rules, Prediction, and Estimation, 2007,§§2.3、3.3:Brier 评分、基线预报与概率评分的比较。
-
[3] Jochen Bröcker, Estimating Reliability and Resolution of Probability Forecasts through Decomposition of the Empirical Score, 2011 年修订稿,§§2.2–2.3,式 (6)、(8)、(13)–(14):总体与经验分解的区别。