适当评分规则

只按分类正确率打分，会鼓励报告者站在阈值的正确一侧，却不在乎他报 $0.6$ 还是 $0.99$。概率评分还要区分这两种置信程度。它需要同时惩罚“明明很不确定却说得很满”和“已经有充分信息却含糊报告”。

适当性不是要求每次都押中结果，而是确保：如果报告者认为真实分布为 $p$，他无法靠故意改报另一个 $q$ 降低自己的期望损失。严格性进一步排除所有同样划算的虚假报告。

图中两种损失使用同一真实分布。曲线的最低点是否落在 $p$，比某次实现结果的高低更能说明评分规则究竟在奖励什么。

平方损失的最优报告 ​

直接展开得

第一项不随报告变化，第二项在且仅在 $q=p$ 为零，因此严格适当。真实概率为 $p=1/4$ 时，诚实报告的期望损失是 $3/16$；改报 $q=0$ 得 $1/4$，改报 $q=1/2$ 也得 $1/4$。两种方向不同的误报恰好有相同的平方偏差。

对数损失则满足

右边是 Bernoulli 分布间以自然对数计量的KL 散度公理库KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。。它非负，且只在两分布相同为零。若 $0<p<1$ 而 $q$ 报成 $0$ 或 $1$，期望损失无穷，体现了对错误绝对确信的强惩罚。

一个看似合理却不适当的评分 ​

把二元结果和概率之间的绝对差当损失，得到

当 $p=1/4$ 时，它等于 $1/4+q/2$，最优报告是 $q=0$，不是 $1/4$。绝对损失适合估计中位数；把它用于报告完整 Bernoulli 概率，就会奖励把概率推向多数类别的端点。

“适当但不严格”也有意义。例如先用 $q\ge 1/2$ 选类别，再计分类错误。真实 $p>1/2$ 时，全部 $q\ge 1/2$ 都达到相同最优风险，包括 $q=p$。诚实报告最优，却并不唯一；这个评分无法辨别多数一侧的不同概率。

一个构造机制：凹熵的支撑线 ​

在二元概率区间内部，取可微的凹函数 $H$，定义

对 $Y\sim \mathrm{Bernoulli}(p)$ 求期望，

不等式来自凹函数的切线位于函数图像上方，也就是凸函数支撑不等式公理库凸函数Convex function函数在任意凸组合处不超过相同权重下函数值的凸组合。取负号后的形式。若 $H$ 严格凹，不同点之间严格不等，规则便严格适当。这个论证适用于有有限导数的内部点；边界需要逐项检查连续延拓或无穷损失，不能默认为可微。

取 $H(p)=p(1-p)$，得到的正是 Brier 损失；取 $H(p)=-p\log p-(1-p)\log (1-p)$，得到对数损失。评分规则背后的曲率，决定了不同方向和幅度的概率误报受到多少惩罚。

若特征为 $X$，且可以在全部可测概率预测器中选择，那么严格适当损失的逐点总体最优解是 $q(X)=\text{Pr}(Y=1\mid X)$。这不保证有限数据训练出的模型已经最优，也不保证受限函数类能表示这个条件概率。

概率校准公理库概率校准与可靠度Probability calibration · Reliability diagram用条件正例率等于报告概率定义概率校准，计算可靠度与分箱误差，并区分校准、边际均值、分类一致性和分辨力。问的是预测器给出的每个概率档是否与实际频率一致；适当性问的是评价规则是否鼓励正确报告。一个严格适当的训练目标与一个尚未校准的训练结果可以同时存在。比较两个模型时，还应使用同一评估分布：换了更容易预测的样本，损失下降未必来自模型改进。

Brier 损失的平方结构还能把总体分数进一步拆成可靠度、分辨力和基率波动，见Brier 分数分解公理库Brier 分数的可靠度—分辨力分解Brier score decomposition · Murphy decomposition把二元概率平方误差严格分为可靠度损失减分辨力加基率不确定性，并逐项算出校准修正和无信息预报的差别。。这个分解解释了为什么“总报基率”的模型可以完全校准，却仍输给能区分不同情形的模型。