分类代理损失与校准

Logistic 损失的计算 ​

取 $\varphi (u)=\log (1+e^{-u})$。当 $0<\eta <1$ 时，对 $C_{\eta }(a)$ 求导并令零，可得

当 $\eta =1$ 时下确界为零，只在 $a\to +\mathrm{\infty }$ 时逼近；$\eta =0$ 时则需 $a\to -\mathrm{\infty }$，没有有限最优分数。对于内部概率，$a^{\ast }>0$ 当且仅当 $\eta >1/2$，最优 score 的符号与 Bayes 决策一致。这个结论解释了分类一致性；它不等于说有限样本训练出的 sigmoid 数值必然是校准概率。

从代理超额风险到分类风险 ​

在上述范围内，分类校准可量化为存在凸且非减的函数 $\psi$，满足 $\psi (0)=0$ 且对正数为正，使

于是代理超额风险趋零可推出分类超额风险趋零。具体 $\psi$ 由损失决定；不能只凭“$\varphi$ 是凸函数”就断言存在合适校准。

以自然对数的 logistic 损失为例，$H(\eta )=-\eta \log \eta -(1-\eta )\log (1-\eta )$，端点按 $0\log 0=0$ 理解。错误侧的最小条件风险是 $\log 2$，而 $-H^{″}(\eta )=1/[\eta (1-\eta )]\ge 4$，故 $\log 2-H(\eta )\ge (2\eta -1{)}^2/2$。记固定输入处的 $0$–$1$ 超额风险为 $e(x)$；误选 Bayes 标签时它是 $|2\eta (x)-1|$，选对时为零。于是条件代理超额风险至少为 $e(x{)}^2/2$。积分并用Jensen 不等式理路Jensen 不等式Jensen's inequality凸函数作用于平均值不超过函数值的相同加权平均。，得到可直接使用的界

这里始终沿用零分数预测 $+1$ 的规则；概率为 $1/2$ 时两种标签的条件超额风险都为零。

边界与相邻概念 ​

分类校准关心最优决策的符号，概率校准理路概率校准与可靠度Probability calibration · Reliability diagram用条件正例率等于报告概率定义概率校准，计算可靠度与分箱误差，并区分校准、边际均值、分类一致性和分辨力。关心预测概率与条件频率是否一致，两者不是一回事。适当评分规则理路适当评分规则Proper scoring rule · Strictly proper scoring rule以真实分布为总体期望损失的最优报告，区分适当与严格适当评分，并由凹熵的支撑线构造二元概率损失。再问另一件事：哪种评价损失会让真实概率成为总体最优报告。类别不平衡、代价敏感分类或 F-score 等非可分指标改变 Bayes 决策阈值，需要相应的条件风险定义。Hinge loss 对分类是校准的，但其最优 score 不提供唯一概率；交叉熵理路交叉熵Cross-entropy在真实分布下对另一分布负对数似然取期望所得的信息量。的 log-loss 结构也不能替代这里的超额风险论证。AdaBoost 的指数损失则在AdaBoost理路AdaBoost 算法AdaBoost · Adaptive Boosting通过提高误分样本权重，依次组合弱分类器为加权二元投票。页承担具体算法角色。

校准函数把“优化代理目标”与“降低任务错误”连接起来；再叠加代理损失类的泛化界和优化误差，便得到从训练算法到 $0$–$1$ 超额风险的完整分解。缺少其中任一桥梁，都不能由训练损失下降直接推出分类改进。

logistic、hinge 与 exponential 损失分别服务概率建模、最大间隔和 boosting，但它们的校准函数、尾部和优化几何不同。代价敏感或多类任务必须重新写条件风险，不能沿用二分类阈值结论。