分类代理损失与校准

为什么需要代理损失 ​

二分类的 $0$–$1$ 损失直接对应误分类率，却对实值打分函数既不光滑也不凸。训练常改用 logistic、exponential 或 hinge 损失。代理损失的计算便利只回答“能否优化”，校准则回答“把代理风险降下来，方向是否真的朝向 Bayes 分类器”。

条件风险与定义 ​

令 $Y\in \{-1,+1\}$，打分函数 $f:X\to \mathbb{R}$ 以 $\mathrm{sign}f(x)$ 分类，margin 型代理风险为

$$R_{\varphi }(f)=\mathbb{E}\varphi (Yf(X)).$$

在固定 $X=x$ 且 $\eta (x)=\text{Pr}(Y=1\mid X=x)$ 时，条件代理风险是

$$C_{\eta }(a)=\eta \varphi (a)+(1-\eta )\varphi (-a).$$

若对每个 $\eta \ne 1/2$，所有达到条件最优的 score 都与 $2\eta -1$ 同号，并且强迫错误符号会造成严格正的风险间隙，就称该代理对二分类是 classification-calibrated；这也是常见 Fisher consistency 的条件形式。

Logistic 损失的计算 ​

取 $\varphi (u)=\log (1+e^{-u})$。对 $C_{\eta }(a)$ 求导并令零，可得

$$a^{\ast }=\log \frac{\eta }{1-\eta }.$$

因此 $a^{\ast }>0$ 当且仅当 $\eta >1/2$，最优 score 的符号与 Bayes 决策一致。这个结论解释了分类一致性；它不等于说有限样本训练出的 sigmoid 数值必然是校准概率。

从代理超额风险到分类风险 ​

校准可量化为存在非减函数 $\psi$，满足 $\psi (0)=0$ 且对正数为正，使

$$\psi (R_{01}(\mathrm{sign}f)-R_{01}^{\ast })\le R_{\varphi }(f)-R_{\varphi }^{\ast }.$$

于是代理超额风险趋零可推出分类超额风险趋零。具体 $\psi$ 由损失决定；不能只凭“$\varphi$ 是凸函数”就断言存在合适校准。

边界与相邻概念 ​

分类校准关心最优决策的符号，概率校准关心预测概率与条件频率是否一致，两者不是一回事。类别不平衡、代价敏感分类或 F-score 等非可分指标改变 Bayes 决策阈值，需要相应的条件风险定义。Hinge loss 对分类是校准的，但其最优 score 不提供唯一概率；交叉熵公理库交叉熵Cross-entropy在真实分布下对另一分布负对数似然取期望所得的信息量。的 log-loss 结构也不能替代这里的超额风险论证。AdaBoost 的指数损失则在AdaBoost公理库AdaBoost 算法AdaBoost · Adaptive Boosting通过提高误分样本权重，依次组合弱分类器为加权二元投票。页承担具体算法角色。

参考资料

• Peter L. Bartlett, Michael I. Jordan, Jon D. McAuliffe, Convexity, Classification, and Risk Bounds, JASA, 2006.
• Ingo Steinwart, How to Compare Different Loss Functions and Their Risks, Constructive Approximation, 2007.