分类代理损失与校准

形式陈述

本页从分类风险出发，以凸代理逼近难优化的 $0$ – $1$ 损失，并要求其条件最优方向与Bayes 决策一致。

二分类的 $0$ – $1$ 损失直接对应误分类率，却对实值打分函数既不光滑也不凸。训练常改用 logistic、exponential 或 hinge 损失。代理损失的计算便利只回答“能否优化”，校准则回答“把代理风险降下来，方向是否真的朝向 Bayes 分类器”。

条件风险与定义

令 $Y\in\{-1,+1\}$ ，打分函数 $f:X\to\mathbb R$ 以 $\operatorname{sign}f(x)$ 分类，margin 型代理风险为

R_\phi(f)=\mathbb E\,\phi(Yf(X)).

在固定 $X=x$ 且 $\eta(x)=\Pr(Y=1\mid X=x)$ 时，条件代理风险是

C_\eta(a)=\eta\phi(a)+(1-\eta)\phi(-a).

若对每个 $\eta\ne1/2$ ，所有达到条件最优的 score 都与 $2\eta-1$ 同号，并且强迫错误符号会造成严格正的风险间隙，就称该代理对二分类是 classification-calibrated；这也是常见 Fisher consistency 的条件形式。

直觉

Logistic 损失的计算

取 $\phi(u)=\log(1+e^{-u})$ 。对 $C_\eta(a)$ 求导并令零，可得

a^*=\log\frac{\eta}{1-\eta}.

因此 $a^*>0$ 当且仅当 $\eta>1/2$ ，最优 score 的符号与 Bayes 决策一致。这个结论解释了分类一致性；它不等于说有限样本训练出的 sigmoid 数值必然是校准概率。

例子与边界

从代理超额风险到分类风险

校准可量化为存在非减函数 $\psi$ ，满足 $\psi(0)=0$ 且对正数为正，使

\psi\!\left(R_{01}(\operatorname{sign}f)-R_{01}^*\right) \le R_\phi(f)-R_\phi^*.

于是代理超额风险趋零可推出分类超额风险趋零。具体 $\psi$ 由损失决定；不能只凭“ $\phi$ 是凸函数”就断言存在合适校准。

边界与相邻概念

分类校准关心最优决策的符号，概率校准关心预测概率与条件频率是否一致，两者不是一回事。类别不平衡、代价敏感分类或 F-score 等非可分指标改变 Bayes 决策阈值，需要相应的条件风险定义。Hinge loss 对分类是校准的，但其最优 score 不提供唯一概率；交叉熵的 log-loss 结构也不能替代这里的超额风险论证。AdaBoost 的指数损失则在AdaBoost页承担具体算法角色。

推论与应用

校准函数把“优化代理目标”与“降低任务错误”连接起来；再叠加代理损失类的泛化界和优化误差，便得到从训练算法到 $0$ – $1$ 超额风险的完整分解。缺少其中任一桥梁，都不能由训练损失下降直接推出分类改进。

logistic、hinge 与 exponential 损失分别服务概率建模、最大间隔和 boosting，但它们的校准函数、尾部和优化几何不同。代价敏感或多类任务必须重新写条件风险，不能沿用二分类阈值结论。

参考资料

Peter L. Bartlett, Michael I. Jordan, Jon D. McAuliffe, Convexity, Classification, and Risk Bounds, JASA, 2006.
Ingo Steinwart, How to Compare Different Loss Functions and Their Risks, Constructive Approximation, 2007.

形式陈述 ​

条件风险与定义 ​

Logistic 损失的计算 ​

从代理超额风险到分类风险 ​

边界与相邻概念 ​

反向链接

形式陈述

条件风险与定义

Logistic 损失的计算

从代理超额风险到分类风险

边界与相邻概念