损失函数与总体风险

0–1 损失直接给分类错误率，却非凸且不连续。概率预测的 log loss 重罚自信的错误。平方损失的条件最优动作是均值，绝对损失则是中位数；代价敏感分类还会因假阴性和假阳性代价不同而改变阈值。同一个数据来源并不自动决定唯一损失，目标还取决于行动后果。

一个两类医疗筛查例子能看出代价的作用。若漏诊代价为 $20$、误报代价为 $1$，且 $\eta (x)=\text{Pr}(Y=1\mid X=x)$，则

比较两式得到阈值 $\eta (x)>1/21$，远低于对称 0–1 损失的 $1/2$。同一批概率预测在错误率下可能显得误报过多，在规定的临床损失下却是条件最优决策。

附加性质与尾部边界 ​

非负、有界、凸、光滑都是损失的附加性质，彼此不等价。凸性有助于求解经验目标，却不保证该目标与最终业务损失一致；代理风险能否控制 0–1 风险，需要校准或转换界。最大似然只在明确的概率模型下对应经验对数损失最小化，也不是 ERM 的同义词。

还要区分损失范围与风险估计方法。0–1 损失天然落在 $[0,1]$，可直接使用有界变量集中；对数损失在预测概率趋近零时无界，即便期望有限，也不能原样套同一常数。截断概率、次指数尾假设或专门的似然分析都是额外选择，不能藏在“取期望”四个字里。

经验评价与非逐点目标 ​

若 $h$ 随机，风险通常还要对预测随机性取期望。比较经验风险公理库经验风险与泛化间隙Empirical risk · Generalization gap训练平均损失与总体风险之差，以及数据依赖选择带来的困难。、Bayes 风险和超额风险时，必须固定同一分布、损失与输出语义；否则同名的“风险差”可能比较的是不同决策问题。

损失还可能依赖样本 $z$ 而不只依赖 $(\hat{y},y)$，例如不同病人的漏诊代价不同，或排序损失同时比较两个样本。后一类不再是 IID 单点损失的简单平均，需要 U 统计量等工具。把所有训练目标都写成 $m^{-1}\sum _i\ell (h,Z_i)$ 会漏掉这种依赖结构。

风险是决策评价，不是概率分布之间固定的距离。交叉熵、KL 和 log loss 只在指定真分布与预测分布后出现相应恒等关系；类权重、截断或确定标签都会改变对象。散度可以解释某些风险，却不能替代损失和预测协议的定义。

把总体期望换成训练样本平均，就得到经验风险与泛化间隙公理库经验风险与泛化间隙Empirical risk · Generalization gap训练平均损失与总体风险之差，以及数据依赖选择带来的困难。；学习理论随后要证明数据依赖预测器的经验表现何时能够代表总体表现。若目标是所有可测规则中的最优行动，则条件风险逐点最小化导向 Bayes 预测器与 Bayes 风险。

当直接损失难以优化时，可以改用凸代理损失，但必须再证明代理超额风险如何控制原任务风险。正则化、PAC-Bayes 与稳定性方法也都以本页风险为最终尺度；它们改变的是选择规则或证明工具，不会替代对损失语义的声明。