超额风险与误差分解

若输入分布确实给圆内外的冲突区域正概率，圆形真边界不能由半空间在分布意义下实现，逼近误差便可能为正；仅凭图形不同还不能断言它为正，因为分布也可能只集中在一条直线上或几个可线性分开的点上。类足够好但样本少，会留下估计误差；训练目标没求好，则留下优化误差。扩大类可能降低第一项，却提高后两项的难度。

训练—测试差只比较同一规则的两种风险，不是超额风险。非唯一最优时，参数相距很远也可能风险相同。正则化和代理损失会引入新的比较项，每次都应写清基准，不能把全部余量统称为“泛化误差”。

一个数值分解 ​

例如某任务的 Bayes 风险为 $0.08$，线性类内最优风险为 $0.13$，学习算法输出风险为 $0.17$。相对 Bayes 的超额风险 $0.09$ 精确分成逼近误差 $0.05$ 与类内超额风险 $0.04$。若训练优化只带来 $0.01$ 经验次优，剩余 $0.03$ 也不能不经论证都叫“估计误差”，因为统一偏差上界常是保守上界，而非可观测恒等分量。

输出属于比较类也是符号非负的条件。例如标签恒为 $1$，比较类只含常数零规则，其最优风险是 $1$；若允许输出类外常数一规则，输出风险为零，所谓类内超额风险就等于 $-1$。前面的加减恒等式依然成立，但不能再把两项都解释成非负误差；不可知学习允许 improper 输出时尤其要注意这一点。

代理损失与数据依赖类 ​

代理损失会增加一层转换。算法也许最小化 logistic 风险，但最终报告 0–1 风险；先分解代理风险的逼近、估计和优化项，再用校准函数把代理超额风险转换成分类超额风险。没有这条转换，代理目标下降不等于任务风险按同样数值下降。

若类或正则参数由同一数据选择，$\mathcal{H}$ 本身也变成随机对象。只要各项有限，逐样本的加减恒等式仍成立；在统一偏差确实受控的事件上，前面的比较链也仍成立。不能直接照搬的是预先固定类的高概率偏差界，因为选类已经使用了同一份数据。结构风险最小化可对候选类统一分配复杂度罚项与失败预算，从而把选择代价纳入概率保证。

分解还能指导改进顺序：当逼近项主导时，多采同分布数据不会突破类的天花板；当估计项主导时，盲目扩大类可能更糟；当优化项已远小于统计精度，再把训练目标多降十位小数通常不改变可保证的总体风险。这里的判断基于同一风险尺度，而不是把参数误差、运行时间和分类错误直接相加。

近似 ERM、正则化学习和代理风险最小化都可沿同一思路扩展，但每引入一个新目标都要增加对应的比较桥梁。若正则目标与任务风险不同，应先控制正则目标的优化与泛化，再单独证明它如何约束原始风险，不能把不同量纲的余量直接装进一个“总误差”名下。