经验风险最小化

ERM 用样本平均替代无法直接计算的总体期望，再在同一个比较类中寻找最小者。它是一条选择原则，不是一种特定优化器：统计部分问经验排序能否代表总体排序，计算部分问怎样找到或近似找到经验最优，两者必须分别证明。

阈值扫描：原则与实现闭环 ​

对实线阈值类，按 $x_i$ 排序后，经验标注只会在相邻样本点之间改变。因此扫描 $m+1$ 个切分位置即可找出经验风险最小值；这是阈值类的高效实现，不是 ERM 一般定义的一部分。

样本 $(1,0),(2,0),(4,1),(7,1)$ 上，从阈值在所有点左侧开始，四点均预测为 $1$，错误数是 $2$。阈值依次越过四个点时，把相应预测由 $1$ 改成 $0$，错误数依次成为 $1,0,1,2$；因此最优切分位于第二与第三个点之间。对 $h_a(x)=\mathbf{1}\{x\ge a\}$，完整的零错误阈值范围是 $a\in (2,4]$，包含右端点。返回中点得到 $a=3$，从多值 argmin 中选出了确定输出。若输入有重复值，应将相同输入作为一组移动，不能扫描同一点内部不可能实现的切分。

何时能泛化 ​

ERM 只保证训练平均不高。把这一选择转成总体风险保证的一条充分路线，是同时控制整个假设类上的经验风险与总体风险；只对每个预先固定的 $h$ 分别集中，不能直接用于看过数据后才选出的 $A(S)$。完整的一致收敛、稳定性或局部复杂度论证属于后继页面。

取所有二元函数作为 $\mathcal{H}$ 时，ERM 可以记住任意有限训练集，却在未见点上没有共同结构。这个反例说明 ERM 不是泛化定理，也不是“训练误差低”的另一种说法。近似 ERM 的总体风险界还会额外携带 ${\epsilon }_{\mathrm{opt}}$，但前提仍是统计误差受到控制。

存在性与计算边界 ​

ERM 可能不存在。令 $\mathcal{H}=\{h_a:a>0\}$ 为常数预测器 $h_a(x)=a$，样本只有标签 $Y=0$，损失为平方损失。此时

但没有任何 $a>0$ 达到零，所以 argmin 为空。允许近似 ERM，或把参数域闭合并证明准则在紧集上达到最小值，才能修复选择问题；直接写“取一个最小者”已经暗含存在性假设。

经验目标的加性次优是最直接的优化接口。乘法近似在最优经验风险可能为零时没有稳定含义，参数距离也会因重参数化而改变；“梯度很小”只有结合曲率或全局证书时，才能推出经验目标接近最优。统计保证应使用真正得到证明的优化量。

正则化 ERM 最小化 $\hat{R}(h)+\lambda \mathrm{\Omega }(h)$，它不是原经验风险上的 ERM，除非把惩罚明确并入新的损失或约束类。正则项带来的统计偏置、优化曲率和数值稳定性应分别分析。

把假设类换成参数空间、把经验预测损失换成一般随机准则，就得到更宽的M-估计公理库M-估计M-estimation · M-estimator通过随机准则的精确或近似极值选择参数，并把样本准则与总体识别目标分开。框架。这个包含关系有助于迁移 argmin 和近似选择语言，但理解 ERM 不需要先掌握 M-估计的一致性或渐近理论。

在相关风险有限的情形，若好事件上 $\underset{h}{sup}|R(h)-\hat{R}(h)|\le {\epsilon }_{\mathrm{gen}}$，且类内输出 $\hat{h}\in \mathcal{H}$ 满足加性 ${\epsilon }_{\mathrm{opt}}$-ERM 条件，则对任意类内近似最优比较器加减经验风险可得

常数 $2$ 可从比较链看清：对任意 $h\in \mathcal{H}$，先用总体到经验的偏差界，得到 $R(\hat{h})\le \hat{R}(\hat{h})+{\epsilon }_{\mathrm{gen}}$；再用近似最优性换成 $\hat{R}(h)+{\epsilon }_{\mathrm{opt}}+{\epsilon }_{\mathrm{gen}}$；最后把比较器的经验风险换回 $R(h)$，再付一次 ${\epsilon }_{\mathrm{gen}}$。对 $h$ 取下确界即可，不需要总体最优解存在。

VC 维、Rademacher 复杂度和有限类并集界分别提供统一偏差控制；优化误差则作为独立项进入超额风险，而不会被统计误差自动吸收。

正则化 ERM 与结构风险最小化进一步改变选择准则：前者在一个经验目标中加入复杂度惩罚，后者在多个嵌套类间平衡拟合与置信半径。它们都继承 ERM 的经验比较逻辑，但必须明确新的基准、惩罚与计算接口。

为学习输出加入隐私约束 ​

对公开的有限假设类，指数机制公理库指数隐私机制Exponential mechanism通过效用的指数权重选择离散输出，用分子与归一化常数两项共同控制隐私损失。可用负经验损失作为效用，随机选择近似最优假设；其效用灵敏度决定隐私噪声，候选数量进入准确性界。参数化模型则可通过DP-SGD公理库差分隐私随机梯度下降DP-SGD · Differentially private SGD逐样本裁剪、抽样与高斯扰动组成的训练算法，并将实际采样规则和全部训练轮次纳入隐私核算。逐样本裁剪梯度并加入高斯扰动。两者都改变实际输出规则，因此应把隐私造成的误差与优化、泛化误差分别核算。