结构风险最小化

SRM 像让不同容量的模型在同一张价目表上竞价：更大的类可以用更低训练误差参赛，却必须支付更高的统计不确定性。置信预算先保证所有层的账单同时有效，随后数据才能安全选择最划算的一层。

Oracle 不等式怎样出现 ​

在上述共同事件上，对任意层 $k$ 和任意比较器 $h\in {\mathcal{H}}_k$，近似最优性给

先对 $h$ 再对 $k$ 取下确界，便得到与“事后知道最佳层”的 oracle 比较。证明没有调用一个可能不存在的类内最优解；精确选择取 $\eta =0$。

多项式次数例子 ​

用次数不超过 $k$ 的多项式回归时，训练误差随 $k$ 增大而不升。若只选训练误差最小者，最大层天然占优；SRM 的惩罚随维度或增长函数上升，使低阶模型在其拟合已经足够时胜出。这里不是把 $k$ 叫作“复杂度”就结束，必须给每层可证明的高概率罚项，并给可数层分配 ${\delta }_k$，例如与 $1/k^2$ 成比例。

有限层的可计算罚项 ​

若损失在 $[0,1]$，第 $k$ 层有至多 $2^k$ 个事先固定的候选，取 ${\delta }_k=\delta 2^{-k}$。有限假设类泛化界理路有限假设类泛化界Finite-class generalization bound固定假设的集中加上对有限类并集，得到同时成立的风险偏差界。给出

因为 $\sum _{k\ge 1}{\delta }_k=\delta$，这些罚项可用于同一次跨层选择。例如 $m=1000,\delta =0.05$ 时，前两层罚项约为 $0.050375$、$0.056840$。若两层的最小训练风险为 $0.13$、$0.10$，加罚后的分数约为 $0.180375$、$0.156840$，故在这两层间选择第二层；其总体风险在共同事件上不超过 $0.156840$。这是一项由协议和集中界支持的证书，不是用模型维数任意编出的分数。

边界与辨析 ​

SRM 不是任意交叉验证或超参数调优的同义词。它的定义包含一族类、每层风险控制和跨层共同事件；没有这三项，就没有上面的 oracle 推导。模型族不必严格嵌套，但可数索引与可求和置信分配仍需明确。与正则化 ERM理路正则化经验风险最小化regularized ERM · RERM在经验拟合项上加入结构惩罚，以显式控制解的复杂度与统计—优化权衡。相比，SRM 的罚项来自层级置信界，而连续正则器直接改变每个候选的训练目标。

样本复杂度理路样本复杂度、精度与置信度Sample complexity · Accuracy and confidence用 m(ε,δ) 描述达到风险精度与失败概率所需的数据量。为每一层提供随 $m$ 缩小的罚项，并集界理路并集界Union bound · Boole 不等式多个坏事件中至少一个发生的概率，不超过各事件概率之和。则把层级选择纳入同一个失败概率。由此得到的 oracle 不等式允许算法在不知道最佳模型规模时，与事后最优的逼近—估计折中竞争。

次数、树深、稀疏度和范数半径都可作为层级索引。应用时应给出每层真正可证的复杂度，而不是只把超参数大小当作罚项；若索引连续，还需离散化、先验权重或另一种统一控制。