结构风险最小化

SRM 像让不同容量的模型在同一张价目表上竞价：更大的类可以用更低训练误差参赛，却必须支付更高的统计不确定性。置信预算先保证所有层的账单同时有效，随后数据才能安全选择最划算的一层。

Oracle 不等式怎样出现 ​

在上述共同事件上，对任意层 $k$ 的经验最优解 ${\hat{h}}_k$，有

再对 $k$ 取下确界，便得到与“事后知道最佳层”的 oracle 比较。常数会随单边界和选取准则变化，核心结构是逼近风险加层级惩罚。

多项式次数例子 ​

用次数不超过 $k$ 的多项式回归时，训练误差随 $k$ 增大而不升。若只选训练误差最小者，最大层天然占优；SRM 的惩罚随维度或增长函数上升，使低阶模型在其拟合已经足够时胜出。这里不是把 $k$ 叫作“复杂度”就结束，必须给每层可证明的高概率罚项，并给可数层分配 ${\delta }_k$，例如与 $1/k^2$ 成比例。

边界与辨析 ​

SRM 不是任意交叉验证或超参数调优的同义词。它的定义包含一族类、每层风险控制和跨层共同事件；没有这三项，就没有上面的 oracle 推导。模型族不必严格嵌套，但可数索引与可求和置信分配仍需明确。与正则化 ERM公理库正则化经验风险最小化regularized ERM · RERM在经验拟合项上加入结构惩罚，以显式控制解的复杂度与统计—优化权衡。相比，SRM 的罚项来自层级置信界，而连续正则器直接改变每个候选的训练目标。

样本复杂度公理库样本复杂度、精度与置信度Sample complexity · Accuracy and confidence用 m(ε,δ) 描述达到风险精度与失败概率所需的数据量。为每一层提供随 $m$ 缩小的罚项，并集界公理库并集界Union bound · Boole 不等式多个坏事件中至少一个发生的概率，不超过各事件概率之和。则把层级选择纳入同一个失败概率。由此得到的 oracle 不等式允许算法在不知道最佳模型规模时，与事后最优的逼近—估计折中竞争。

次数、树深、稀疏度和范数半径都可作为层级索引。应用时应给出每层真正可证的复杂度，而不是只把超参数大小当作罚项；若索引连续，还需离散化、先验权重或另一种统一控制。