正则化经验风险最小化

正则项为复杂行为标出价格，$\lambda$ 则规定一单位经验拟合值得牺牲多少结构代价。它既可能缩小有效搜索范围，也可能为优化目标增加曲率；统计控制与数值改善来自同一项，却需要各自的定理。

岭回归例子 ​

在赋范向量空间公理库赋范向量空间Normed vector space带满足正定、齐次与三角不等式范数的向量空间。中的线性回归里，令 $h_w(x)=⟨w,x⟩$，平方损失配合 $\mathrm{\Omega }(w)=\Vert w{\Vert }_2^2$ 得到岭目标

当特征高度共线时，二次惩罚抑制大范数方向并改善条件性；在统计解释中，它也限制可选线性函数的有效范围。两种作用相关，却不是同一个结论：数值上更稳定不自动证明总体风险更低。

推导出的权衡 ​

与类内最优 $h^{\ast }$ 比较时，正则化最优性给出

右侧显示正则器允许牺牲拟合以换取较小惩罚。最终是否有利，要把这项与由范数、稳定性或复杂度得到的泛化界共同分析；仅看正则化目标值不能完成论证。

边界与相邻概念 ​

参数范数依赖表示。两层线性网络可通过一层乘常数、另一层除常数保持同一函数，却改变单层参数范数，所以“参数小”不总等于“函数类简单”。$L_1$ 惩罚常产生稀疏解，但相关特征、优化精度和参数化都可能破坏“恢复真实稀疏结构”的断言；$L_2$ 也不保证每个分布上都改善泛化。

本页处理一个连续目标中的惩罚；结构风险最小化公理库结构风险最小化structural risk minimization · SRM在嵌套或可数假设类之间用置信惩罚选择模型，并与各层最佳风险竞争。则在可数模型层之间分配置信度并选择层级。二者可以组合，但不能把任意超参数搜索都称为 SRM。

强凸正则化常把单点目标扰动转成小的参数变化，再由 Lipschitz 损失推出算法稳定性泛化界。范数约束也可进入 Rademacher 或 margin 复杂度，使正则参数同时影响逼近误差与估计误差。

岭回归、稀疏回归与核方法都可写成这一模板，但惩罚的几何必须与函数表示相匹配。若 $\lambda$ 由同一数据反复选择，还要把模型选择过程计入验证或复杂度分析。