正则化经验风险最小化

正则项为复杂行为标出价格，$\lambda$ 则规定一单位经验拟合值得牺牲多少结构代价。它既可能缩小有效搜索范围，也可能为优化目标增加曲率；统计控制与数值改善来自同一项，却需要各自的定理。

岭回归例子 ​

在实欧氏空间 ${\mathbb{R}}^d$ 的线性回归中，特征 $x$ 与参数 $w$ 都取实向量，使用标准内积及其欧氏范数理路赋范向量空间Normed vector space带满足正定、齐次与三角不等式范数的向量空间。。令 $h_w(x)=⟨w,x⟩$，平方损失配合 $\mathrm{\Omega }(w)=\Vert w{\Vert }_2^2$ 得到岭目标

当特征高度共线时，二次惩罚抑制大范数方向并改善条件性；在统计解释中，它也限制可选线性函数的有效范围。两种作用相关，却不是同一个结论：数值上更稳定不自动证明总体风险更低。

推导出的权衡 ​

对任意使经验风险与惩罚均有限的比较器 $h^{\ast }$，精确正则化最优性给出

在 $\lambda =0$ 时，右侧惩罚差项按前面的省略约定直接读作 $0$，不计算 $0\cdot (\mathrm{\Omega }(h^{\ast })-\mathrm{\Omega }({\hat{h}}_0))$。近似解须在右侧另加准则容差 $\eta$。右侧显示正则器允许牺牲拟合以换取较小惩罚。最终是否有利，要把这项与由范数、稳定性或复杂度得到的泛化界共同分析；仅看正则化目标值不能完成论证。

边界与相邻概念 ​

参数范数依赖表示。两层线性网络可通过一层乘常数、另一层除常数保持同一函数，却改变单层参数范数，所以“参数小”不总等于“函数类简单”。$L_1$ 惩罚常产生稀疏解，但相关特征、优化精度和参数化都可能破坏“恢复真实稀疏结构”的断言；$L_2$ 也不保证每个分布上都改善泛化。

本页处理一个连续目标中的惩罚；结构风险最小化理路结构风险最小化structural risk minimization · SRM在嵌套或可数假设类之间用置信惩罚选择模型，并与各层最佳风险竞争。则在可数模型层之间分配置信度并选择层级。二者可以组合，但不能把任意超参数搜索都称为 SRM。

强凸正则化常把单点目标扰动转成小的参数变化，再由 Lipschitz 损失推出算法稳定性泛化界。范数约束也可进入 Rademacher 或 margin 复杂度，使正则参数同时影响逼近误差与估计误差。

岭回归、稀疏回归与核方法都可写成这一模板，但惩罚的几何必须与函数表示相匹配。若 $\lambda$ 由同一数据反复选择，还要把模型选择过程计入验证或复杂度分析。

线性平方损失的隐式偏置理路线性平方损失的隐式偏置Implicit bias in linear regression · Gradient descent minimum-norm bias · 线性回归隐式正则化证明固定步长梯度下降在任意线性平方损失上保留初始零空间分量，并选择离初值最近的最小二乘解。给出没有显式惩罚的完整对照：行空间梯度收敛，核分量保持初始化，从而选择最近初值的最小者。两种初值可以完全匹配同一训练数据，却在未见点上预测不同。

正则项也可以作用于概率耦合本身。熵正则化输运理路熵正则化最优输运Entropic optimal transport在有限输运计划上加入相对熵，得到唯一正计划，同时区分计算平滑性与原始搬运成本偏差。在固定边缘计划上加入相对独立耦合的 KL 惩罚，得到唯一正计划；正则化引入的搬运成本偏差与迭代求解误差是两个需要分别检查的量。