Rademacher 泛化界

上界把泛化代价拆成两部分：函数类在当前样本上拟合随机符号的能力，以及把随机上确界从期望提升到高概率所付的集中项。经验版本因直接读取样本几何而可计算，却还要为自身随机波动再支付一次集中常数。

线性预测器经过损失后的真例 ​

设 score 类

对固定输入样本，Cauchy–Schwarz 不等式理路Cauchy–Schwarz 不等式Cauchy–Schwarz inequality · 柯西–施瓦茨不等式内积的绝对值不超过两向量范数之积，且等号精确刻画线性相关。给

若损失 $\ell (y,\cdot )$ 在预测范围上是 $L$-Lipschitz，并把每个 $z=(x,y)$ 上的损失减去与 $w$ 无关的 $\ell (y,0)$，则Rademacher 收缩引理理路Rademacher 收缩引理Rademacher contraction lemma · Ledoux–Talagrand contraction principle逐坐标 Lipschitz 变换至多按 Lipschitz 常数放大标量函数类的 Rademacher 复杂度。给出中心化损失类的复杂度至多 $LBR/\sqrt{m}$。对固定样本，把 $\ell (y_i,0)$ 加回每个函数只增加一个公共符号和，其关于 $\sigma$ 的期望为零，所以原损失类具有相同的经验 Rademacher 复杂度。若原损失值还被归一化到 $[0,1]$，本页定理得到

同时对所有 $w$ 成立。这里使用真实范数、数据半径和 Lipschitz 常数，而不是把参数个数机械塞进公式。

例如 $L=B=R=1$、$m=400$、$\delta =0.05$ 时，期望复杂度项至多 $2/\sqrt{400}=0.1$，集中项为

因此该版本给出的统一风险附加量约为 $0.1612$。这是充分上界，不表示每个样本都恰好出现同样大小的 gap。

失效边界与相邻方法 ​

平方损失在无界预测范围上无界且非全局 Lipschitz，本页两个关键步骤——单点变化至多 $1/m$ 与有界差分集中——都失效。此时应先限制预测/标签范围，或使用次高斯、截断、方差敏感的经验过程工具，不能只把 $[0,1]$ 删除。

$F$ 必须在看见样本前固定，或有额外条件保证数据依赖不会泄漏到复杂度选择中。该界与 VC 界同为一致控制，但 Rademacher 复杂度可响应实际样本几何并直接处理实值类；它不是某个单模型的“复杂度分数”，也不自动给无界深网一个有限保证。

配合收缩引理，范数受限线性 score 类可转成 hinge、logistic 等代理损失的风险界；配合 Dudley 熵积分，则可由多尺度覆盖数控制复杂度。两条路线分别利用代数几何和度量几何。

局部化只对低风险或低方差子类重复这套论证，并用不动点给出快速度。若数据重尾或类由样本选择，应使用相应的稳健集中、条件复杂度或独立选择协议，而不是删除有界性假设。