形式陈述
总体期望公理库期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分,概括加权平均与总体质量平衡。 看不见,样本均值 看得见。对称化引入一份只存在于证明中的独立IID ghost sample公理库独立同分布样本IID sample · Independent and identically distributed sample以乘积分布描述来自同一总体的独立重复观测。 ,用它的经验均值代替总体期望;随后随机交换每对 ,把两样本差变成 Rademacher 符号和。未知分布没有消失,但它被推到对样本的外层期望中。
Ghost sample 步骤
令 与 独立同分布, 为对应经验算子。对函数类 ,由 和 Jensen 不等式,
这里先对 取条件期望,再把 supremum 移到期望之外,因此方向是“”。 不是可拿来调参的测试集,也不需要算法实际生成。
随机符号步骤
令 独立均匀取 ,并独立于两份样本。由于每对 可交换,
再用 和两份样本同分布,可把右侧控制为两个相同的 Rademacher 过程,产生常见的因子 。单边、双边以及是否把绝对值纳入类的定义,会改变这个常数。
直觉
对有界损失类 ,上述转换把
化为样本上的随机符号拟合能力。这正是Rademacher 复杂度公理库Rademacher 复杂度Rademacher complexity · empirical Rademacher complexity用随机正负号衡量函数类在给定样本上拟合无结构噪声的能力。出现的来源,而不是额外假设学习器能访问总体风险。
例子与边界
必须与 独立且来自同一分布;时间序列或自适应采样不能照搬交换论证。若函数类本身由 选择,交换 supremum 和条件期望前要明确条件结构。对不可数类, 可能有可测性问题;严格处理可假设可分版本、使用 outer expectation,或验证类的可测包络。Fubini 定理公理库Fubini 定理Fubini's theorem在适当可积条件下,多重积分等于任意次序的迭代积分。只负责在可积条件下交换积分,不替代这些独立性与可测性要求。
ghost sample 也不是可供模型开发反复查看的留出集;它只在证明中与训练样本联合积分。若把同一观测复制一份充当 ,交换对称性与条件独立性都不成立。
推论与应用
对称化是 Rademacher 泛化界和 VC 一致收敛界的共同入口:前者直接保留随机符号上确界,后者再把合并样本上的无限类压成有限标注模式。收缩引理则允许在对称化后处理 Lipschitz 损失。
在局部复杂度分析中,同一方法应用于风险或方差壳层;在非 IID 序列中则必须改用鞅对称化或适配依赖结构的经验过程工具,不能沿用独立交换步骤。
参考资料