Skip to content

对称化与 Ghost Sample

symmetrization · ghost sample

用独立幽灵样本和随机符号,把未知总体均值偏差化为可分析的经验过程。

条目类型
原则

形式陈述

总体期望 Pf 看不见,样本均值 Pmf 看得见。对称化引入一份只存在于证明中的独立IID ghost sample S,用它的经验均值代替总体期望;随后随机交换每对 (Zi,Zi),把两样本差变成 Rademacher 符号和。未知分布没有消失,但它被推到对样本的外层期望中。

Ghost sample 步骤

S=(Z1,,Zm)S=(Z1,,Zm) 独立同分布,Pm,Pm 为对应经验算子。对函数类 F,由 Pf=ESPmf 和 Jensen 不等式,

ESsupfF(PfPmf)ES,SsupfF(PmfPmf).

这里先对 S 取条件期望,再把 supremum 移到期望之外,因此方向是“”。S 不是可拿来调参的测试集,也不需要算法实际生成。

随机符号步骤

σi 独立均匀取 {1,+1},并独立于两份样本。由于每对 (Zi,Zi) 可交换,

ES,Ssupf1mi[f(Zi)f(Zi)]=ES,S,σsupf1miσi[f(Zi)f(Zi)].

再用 supf(Af+Bf)supfAf+supfBf 和两份样本同分布,可把右侧控制为两个相同的 Rademacher 过程,产生常见的因子 2。单边、双边以及是否把绝对值纳入类的定义,会改变这个常数。

直觉

对有界损失类 F={z(h,z):hH},上述转换把 Esuph(R(h)R^S(h)) 化为样本上的随机符号拟合能力。这正是Rademacher 复杂度出现的来源,而不是额外假设学习器能访问总体风险。

例子与边界

S 必须与 S 独立且来自同一分布;时间序列或自适应采样不能照搬交换论证。若函数类本身由 S 选择,交换 supremum 和条件期望前要明确条件结构。对不可数类,supf 可能有可测性问题;严格处理可假设可分版本、使用 outer expectation,或验证类的可测包络。Fubini 定理只负责在可积条件下交换积分,不替代这些独立性与可测性要求。

ghost sample 也不是可供模型开发反复查看的留出集;它只在证明中与训练样本联合积分。若把同一观测复制一份充当 S,交换对称性与条件独立性都不成立。

推论与应用

对称化是 Rademacher 泛化界和 VC 一致收敛界的共同入口:前者直接保留随机符号上确界,后者再把合并样本上的无限类压成有限标注模式。收缩引理则允许在对称化后处理 Lipschitz 损失。

在局部复杂度分析中,同一方法应用于风险或方差壳层;在非 IID 序列中则必须改用鞅对称化或适配依赖结构的经验过程工具,不能沿用独立交换步骤。

参考资料
关系图谱8 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系