IID 样本与经验测度：从生成机制到数据摘要

可以把统计流程分成四层：总体机制 $D$ 产生随机样本 $S$，随机样本实现为数据 $s$，数据再映射为经验测度 ${\hat{D}}_s$。前两步属于概率模型，最后一步属于表示选择。把四层混成“样本分布”，很容易不清楚某个等式究竟是定义、随机变量恒等式还是渐近结论。

经验测度为每次观测分配质量 $1/m$。在单点可测的空间（如实数）中，重复值的质量会累加，抽取顺序则被忽略。因此它比集合保留更多信息，又比有序元组保留更少信息。对于经验风险、样本均值等置换不变统计量，这种压缩恰到好处；对于时间顺序、依赖结构或序列似然，它会丢掉关键内容。

IID 假设的作用不是让经验测度“成为概率分布”——它无论如何都是概率测度。IID 提供的是关于 ${\hat{D}}_S$ 如何围绕总体 $D$ 波动的概率规律。大数律、集中不等式和经验过程理论都建立在这一区别上。

在离散两点空间 $\{a,b\}$ 中，若 $s=(a,a,b)$，则

把数据误写成集合 $\{a,b\}$ 并均匀赋权，会把两个点都置为质量 $1/2$，从而删除重复次数。若 $f(a)=0,f(b)=3$，真实经验平均为 $1$，而去重后的平均为 $3/2$。误差来自抹掉了一个 $a$ 的出现次数：经验测度可忽略顺序，却不能忽略频数。

二分类中令 $Z_i=(X_i,Y_i)$，并对分类器 $h$ 取损失

总体错误率是 $\int f_{h}dD$，经验错误率是 $\int f_{h}d{\hat{D}}_s$。泛化间隙理路经验风险与泛化间隙Empirical risk · Generalization gap训练平均损失与总体风险之差，以及数据依赖选择带来的困难。正是这两个积分之差。这里 IID 决定如何对训练集随机性做概率控制，经验测度则负责把训练损失写成统一的积分对象。

有限总体不放回抽样通常带有负相关；时间序列含有自相关；在线学习和 bandit 中第 $t$ 个观测依赖此前动作。这些数据仍能形成经验测度，却不能直接使用 $D^m$ 下的 IID 集中结论。相应分析需要有限总体修正、混合条件、鞅工具或自适应数据理论。

经验测度也不在所有距离下逼近总体。在实线上，若 $D$ 无原子，而 ${\hat{D}}_s$ 只支持在有限个点上，则以这些点组成的可测集作测试，得到两者的总变差距离理路总变差距离Total variation distance · TV distance两个概率分布对最优可测事件所赋概率之差的最大值。对每个实现值都等于 $1$；但对固定有界连续函数，经验积分可以收敛。声称“经验分布趋近真实分布”时，必须说明采用弱收敛、Wasserstein 距离、某个函数类上的一致偏差，还是其他具体拓扑。

对固定的 $D$-可积函数 $f$，从同一无限 IID 序列取前 $m$ 项，大数律理路强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。给出以下几乎必然收敛（$m\to \mathrm{\infty }$）

固定函数的收敛只控制一个随机量。学习理论需要同时控制一整个损失函数类，因而还要引入 VC 维、Rademacher 复杂度、覆盖数或稳定性。样本量增大并不会自动消除模型类选择带来的适应性。

后续可按目标分流：若关心固定样本平均，先读大数律理路强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。，并尝试说明把 $(a,a,b)$ 改排成 $(b,a,a)$ 为什么不改变经验积分；若关心模型选择，读经验风险与泛化间隙理路经验风险与泛化间隙Empirical risk · Generalization gap训练平均损失与总体风险之差，以及数据依赖选择带来的困难。，检查为什么选出的 $h$ 不能直接代入固定函数的大数律。需要估计抽样波动时，再进入 Bootstrap理路BootstrapBootstrap resampling · Nonparametric bootstrap用条件重采样律近似抽样误差：完整计算均值的有限分布，证明有限方差下一致性，并由最大值的持久原子判定失败。：它从 ${\hat{D}}_S$ 再抽样，能否逼近原统计量的分布还取决于统计量与总体条件。

拆开生成协议和经验对象还有一个直接好处：推广到非 IID 数据时，只需替换随机样本模型，经验测度的定义无需改变；改用加权经验测度、在线平均或依赖结构摘要时，也不必把总体分布假设一并重写。关系清楚之后，哪些结论来自采样，哪些只是代数恒等式，便能逐项检查。

调查抽样还常采用另一种随机性约定：总体数值固定，只让样本集合随机。有限总体抽样设计理路有限总体抽样设计Finite population sampling design把有限总体数值固定、样本集合随机，区分一阶纳入机会与决定方差的联合抽取结构。用一阶和二阶纳入概率描述这种随机性，并展示相同单人权重仍可对应完全不同的样本均值方差。