独立同分布样本

IID 模型把重复实验理想化为：每次都从同一个总体机制重新抽取，而且新一次结果不携带此前结果的信息。联合分布因此完全分解为单观测分布的乘积，许多似然、期望和集中证明也随坐标分解。

样本通常写成有序元组，是因为乘积空间保留坐标身份。统计量可以忽略顺序，但这种置换不变性是统计量的性质，不是把概率空间自动改成集合。重复观测尤其不能删除。

抛同一枚公平硬币 $m$ 次并假设各次独立，得到 Bernoulli$(1/2{)}^m$ 的 IID 样本。当 $m\ge 2$ 且 $Z$ 是非退化公平比特时，令 $Z_1=\cdots =Z_m=Z$，各坐标边缘仍相同，却只含一次随机信息，因此不是独立样本。若 $Z_i\sim N(i,1)$ 且彼此独立，则独立但不同分布，也不是 IID。

例如取两个独立公平比特 $U,V$，令三份观测为 $U,V,U\oplus V$。任意两份都独立且服从 Bernoulli$(1/2)$，但第三份由前两份确定；三份全零的概率是 $1/4$，并非 IID 模型要求的 $1/8$。这正是“相互独立”不能替换为“两两独立”的原因。

有限总体不放回抽样的数值坐标通常负相关；时间序列常有自相关；在线学习和 bandit 中第 $t$ 个观测依赖此前动作。它们都可能拥有相同边缘分布，却不能直接套用 $D^m$ 下的集中结论。

把样本当成集合会丢失重复次数。离散数据 $s=(a,a,b)$ 与集合 $\{a,b\}$ 不同：前者包含三次观测，后者只记录两个不同值。bootstrap、经验频率和似然都需要保留多重性。

IID 的乘积律蕴含可交换性公理库可交换随机变量Exchangeable random variables · Exchangeability · 可交换性从有限坐标置换对称性走到无限 Bernoulli 序列的唯一混合表示，并用矩判断无限延拓的边界。，即任意重排坐标不改变联合分布；反之不成立，例如随机不放回取出两个不同数仍可交换，却存在依赖。这个较弱的对称性足以支持某些秩推断，但不足以直接沿用独立样本的方差公式。

对固定可积函数 $f$ 和 $m\ge 1$，样本平均

在适当条件下由大数律公理库强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。趋近 ${\mathbb{E}}_{D}f$。把具体样本写成经验测度公理库经验测度Empirical measure · Empirical distribution把有限观测的重复频数编码为原子概率测度。可将该平均表示为积分；IID 是数据生成协议，经验测度则是观测后的确定性摘要，两者不能合并成同一对象。

若 $f(Z_i)$ 还具有有限方差 ${\sigma }^2$，独立性使不同坐标的协方差为零，于是样本平均的方差为 ${\sigma }^2/m$。对照 $Z_1=\cdots =Z_m=Z$ 的重复拷贝，平均仍等于 $f(Z)$，方差完全不降。数据条数的增加只有配合生成假设，才转化为精度的增加。

统计推断、经验风险和分布测试常以 IID 为基线。若数据协议偏离 IID，应明确替代假设，例如有限总体设计、混合条件、鞅差、自适应采样或分布漂移，而不是把“样本数量大”当成独立性的证明。