形式陈述
预先固定正整数 。设 是可测空间, 是其上的概率分布理路概率分布Probability distribution · Law可测空间上总质量为一的测度;随机变量的律是由样本概率推出的一类分布。。随机变量 若相互独立理路独立性Statistical independence从概率表理解独立性,区分两两、相互和条件独立,并用可计算反例澄清零协方差与条件均值的限度。且每个都服从 ,就称为来自 的大小为 的独立同分布(IID)样本。写作
其中 是定义在 上的乘积测度理路乘积测度Product measure在乘积 σ-代数上把可测矩形的测度规定为边测度乘积的测度。。 是取值于 的随机元素; 为实数空间时,它就是通常的随机向量。观测完成后得到的 才是一份具体数据。概率陈述必须区分对随机样本 取概率与对实现值 做确定性计算。
“同分布”只规定每个坐标的边缘律相同,不推出独立;“独立”也不推出同分布。IID 同时包含两项条件。具体而言,对任意可测集合 ,
这个等式检验整组坐标,而不只是每两个坐标;两两独立通常不足以推出联合乘积律。可测矩形生成乘积 -代数,且对有限交封闭,故概率测度唯一性使这个矩形等式等价于整个联合律 。
无限序列 称为 IID,是指每个预先固定的有限前缀 都有上述乘积律;等价地,任意有限子族相互独立且各项同分布。因此本定义也保留了大数律、无限重复试验与递推模型所需的序列接口。这里并未声称一个数据决定的随机长度,在给定其长度后仍具有同样的乘积律。
直觉
IID 模型把重复实验理想化为:每次都从同一个总体机制重新抽取,而且新一次结果不携带此前结果的信息。联合分布因此完全分解为单观测分布的乘积,许多似然、期望和集中证明也随坐标分解。
样本通常写成有序元组,是因为乘积空间保留坐标身份。统计量可以忽略顺序,但这种置换不变性是统计量的性质,不是把概率空间自动改成集合。重复观测尤其不能删除。
例子与边界
抛同一枚公平硬币 次并假设各次独立,得到 Bernoulli 的 IID 样本。当 且 是非退化公平比特时,令 ,各坐标边缘仍相同,却只含一次随机信息,因此不是独立样本。若 且彼此独立,则独立但不同分布,也不是 IID。
例如取两个独立公平比特 ,令三份观测为 。任意两份都独立且服从 Bernoulli,但第三份由前两份确定;三份全零的概率是 ,并非 IID 模型要求的 。这正是“相互独立”不能替换为“两两独立”的原因。
有限总体不放回抽样的数值坐标通常负相关;时间序列常有自相关;在线学习和 bandit 中第 个观测依赖此前动作。它们都可能拥有相同边缘分布,却不能直接套用 下的集中结论。
把样本当成集合会丢失重复次数。离散数据 与集合 不同:前者包含三次观测,后者只记录两个不同值。bootstrap、经验频率和似然都需要保留多重性。
IID 的乘积律蕴含可交换性理路可交换随机变量Exchangeable random variables · Exchangeability · 可交换性从有限坐标置换对称性走到无限 Bernoulli 序列的唯一混合表示,并用矩判断无限延拓的边界。,即任意重排坐标不改变联合分布;反之不成立,例如随机不放回取出两个不同数仍可交换,却存在依赖。这个较弱的对称性足以支持某些秩推断,但不足以直接沿用独立样本的方差公式。
推论与应用
对固定可积函数 和 ,样本平均
的期望理路期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分,概括加权平均与总体质量平衡。由有限线性性恰为 ;这一无偏性本身只需各项同分布且可积,不要求独立。若有一个无限 IID 序列,保持同一个 并令确定的 ,则强大数律理路强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时,样本均值沿几乎每条无限样本路径收敛到共同期望。给出该平均几乎必然趋于 。这与某个固定 的有限样本误差界不同,也没有允许看完同一批数据后任意挑选 。把具体样本写成经验测度理路经验测度Empirical measure · Empirical distribution把有限观测的重复频数编码为原子概率测度。可将该平均表示为积分;IID 是数据生成协议,经验测度则是观测后的确定性摘要,两者不能合并成同一对象。
若 还具有有限方差理路方差Variance随机变量相对其均值的平方偏差期望,也是最佳常数平方预测的剩余误差。 ,独立性使不同坐标的协方差为零。展开平方并逐项取期望,得到
这一步实际上只需变换后的变量两两不相关及有限二阶矩;其他使用整个 的结论不能因此自动降为两两假设。对照 的重复拷贝,平均仍等于 ,方差完全不降。数据条数的增加只有配合生成假设,才转化为精度的增加。
同样的边际,三种不同的精度预算
令 为 IID Bernoulli,其中 为预先固定整数。由上述线性性和方差展开,
若把每条记录复制一次,得到 ,则 条记录的平均逐点仍为 ,方差也仍为 。直接代入“ 个独立观测”的公式会少算一半:每对复制项之间留下 个协方差 ,它们在方差展开中各出现两次。 时所有方差为零,不构成非退化依赖的反例。
另一种机制是在整个样本开始前只选择一次隐藏偏置 ,两值各半;给定 后再独立抛掷 次。每项边际仍是 Bernoulli,但对 ,
于是
而真正 IID Bernoulli 的平均方差是 。例如 时两者为 与 。如果每次观测前都独立重选偏置,联合律才变成这个 IID 边际模型;“先混合一次再取整份样本”与“每次重新混合”不是同一个实验。
随机停止的前缀并非固定大小的乘积实验
底层序列可以一直是 IID,但选择何时停止会改变报告值的规律。令 为 IID Bernoulli,若 就取 ,否则取 。报告平均 只有三类停止记录:、、,概率分别为 ,报告值分别为 。因此
在 时为 ,并非总体均值 。条件于 已知道第一项是 ;条件于 已知道第一项是 。所选前缀因而不能仅凭底层 IID,就被当成“给定长度后仍服从 ”的样本。这个例子不否认底层序列的独立性,而是明确固定样本数无偏结论的适用实验。
统计推断、经验风险和分布测试常以 IID 为基线。若数据协议偏离 IID,应明确替代假设,例如有限总体设计、混合条件、鞅差、自适应采样或分布漂移,而不是把“样本数量大”当成独立性的证明。
参考资料
-
Rick Durrett, Probability: Theory and Examples, 5th ed. author manuscript, 2019-01-11,§2.1,Theorems 2.1.7–2.1.13,印刷 pp.46–49(PDF 第 54–57 页);相互独立、不相交分组、乘积分布及乘积期望。复制记录、隐藏偏置与停止前缀的有限计算在本页直接展开。
-
A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998, Chapters 2 and 19.
-
Olav Kallenberg, Foundations of Modern Probability, 2nd ed., Springer, 2002, Chapters 3–5.
-
Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning, Cambridge University Press, 2014, Chapter 2.