Skip to content

模型Model

独立同分布样本

施工中 · 内容逐步修订

IID sample · Independent and identically distributed sample

以乘积分布描述来自同一总体的独立重复观测。

形式陈述 ​

预先固定正整数 m。设 (Z,A) 是可测空间,D 是其上的概率分布。随机变量 Z1,…,Zm 若相互独立且每个都服从 D,就称为来自 D 的大小为 m 的独立同分布(IID)样本。写作

S=(Z1,…,Zm)∼Dm,

其中 Dm 是定义在 (Zm,A⊗m) 上的乘积测度。S 是取值于 Zm 的随机元素;Z 为实数空间时,它就是通常的随机向量。观测完成后得到的 s=(z1,…,zm) 才是一份具体数据。概率陈述必须区分对随机样本 S 取概率与对实现值 s 做确定性计算。

“同分布”只规定每个坐标的边缘律相同,不推出独立;“独立”也不推出同分布。IID 同时包含两项条件。具体而言,对任意可测集合 A1,…,Am,

Pr(Z1∈A1,…,Zm∈Am)=∏i=1mD(Ai).

这个等式检验整组坐标,而不只是每两个坐标;两两独立通常不足以推出联合乘积律。可测矩形生成乘积 σ-代数,且对有限交封闭,故概率测度唯一性使这个矩形等式等价于整个联合律 Dm。

无限序列 Z1,Z2,… 称为 IID,是指每个预先固定的有限前缀 (Z1,…,Zm) 都有上述乘积律;等价地,任意有限子族相互独立且各项同分布。因此本定义也保留了大数律、无限重复试验与递推模型所需的序列接口。这里并未声称一个数据决定的随机长度,在给定其长度后仍具有同样的乘积律。

直觉

IID 模型把重复实验理想化为:每次都从同一个总体机制重新抽取,而且新一次结果不携带此前结果的信息。联合分布因此完全分解为单观测分布的乘积,许多似然、期望和集中证明也随坐标分解。

样本通常写成有序元组,是因为乘积空间保留坐标身份。统计量可以忽略顺序,但这种置换不变性是统计量的性质,不是把概率空间自动改成集合。重复观测尤其不能删除。

例子与边界

抛同一枚公平硬币 m 次并假设各次独立,得到 Bernoulli(1/2)m 的 IID 样本。当 m≥2 且 Z 是非退化公平比特时,令 Z1=⋯=Zm=Z,各坐标边缘仍相同,却只含一次随机信息,因此不是独立样本。若 Zi∼N(i,1) 且彼此独立,则独立但不同分布,也不是 IID。

例如取两个独立公平比特 U,V,令三份观测为 U,V,U⊕V。任意两份都独立且服从 Bernoulli(1/2),但第三份由前两份确定;三份全零的概率是 1/4,并非 IID 模型要求的 1/8。这正是“相互独立”不能替换为“两两独立”的原因。

有限总体不放回抽样的数值坐标通常负相关;时间序列常有自相关;在线学习和 bandit 中第 t 个观测依赖此前动作。它们都可能拥有相同边缘分布,却不能直接套用 Dm 下的集中结论。

把样本当成集合会丢失重复次数。离散数据 s=(a,a,b) 与集合 {a,b} 不同:前者包含三次观测,后者只记录两个不同值。bootstrap、经验频率和似然都需要保留多重性。

IID 的乘积律蕴含可交换性,即任意重排坐标不改变联合分布;反之不成立,例如随机不放回取出两个不同数仍可交换,却存在依赖。这个较弱的对称性足以支持某些秩推断,但不足以直接沿用独立样本的方差公式。

推论与应用

对固定可积函数 f 和 m≥1,样本平均

1m∑i=1mf(Zi)

的期望由有限线性性恰为 EDf;这一无偏性本身只需各项同分布且可积,不要求独立。若有一个无限 IID 序列,保持同一个 f 并令确定的 m→∞,则强大数律给出该平均几乎必然趋于 EDf。这与某个固定 m 的有限样本误差界不同,也没有允许看完同一批数据后任意挑选 f。把具体样本写成经验测度可将该平均表示为积分;IID 是数据生成协议,经验测度则是观测后的确定性摘要,两者不能合并成同一对象。

若 f(Zi) 还具有有限方差 σ2,独立性使不同坐标的协方差为零。展开平方并逐项取期望,得到

Var(1m∑i=1mf(Zi))=1m2(∑i=1mσ2+2∑i<jCov(f(Zi),f(Zj)))=σ2m.

这一步实际上只需变换后的变量两两不相关及有限二阶矩;其他使用整个 Dm 的结论不能因此自动降为两两假设。对照 Z1=⋯=Zm=Z 的重复拷贝,平均仍等于 f(Z),方差完全不降。数据条数的增加只有配合生成假设,才转化为精度的增加。

同样的边际,三种不同的精度预算 ​

令 X1,…,Xn 为 IID Bernoulli(p),其中 n≥1 为预先固定整数。由上述线性性和方差展开,

EX―n=p,Var(X―n)=p(1−p)n.

若把每条记录复制一次,得到 Y2i−1=Y2i=Xi,则 2n 条记录的平均逐点仍为 X―n,方差也仍为 p(1−p)/n。直接代入“2n 个独立观测”的公式会少算一半:每对复制项之间留下 n 个协方差 p(1−p),它们在方差展开中各出现两次。p=0,1 时所有方差为零,不构成非退化依赖的反例。

另一种机制是在整个样本开始前只选择一次隐藏偏置 Θ∈{0.1,0.9},两值各半;给定 Θ 后再独立抛掷 m 次。每项边际仍是 Bernoulli(1/2),但对 i≠j,

E[XiXj]=12(0.12+0.92)=0.41,Cov(Xi,Xj)=0.41−0.25=0.16.

于是

Var(X―m)=0.25m+0.16m(m−1)m2=0.16+0.09m,

而真正 IID Bernoulli(1/2) 的平均方差是 0.25/m。例如 m=10 时两者为 0.169 与 0.025。如果每次观测前都独立重选偏置,联合律才变成这个 IID 边际模型;“先混合一次再取整份样本”与“每次重新混合”不是同一个实验。

随机停止的前缀并非固定大小的乘积实验 ​

底层序列可以一直是 IID,但选择何时停止会改变报告值的规律。令 Xi 为 IID Bernoulli(p),若 X1=1 就取 τ=1,否则取 τ=2。报告平均 X―τ 只有三类停止记录:(1)、(0,1)、(0,0),概率分别为 p,(1−p)p,(1−p)2,报告值分别为 1,1/2,0。因此

EX―τ=p+p(1−p)2=p(3−p)2,

在 p=1/2 时为 5/8,并非总体均值 1/2。条件于 τ=1 已知道第一项是 1;条件于 τ=2 已知道第一项是 0。所选前缀因而不能仅凭底层 IID,就被当成“给定长度后仍服从 Dτ”的样本。这个例子不否认底层序列的独立性,而是明确固定样本数无偏结论的适用实验。

统计推断、经验风险和分布测试常以 IID 为基线。若数据协议偏离 IID,应明确替代假设,例如有限总体设计、混合条件、鞅差、自适应采样或分布漂移,而不是把“样本数量大”当成独立性的证明。

参考资料
  • Rick Durrett, Probability: Theory and Examples, 5th ed. author manuscript, 2019-01-11,§2.1,Theorems 2.1.7–2.1.13,印刷 pp.46–49(PDF 第 54–57 页);相互独立、不相交分组、乘积分布及乘积期望。复制记录、隐藏偏置与停止前缀的有限计算在本页直接展开。

  • A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998, Chapters 2 and 19.

  • Olav Kallenberg, Foundations of Modern Probability, 2nd ed., Springer, 2002, Chapters 3–5.

  • Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning, Cambridge University Press, 2014, Chapter 2.

关系图谱147 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系