Skip to content

定理Theorem

弱大数定律

Weak law of large numbers · WLLN

独立同分布且方差有限时,样本均值依概率收敛到共同期望,并具有 Chebyshev 偏差界。

形式陈述 ​

设 X1,X2,… 独立同分布,E[X1]=μ,Var(X1)=σ2<∞,对整数 n≥1 记

X―n=1n∑i=1nXi.

独立性给出 Var(X―n)=σ2/n,所以对每个 ε>0,Chebyshev 不等式给出

P(|X―n−μ|≥ε)≤σ2nε2⟶0.

这正是依概率收敛 X―n→Pμ。更一般的弱大数定律可以放宽同分布或有限方差假设,但必须用相应的截断、方差控制或一致可积条件替代;本页陈述的是最清楚且自带定量界的 IID 有限方差版本。

直觉

弱形式逐个观察固定的大样本量:n 越大,样本均值落在目标 μ 附近的概率越高。它不直接选出一个概率为一的路径集合,保证这些路径从某时刻起一直稳定;那是强大数定律更强的量词。

方差有限时,独立涨落的方差相加,而除以 n 的平均又带来 n−2,最终留下 σ2/n。这个计算解释了概率为何集中,却只提供保守的二次尾界,不是典型误差的完整分布。

例子与边界

独立抛公平硬币前 n≥1 次的正面比例 p^n 满足

P(|p^n−1/2|≥0.01)≤1/4n×10−4=2500n.

因此该界保证 n≥250000 时偏离至少 0.01 的概率不超过 1%。这是便于证明的保守上界,不是接近最优的样本量;Hoeffding 不等式会给出指数尾界;同样要求下,2e−2n(0.01)2≤0.01 只需 n≥⌈log⁡(200)/0.0002⌉=26492。两个数都是相应不等式给出的充分样本量,并非精确最小样本量。

若 X1=X2=⋯ 完全相关,则平均值始终等于同一个随机变量,方差不会按 1/n 缩小。若样本服从 Cauchy 分布,期望与方差不存在,样本均值仍保持 Cauchy 分布。两种反例分别说明独立性与矩条件不是装饰。

推论与应用

弱大数定律为固定精度、固定样本量的 Monte Carlo 一致性提供基本入口。它只说明偏差概率趋零,不给正态误差条;中心极限定理描述 n 尺度的渐近分布,集中不等式则在额外尾部条件下给有限样本保证。

强大数定律的几乎必然收敛蕴含这里的依概率收敛;本页额外给出的 σ2/(nε2) 定量界仍来自有限方差与 Chebyshev 计算。一般而言,依概率收敛不反推几乎必然收敛。证明弱形式时使用 Chebyshev,不表示强形式也能由同一条逐时刻概率界直接得到;要把逐时刻控制升级为整条路径控制,通常还需要可求和界、Borel–Cantelli 或更精细的截断论证。

参考资料
  • Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995,laws of large numbers。
  • Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019,weak and strong laws。
关系图谱14 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系