弱大数定律

形式陈述 ​

设 $X_1,X_2,\dots$ 独立同分布，$\mathbb{E}[X_1]=\mu$，$\mathrm{Var}(X_1)={\sigma }^2<\mathrm{\infty }$，并记

$${\bar{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i.$$

独立性给出 $\mathrm{Var}({\bar{X}}_n)={\sigma }^2/n$，所以对每个 $\epsilon >0$，Chebyshev 不等式公理库Chebyshev 不等式Chebyshev's inequality随机变量偏离均值至少给定距离的概率由方差除以距离平方控制。给出

$$\mathbb{P}(|{\bar{X}}_n-\mu |\ge \epsilon )\le \frac{{\sigma }^2}{n{\epsilon }^2}⟶0.$$

这正是 ${\bar{X}}_n\stackrel{P}{\to }\mu$。更一般的弱大数定律可以放宽同分布或有限方差假设，但必须用相应的截断、方差控制或一致可积条件替代；本页陈述的是最清楚且自带定量界的 IID 有限方差版本。

直觉 ​

弱形式逐个观察固定的大样本量：$n$ 越大，样本均值落在目标 $\mu$ 附近的概率越高。它不直接选出一个概率为一的路径集合，保证这些路径从某时刻起一直稳定；那是强大数定律公理库强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。更强的量词。

方差有限时，独立涨落的方差相加，而除以 $n$ 的平均又带来 $n^{-2}$，最终留下 ${\sigma }^2/n$。这个计算解释了概率为何集中，却只提供保守的二次尾界，不是典型误差的完整分布。

例子与边界 ​

公平硬币前 $n$ 次的正面比例 ${\hat{p}}_n$ 满足

$$\mathbb{P}(|{\hat{p}}_n-1/2|\ge 0.01)\le \frac{1/4}{n\times {10}^{-4}}=\frac{2500}{n}.$$

因此该界保证 $n\ge 250000$ 时偏离至少 $0.01$ 的概率不超过 $1\mathrm{\%}$。这是便于证明的保守上界，不是接近最优的样本量；Hoeffding 不等式会给出更快的指数尾界。

若 $X_1=X_2=\cdots$ 完全相关，则平均值始终等于同一个随机变量，方差不会按 $1/n$ 缩小。若样本服从 Cauchy 分布，期望与方差不存在，样本均值仍保持 Cauchy 分布。两种反例分别说明独立性与矩条件不是装饰。

推论与应用 ​

弱大数定律为固定精度、固定样本量的 Monte Carlo 一致性提供基本入口。它只说明偏差概率趋零，不给正态误差条；中心极限定理公理库中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。描述 $\sqrt{n}$ 尺度的渐近分布，集中不等式则在额外尾部条件下给有限样本保证。

强大数定律推出弱大数定律，但反向一般不成立。证明弱形式时使用 Chebyshev，不表示强形式也能由同一条逐时刻概率界直接得到；要把逐时刻控制升级为整条路径控制，通常还需要可求和界、Borel–Cantelli 或更精细的截断论证。

参考资料

• Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995，laws of large numbers。
• Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019，weak and strong laws。