形式陈述

设 $X_1,X_2,\ldots$$X_1,X_2,\dots$ 独立同分布，且 $E|X_1|<\infty$$E|X_1|<\mathrm{\infty }$，记 $\mu=E[X_1]$$\mu =E[X_1]$ 与

$$ \overline X_n=\frac1n\sum_{i=1}^nX_i. $$$${\bar{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i.$$

Kolmogorov 强大数定律断言

$$ \overline X_n\xrightarrow{a.s.}\mu. $$$${\bar{X}}_n\stackrel{a.s.}{\to }\mu .$$

因此也有弱大数定律

$$ \overline X_n\xrightarrow{P}\mu. $$$${\bar{X}}_n\stackrel{P}{\to }\mu .$$

在更强的有限方差条件 $\operatorname{Var}(X_1)=\sigma^2<\infty$$\mathrm{Var}(X_1)={\sigma }^2<\mathrm{\infty }$ 下，弱形式还可由 Chebyshev 不等式直接量化：对每个 $\varepsilon>0$$\epsilon >0$，

$$ P(|\overline X_n-\mu|\ge\varepsilon) \le\frac{\sigma^2}{n\varepsilon^2}\longrightarrow0. $$$$P(|{\bar{X}}_n-\mu |\ge \epsilon )\le \frac{{\sigma }^2}{n{\epsilon }^2}⟶0.$$

直觉

独立重复观测的波动在平均中逐渐抵消。强形式说明除一个概率为零的样本路径集合外，样本均值沿每条路径都收敛；弱形式只要求固定误差阈值下发生明显偏离的概率趋于零。

例子与边界

公平硬币前 $n$$n$ 次正面比例几乎必然趋于 $1/2$$1/2$，因而也依概率趋于 $1/2$$1/2$。有限 $n$$n$ 时仍可能出现很大偏差，大数定律不给出“下一次更可能补偿”的赌徒谬误。独立同分布和可积性是本页强形式的关键条件；相关变量、非同分布三角阵列或均值不存在时必须改用其他版本。

推论与应用

大数定律解释 Monte Carlo 平均、经验频率和样本均值的一致性。有限方差给出简单的弱形式误差界，但强大数律只需本页所列的有限一阶绝对矩；更一般的依赖结构和非同分布版本需要各自的附加条件。

参考资料

• Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995，§22。
• Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019，§2.2。