强大数定律

强大数定律把“概率是长期频率”从解释升格为路径级定理：除一个概率为零的例外集合外，一次实验持续做下去，样本均值终会稳定到期望。它不是只对每个固定 $n$ 给一张高概率切片，而是同时约束整条无限序列。独立性阻止观测长期合谋朝同一方向漂移，可积性则保证收敛目标本身存在。

公平硬币前 $n$ 次的正面比例 ${\hat{p}}_n$ 几乎必然趋于 $1/2$。定律说的是比例收敛而非次数追平：正面次数与 $n/2$ 的绝对偏差通常按 $\sqrt{n}$ 量级增长，除以 $n$ 之后才消失。因此强大数定律不支持“背运之后更容易翻盘”的赌徒谬误——修正靠长期稀释，不靠后续结果有意补偿。

可积性不可省略。若 $X_i$ 服从标准 Cauchy 分布，则 $\mathbb{E}|X_1|=\mathrm{\infty }$，而 ${\bar{X}}_n$ 对每个 $n$ 仍是标准 Cauchy 分布：样本均值根本不集中，永远与单个观测一样散。独立同分布的假设同样有分量：极端反例是 $X_1=X_2=\cdots$ 完全相关，此时 ${\bar{X}}_n\equiv X_1$，除非分布退化，否则不会收敛到常数 $\mu$。相关序列、非同分布的三角阵列各有专门版本的大数定律，附加条件不能照搬本页形式。

大数定律为Monte Carlo 方法公理库Monte Carlo 积分Monte Carlo integration · Monte Carlo quadrature将积分改写为随机变量期望，以独立样本均值估计并用方差和概率假设量化随机误差。背书：把积分或期望写成 $\mathbb{E}[f(X)]$ 后用独立抽样公理库独立同分布样本IID sample · Independent and identically distributed sample以乘积分布描述来自同一总体的独立重复观测。得到的经验平均公理库经验测度Empirical measure · Empirical distribution把有限观测的重复频数编码为原子概率测度。逼近。统计中，经验分布函数在每个固定点的相合性可由大数定律得到；对所有点的一致相合性则是 Glivenko–Cantelli 定理。同样，对每个预先固定的假设 $h$，LLN 可给经验风险收敛；若 ERM 从同一数据选择 $h_S$，逐个 $h$ 的收敛不能控制这个数据依赖输出，需一致收敛公理库经验风险的一致收敛Uniform convergence of empirical risks以高概率同时控制整个假设类的经验风险与总体风险偏差。或稳定性等另一套机制。

矩估计与经验准则常先用 LLN 证明样本摘要趋于总体目标，再借连续映射或 argmin 定理得到估计一致性公理库估计量的一致性Consistency of estimators · Consistent estimator估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。。逐参数 LLN 只给 pointwise consistency；若估计量在同一数据上跨参数或模型取最优，还需统一大数律、可识别的分离极值与优化误差控制。

大数定律只回答“收敛到哪”，不回答“多快”：涨落的精细尺度由中心极限定理公理库中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。刻画，而对有界随机变量，Hoeffding 不等式公理库Hoeffding 不等式Hoeffding's inequality独立有界随机变量和偏离期望的概率以平方偏差的指数速度衰减。提供非渐近的指数式偏差界。三者都不能仅凭逐点结论证明无限假设类 ERM 的统一泛化。

在信息论中，对独立同分布的离散信源且熵有限时，把大数定律用于 $-\log p(X_i)$ 可推出渐近均分性质公理库渐近等分性质Asymptotic equipartition property · AEP离散无记忆源的长序列每符号信息量几乎必然收敛到熵。，它是典型集论证与数据压缩定理的起点。