强大数定律

强大数定律把“概率是长期频率”从解释升格为路径级定理：除一个概率为零的例外集合外，一次实验持续做下去，样本均值终会稳定到期望。它不是只对每个固定 $n$ 给一张高概率切片，而是同时约束整条无限序列。独立性阻止观测长期合谋朝同一方向漂移，可积性则保证收敛目标本身存在。

公平硬币前 $n$ 次的正面比例 ${\hat{p}}_n$ 几乎必然趋于 $1/2$。定律说的是比例收敛而非次数追平：正面次数与 $n/2$ 的绝对偏差通常按 $\sqrt{n}$ 量级增长，除以 $n$ 之后才消失。因此强大数定律不支持“背运之后更容易翻盘”的赌徒谬误——修正靠长期稀释，不靠后续结果有意补偿。

可积性不可省略。若 $X_i$ 服从标准 Cauchy 分布，则 $\mathbb{E}|X_1|=\mathrm{\infty }$，而 ${\bar{X}}_n$ 对每个 $n$ 仍是标准 Cauchy 分布：样本均值根本不集中，永远与单个观测一样散。独立同分布的假设同样有分量：极端反例是 $X_1=X_2=\cdots$ 完全相关，此时 ${\bar{X}}_n\equiv X_1$，除非分布退化，否则不会收敛到常数 $\mu$。相关序列、非同分布的三角阵列各有专门版本的大数定律，附加条件不能照搬本页形式。

大数定律为Monte Carlo 方法公理库Monte Carlo 积分Monte Carlo integration · Monte Carlo quadrature将积分改写为随机变量期望，以独立样本均值估计并用方差和概率假设量化随机误差。背书：把积分或期望写成 $\mathbb{E}[f(X)]$ 后用独立抽样公理库独立同分布样本IID sample · Independent and identically distributed sample以乘积分布描述来自同一总体的独立重复观测。得到的经验平均公理库经验测度Empirical measure · Empirical distribution把有限观测的重复频数编码为原子概率测度。逼近。统计中，经验分布函数在每个固定点的相合性可由大数定律得到；对所有点的一致相合性则是 Glivenko–Cantelli 定理。同样，对每个预先固定的假设 $h$，LLN 可给经验风险收敛；若 ERM 从同一数据选择 $h_S$，逐个 $h$ 的收敛不能控制这个数据依赖输出，需一致收敛公理库经验风险的一致收敛Uniform convergence of empirical risks以高概率同时控制整个假设类的经验风险与总体风险偏差。或稳定性等另一套机制。

矩估计与经验准则常先用 LLN 证明样本摘要趋于总体目标，再借连续映射或 argmin 定理得到估计一致性公理库估计量的一致性Consistency of estimators · Consistent estimator估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。。逐参数 LLN 只给 pointwise consistency；若估计量在同一数据上跨参数或模型取最优，还需统一大数律、可识别的分离极值与优化误差控制。

大数定律只回答“收敛到哪”，不回答“多快”：有限正方差的 IID 情形可进一步用中心极限定理公理库中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。刻画涨落，而对有界随机变量，Hoeffding 不等式公理库Hoeffding 不等式Hoeffding's inequality独立有界随机变量和偏离期望的概率以平方偏差的指数速度衰减。提供非渐近的指数式偏差界。

在信息论中，对独立同分布的离散信源且熵有限时，把大数定律用于 $-\log p(X_i)$ 可推出渐近均分性质公理库渐近等分性质Asymptotic equipartition property · AEP离散无记忆源的长序列每符号信息量几乎必然收敛到熵。，它是典型集论证与数据压缩定理的起点。

若样本代表周期长度，更新计数大数定律公理库更新计数的大数定律Renewal strong law通过到达部分和的路径反演，证明长期单位时间更新数趋于平均间隔的倒数。用路径夹逼把平均耗时反演成单位时间周期数；周期再携带收益时，更新报酬定理公理库更新报酬定理Renewal reward theorem把长期收益拆成每周期平均收益与单位时间周期数，允许周期长度和收益相关。得到平均收益除以平均长度。远处固定小窗口的期望次数则是另一个问题，需要Blackwell 更新定理公理库Blackwell 更新定理Blackwell renewal theorem在有限平均间隔及非格点条件下，远处固定时间窗的期望更新数趋于窗长除以平均间隔。及其非格点条件。