中心极限定理

为什么除以 $\sqrt{n}$？在本页的有限方差 IID 假设下，$S_n$ 的期望按 $n$ 增长，方差也按 $n$ 增长，标准差因而是 $\sigma \sqrt{n}$。独立微小贡献叠加后，标准化分布的极限不再依赖偏态、离散性等细节。无限方差时，这个有限方差定理不适用；适当的尾部与归一化条件可能给出非高斯稳定极限，也可能仍给出正态极限，甚至不能保证存在非退化极限。归一化和吸引域必须一起检查。

中心极限定理与Hoeffding 不等式理路Hoeffding 不等式Hoeffding's inequality独立有界随机变量和偏离期望的概率以平方偏差的指数速度衰减。回答不同问题。前者在归一化和的分布极限上给正态近似，通常是渐近陈述；后者在独立有界条件下直接给有限样本尾概率上界，却不描述极限分布的形状。

取 $X_i$ 为公平硬币的正面指示，即 Bernoulli理路Bernoulli 随机变量Bernoulli random variable只取 0 与 1 且成功概率为 p 的基本随机变量。$(1/2)$，则 $S_{100}$ 服从二项分布理路二项分布Binomial distribution固定次数独立同概率 Bernoulli 试验中成功总数的离散分布。，均值 $50$、标准差 $5$。定理给出 $\text{Pr}(S_{100}\le 55)\approx \mathrm{\Phi }(1)\approx 0.841$；精确值约 $0.864$，带连续性修正的近似 $\mathrm{\Phi }(1.1)\approx 0.864$ 则几乎命中。二项情形的这一近似正是 de Moivre–Laplace 定理——中心极限定理最早的特例。

误差与假设都有明确的边界。有限 $n$ 下正态只是近似，Berry–Esseen 定理说：若三阶绝对矩有限，分布函数的一致误差是 $O(1/\sqrt{n})$。标准 Cauchy 分布连期望都没有，独立标准 Cauchy 变量的样本均值仍为标准 Cauchy；确定性的平移和缩放不能使这些和具有非退化正态极限。

但无限方差不等于排除正态极限。令 $X_i$ 独立同分布且对称，$\text{Pr}(|X_i|>x)=x^{-2}$（$x\ge 1$）。它有均值零、二阶矩无穷，截断二阶矩为 $\mathbb{E}[X_i^2{\mathbf{1}}_{\{|X_i|\le b\}}]=2\log b$（$b\ge 1$）。Durrett 的例 3.4.13 给出

这里多出的 $\sqrt{\log n}$ 正说明不能直接沿用 $\sigma \sqrt{n}$；它不是前述有限方差定理的实例。见 Durrett，例 3.4.13，纸面 p.151。

结论的模式也要读准：这是关于分布的陈述，不是关于样本路径的陈述。它不断言 ${\overline{X}}_n$ 逐点或几乎必然收敛（那是大数律的领地），也不覆盖偏离均值 $O(n)$ 量级的罕见事件——把正态近似外推到极端尾部是常见误用，那里需要大偏差理论。

对样本均值，CLT 给出抽样分布理路统计量与抽样分布Statistic · Sampling distribution样本的可测数据摘要，以及该摘要在指定统计模型与重复抽样设计下的推前分布。的标准化近似，进而支持已知 $\sigma$ 时的渐近置信区间 ${\overline{X}}_n\pm z_{1-\alpha /2}\sigma /\sqrt{n}$，以及Monte Carlo 积分理路Monte Carlo 积分Monte Carlo integration · Monte Carlo quadrature将积分改写为随机变量期望，以独立样本均值估计并用方差和概率假设量化随机误差。的渐近误差条。未知方差还需一致的方差估计与 Slutsky 定理。对其他估计量理路估计量的渐近正态性Asymptotic normality of estimators估计误差在明确中心、速率与协方差下趋于正态律，以及线性化、标准化和边界失效机制。，则先证明它具有相应线性主项；Delta 方法理路Delta 方法Delta method用可微映射的一阶 Taylor 展开传播估计量的渐近分布与协方差。再把极限传到光滑目标，不能仅凭“它也是统计量”就套用样本均值公式。

学习理论中的样本复杂度理路样本复杂度、精度与置信度Sample complexity · Accuracy and confidence用 m(ε,δ) 描述达到风险精度与失败概率所需的数据量。要求给定 $(\epsilon ,\delta )$ 后的有限样本、高概率保证，常还需同时覆盖整个假设类。固定统计量的 CLT 不提供这种分布无关的一致界，因而也不能直接控制看完数据才选出的模型。

经典证明走特征函数理路特征函数（概率）Characteristic function of a distribution随机变量的复指数矩，也就是概率分布的 Fourier 变换。路线：独立和的特征函数是乘积，对每个因子在原点做二阶展开，取极限得到 $e^{-t^2/2}$，再由 Lévy 连续性定理收官——这条证明同时解释了为何只有均值与方差出场。

与大数律理路强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。相比，两者一粗一细：大数律说样本均值收敛到 $\mu$，CLT 刻画 $1/\sqrt{n}$ 尺度的波动。独立但不同分布时，应检查相应 Lindeberg 或 Lyapunov 条件，确认没有少数项支配总波动。

若还要给固定样本规模的数值误差，可构造交换对理路交换对的正态近似Exchangeable pair normal approximation · Stein pair · Stein交换对用一次可逆的随机扰动构造交换对，把线性条件回归、条件跳跃方差和三阶跳跃量变成有限样本Wasserstein误差预算。或零偏置耦合理路零偏置分布与正态耦合Zero bias distribution · Zero-bias coupling · 零偏置耦合通过中心变量的二阶加权积分构造连续的新分布，按方差替换独立和的一项，并以耦合距离控制Lipschitz损失的正态误差。。前者检查条件回归和条件跳跃矩，适用于无放回抽样的交换；后者可按方差权重替换独立和的一项。这些页面控制1-Lipschitz损失的W1误差；离散统计量与连续正态的总变差仍为1，不能混用距离。

当累计量是完成周期的次数时，先对周期长度的部分和用 CLT，再反演事件。更新中心极限定理理路更新计数的中心极限定理Renewal central limit theorem把部分和的正态涨落反演为更新计数涨落，得到方差尺度 σ²t/μ³。由此得到计数方差尺度 ${\sigma }^{2}t/{\mu }^3$，说明随机时间反演为何额外带来平均周期的次幂。

对更一般的低次多线性统计量，低影响不变性原理理路低影响多项式的不变性原理Invariance principle for low-influence polynomials对低次数、低坐标影响的多线性多项式，逐坐标替换均匀 bit 与 Gaussian 输入并控制平滑测试误差。逐坐标替换 bit 与 Gaussian 输入，用匹配低阶矩消去 Taylor 主项，再以影响和高阶矩控制余项。归一化独立和是其中最简单的例子；一般多项式还必须检查次数、每坐标影响及测试函数的光滑性。