形式陈述
在实验序列 { P θ ( n ) : θ ∈ Θ } 中,估计量 公理库 估计量、决策规则与风险 Estimator and decision rule · Statistical risk 从观测到行动的可实施规则,以及在逐参数、Bayes 与最坏情形量词下的期望损失。 θ ^ n ∈ R k 若在固定真参数 θ 0 下存在确定速率 r n → ∞ 与正定矩阵 V ( θ 0 ) ,使
r n ( θ ^ n − θ 0 ) → d N k ( 0 , V ( θ 0 ) ) , 则称其在 θ 0 渐近服从正态分布 公理库 正态分布 Normal distribution · Gaussian distribution · 高斯分布 具有指数平方密度、在仿射变换与独立求和下封闭的概率分布族。 。常规独立参数模型常有 r n = n ;速率是结论的一部分,不能由“估计量”三个字推出。非参数平滑、支持边界、弱识别与长程依赖都可能改变速率或极限形状。
更一般的中心化允许局部偏移:
n ( θ ^ n − θ 0 ) → d N k ( b , V ) . 因此一项完整声明至少包含真参数、中心、缩放、极限均值与协方差。依分布收敛 公理库 依分布收敛 Convergence in distribution · Weak convergence 分布函数在极限分布连续点处收敛的随机变量收敛概念。 给出分布层面的弱收敛,既不要求密度逐点接近,也不承诺原始未缩放估计量在有限样本中呈钟形。
由于收敛分布的序列是紧的,r n ( θ ^ n − θ 0 ) = O P θ 0 ( 1 ) ;再用 r n → ∞ 得 θ ^ n − θ 0 = o P ( 1 ) 。所以以上以真值为中心的非退化渐近正态性自动蕴含点态一致性 公理库 估计量的一致性 Consistency of estimators · Consistent estimator 估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。 ,反向则远远不够。
直觉
渐近正态把有限样本误差云在局部放大:未经缩放时它向真值塌缩,乘上 r n 后若轮廓稳定为椭圆正态,就能用协方差描述不同方向的局部精度。标准误估计的任务,是把这张依赖未知参数的椭圆转换成可由数据计算的近似尺度。
渐近线性骨架
许多估计量满足渐近线性展开
θ ^ n − θ 0 = 1 n ∑ i = 1 n ψ θ 0 ( X i ) + o P θ 0 ( n − 1 / 2 ) , 其中 E θ 0 ψ θ 0 = 0 且协方差有限。乘 n 后,中心极限定理 公理库 中心极限定理 Central limit theorem 适当归一化的独立随机变量和在分布上趋于正态分布。 处理独立和,o P ( 1 ) 余项再由Slutsky 定理 公理库 Slutsky 定理 Slutsky's theorem 依分布收敛随机量与依概率收敛常量组合时,和、积与合法商保持相应分布极限。 移除,极限协方差为 Cov θ 0 { ψ θ 0 ( X ) } 。函数 ψ 称为影响函数,它把复杂估计量的一阶误差还原成可求和的单观测贡献。
对解估计方程 n − 1 ∑ i ψ ( X i , θ ) = 0 的规则,在 θ 0 附近 Taylor 展开得到
n ( θ ^ n − θ 0 ) ≈ − A − 1 1 n ∑ i ψ ( X i , θ 0 ) , 其中 A = E θ 0 [ ∂ θ ψ ( X , θ 0 ) ] 必须可逆。若 B = Var θ 0 { ψ ( X , θ 0 ) } ,极限协方差为
A − 1 B A − T . 这里隐藏着一致性、局部可微、随机余项一致控制与矩条件;只写一次形式 Taylor 展开不足以证明结论。
例子与边界
在二元结局研究中,Bernoulli( p ) 样本比例 p ^ = X ¯ 对每个固定内部参数 0 < p < 1 满足
n ( p ^ − p ) → d N ( 0 , p ( 1 − p ) ) 用一致的 plug-in 方差 p ^ ( 1 − p ^ ) 替换未知尺度,得到 studentized 形式
n ( p ^ − p ) p ^ ( 1 − p ^ ) → d N ( 0 , 1 ) . 由此产生的 Wald 区间使用正态分位数,覆盖只在相应渐近条件下接近名义水平;它并不等于精确二项区间,罕见事件下的有限样本误差尤其明显。
若科学报告使用 log-odds g ( p ) = log p / ( 1 − p ) ,内部参数处的一阶变换给渐近方差
g ′ ( p ) 2 p ( 1 − p ) = 1 p ( 1 − p ) . 同一个分布族在概率与 log-odds 坐标中呈现不同标准误;协方差需要随 Jacobian 变换,裸数字没有脱离目标坐标的含义。
样本中位数展示渐近正态性并不依赖样本均值。若总体分布在唯一中位数 m 附近有连续正密度 f ( m ) > 0 ,样本中位数 m ^ 满足
n ( m ^ − m ) → d N ( 0 , 1 4 f ( m ) 2 ) . 在污染物浓度等重尾测量中,这给出稳健位置估计的局部尺度;实际标准误还需估计中位数处的密度,而非套用样本均值公式。
边界与失败情形
在 p = 0 或 p = 1 ,样本比例恒在边界,方差与 studentized 分母都为零。若 p n = c / n 随 n 移向边界,总成功数趋于 Poisson 律;逐个固定内部 p 的正态定理无法处理这条局部序列。
样本均值的常规结论依赖有限方差;总体尾部重到方差无穷时,n 缩放可能失败并出现稳定分布极限。相关数据还需混合、鞅差或其他依赖条件,长期方差也不再只是单观测方差。
一致性允许许多非正态局部形状。Uniform( 0 , θ ) 的样本最大值以 n 缩放并有指数型极限;| θ ^ n | 在真值零点的一阶导数不存在,常出现折叠正态而非中心正态。样本中位数若 f ( m ) = 0 ,上面的 n 结论也会失效。
studentization 依赖尺度估计本身一致。对相关或异方差数据仍使用独立同方差公式时,分子可能确有正态极限,分母却收敛到错误常量,所得枢轴自然不会是标准正态。
点态正态极限可能在参数空间上高度不均匀。每个固定内部参数的近似都成立,并不保证距边界 O ( n − 1 / 2 ) 的区域有统一误差控制;若区间要求诚实覆盖,必须研究局部参数序列或建立统一极限定理。
推论与应用
若 V ( θ ) 可一致估计且不退化,Wald 型标准误与置信区间 公理库 置信区间 Confidence interval · Confidence set 由样本决定、在重复抽样下以规定概率覆盖固定参数目标的随机集合。 可由渐近枢轴构造。覆盖误差的数量级还要借助 Berry–Esseen 界、Edgeworth 展开或有针对性的模拟;极限定理只描述 n → ∞ ,不标注某个有限样本何时“足够大”。
光滑重参数化由Delta 方法 公理库 Delta 方法 Delta method 用可微映射的一阶 Taylor 展开传播估计量的渐近分布与协方差。 传播正态极限,Jacobian 奇异时则需更高阶展开。正则似然估计进一步把Fisher 信息 公理库 Score 与 Fisher 信息 Score function · Fisher information 对数似然的局部参数导数、其模型内二次平均,以及零均值和曲率等式成立的正则条件。 的逆与极限协方差相连;模型失配时,A − 1 B A − T 的 sandwich 形式通常取代单纯的信息逆。
参考资料
A. W. van der Vaart, Asymptotic Statistics , Cambridge University Press, 1998,Ch. 2–5。
R. J. Serfling, Approximation Theorems of Mathematical Statistics , Wiley, 1980,Ch. 1–2。
Thomas S. Ferguson, A Course in Large Sample Theory , Chapman & Hall, 1996,Ch. 2–4。