Skip to content

估计量的渐近正态性

Asymptotic normality of estimators

估计误差在明确中心、速率与协方差下趋于正态律,以及线性化、标准化和边界失效机制。

领域
统计学
条目类型
定义

形式陈述

在实验序列 {Pθ(n):θΘ} 中,估计量 θ^nRk 若在固定真参数 θ0 下存在确定速率 rn 与正定矩阵 V(θ0),使

rn(θ^nθ0)dNk(0,V(θ0)),

则称其在 θ0 渐近服从正态分布。常规独立参数模型常有 rn=n;速率是结论的一部分,不能由“估计量”三个字推出。非参数平滑、支持边界、弱识别与长程依赖都可能改变速率或极限形状。

更一般的中心化允许局部偏移:

n(θ^nθ0)dNk(b,V).

因此一项完整声明至少包含真参数、中心、缩放、极限均值与协方差。依分布收敛给出分布层面的弱收敛,既不要求密度逐点接近,也不承诺原始未缩放估计量在有限样本中呈钟形。

由于收敛分布的序列是紧的,rn(θ^nθ0)=OPθ0(1);再用 rnθ^nθ0=oP(1)。所以以上以真值为中心的非退化渐近正态性自动蕴含点态一致性,反向则远远不够。

直觉

渐近正态把有限样本误差云在局部放大:未经缩放时它向真值塌缩,乘上 rn 后若轮廓稳定为椭圆正态,就能用协方差描述不同方向的局部精度。标准误估计的任务,是把这张依赖未知参数的椭圆转换成可由数据计算的近似尺度。

渐近线性骨架

许多估计量满足渐近线性展开

θ^nθ0=1ni=1nψθ0(Xi)+oPθ0(n1/2),

其中 Eθ0ψθ0=0 且协方差有限。乘 n 后,中心极限定理处理独立和,oP(1) 余项再由Slutsky 定理移除,极限协方差为 Covθ0{ψθ0(X)}。函数 ψ 称为影响函数,它把复杂估计量的一阶误差还原成可求和的单观测贡献。

对解估计方程 n1iψ(Xi,θ)=0 的规则,在 θ0 附近 Taylor 展开得到

n(θ^nθ0)A11niψ(Xi,θ0),

其中 A=Eθ0[θψ(X,θ0)] 必须可逆。若 B=Varθ0{ψ(X,θ0)},极限协方差为

A1BAT.

这里隐藏着一致性、局部可微、随机余项一致控制与矩条件;只写一次形式 Taylor 展开不足以证明结论。

例子与边界

在二元结局研究中,Bernoulli(p) 样本比例 p^=X¯ 对每个固定内部参数 0<p<1 满足

n(p^p)dN(0,p(1p))

用一致的 plug-in 方差 p^(1p^) 替换未知尺度,得到 studentized 形式

n(p^p)p^(1p^)dN(0,1).

由此产生的 Wald 区间使用正态分位数,覆盖只在相应渐近条件下接近名义水平;它并不等于精确二项区间,罕见事件下的有限样本误差尤其明显。

若科学报告使用 log-odds g(p)=logp/(1p),内部参数处的一阶变换给渐近方差

g(p)2p(1p)=1p(1p).

同一个分布族在概率与 log-odds 坐标中呈现不同标准误;协方差需要随 Jacobian 变换,裸数字没有脱离目标坐标的含义。

样本中位数展示渐近正态性并不依赖样本均值。若总体分布在唯一中位数 m 附近有连续正密度 f(m)>0,样本中位数 m^ 满足

n(m^m)dN(0,14f(m)2).

在污染物浓度等重尾测量中,这给出稳健位置估计的局部尺度;实际标准误还需估计中位数处的密度,而非套用样本均值公式。

边界与失败情形

p=0p=1,样本比例恒在边界,方差与 studentized 分母都为零。若 pn=c/nn 移向边界,总成功数趋于 Poisson 律;逐个固定内部 p 的正态定理无法处理这条局部序列。

样本均值的常规结论依赖有限方差;总体尾部重到方差无穷时,n 缩放可能失败并出现稳定分布极限。相关数据还需混合、鞅差或其他依赖条件,长期方差也不再只是单观测方差。

一致性允许许多非正态局部形状。Uniform(0,θ) 的样本最大值以 n 缩放并有指数型极限;|θ^n| 在真值零点的一阶导数不存在,常出现折叠正态而非中心正态。样本中位数若 f(m)=0,上面的 n 结论也会失效。

studentization 依赖尺度估计本身一致。对相关或异方差数据仍使用独立同方差公式时,分子可能确有正态极限,分母却收敛到错误常量,所得枢轴自然不会是标准正态。

点态正态极限可能在参数空间上高度不均匀。每个固定内部参数的近似都成立,并不保证距边界 O(n1/2) 的区域有统一误差控制;若区间要求诚实覆盖,必须研究局部参数序列或建立统一极限定理。

推论与应用

V(θ) 可一致估计且不退化,Wald 型标准误与置信区间可由渐近枢轴构造。覆盖误差的数量级还要借助 Berry–Esseen 界、Edgeworth 展开或有针对性的模拟;极限定理只描述 n,不标注某个有限样本何时“足够大”。

光滑重参数化由Delta 方法传播正态极限,Jacobian 奇异时则需更高阶展开。正则似然估计进一步把Fisher 信息的逆与极限协方差相连;模型失配时,A1BAT 的 sandwich 形式通常取代单纯的信息逆。

参考资料
  • A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998,Ch. 2–5。
  • R. J. Serfling, Approximation Theorems of Mathematical Statistics, Wiley, 1980,Ch. 1–2。
  • Thomas S. Ferguson, A Course in Large Sample Theory, Chapman & Hall, 1996,Ch. 2–4。
关系图谱21 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系