Skip to content

定义Definition

渐近效率

Asymptotic efficiency

用局部正则性解释信息效率界,并以 Hodges 的精确风险计算区分逐点超效率与收缩邻域风险。

形式陈述 ​

设 X1,…,Xn 独立同分布于有限维参数模型 Pθ,θ0 是参数空间内点。若估计量具有渐近正态性

n(θ^n−θ0)→dNk(0,V(θ0)),

且单样本Fisher 信息 I(θ0) 非奇异,统计实验满足局部渐近正态(LAN)条件、估计量在局部扰动下正则,则其极限协方差满足信息下界

V(θ0)⪰I(θ0)−1.

这里正则性要求:对每个固定 h,在 θn=θ0+h/n 下,n(θ^n−θn) 的极限分布不随 h 改变;只验证固定 θ0 下渐近正态并不足够。LAN 条目中的 Bernoulli 计算把这两个义务分开完成:先证明模型的局部似然展开,再证明样本比例在移动真参数下仍有同一个中心化极限。记号 V⪰I−1 表示对每个向量 u,都有 uT(V−I−1)u≥0。

若等号成立,称 θ^n 在 θ0 渐近有效。标量参数下,两个渐近正态估计量 Tn,Sn 的相对效率常定义为

ARE(T,S;θ0)=VS(θ0)VT(θ0),

约定需明确谁在分子;数值大于一表示 T 具有较小渐近方差。

向量情形协方差矩阵只有偏序,可能一个估计量在某些方向更好、另一些方向更差。若要压成标量,应指定迹、行列式或目标函数 Jacobian 所诱导的损失。

直觉

渐近效率比较的是固定参数点附近 1/n 局部扰动下的首阶方差。它不等于全参数空间的有限样本风险排序,也不控制偏差的高阶项、尾概率或计算成本。

正则性要求同一个估计程序经受所有固定局部方向的检验。Hodges 规则在零点附近把估计值直接压成零,因此在零点的误差极小;但真参数若以适当速度趋近零,它会把真实信号也压掉。下面分别计算根号 n 局部尺度和更大收缩邻域上的风险,说明点态优势究竟付出了什么代价。

例子与边界

设 Xi 独立同分布于 N(μ,σ2),σ 已知。样本均值满足

n(X¯−μ)∼N(0,σ2),

而信息逆为 I(μ)−1=σ2,所以 X¯ 有效。

对同一位置模型,取 σ>0;正态密度在中位数 μ 附近连续且为正,因而可对 p=1/2 应用样本分位数渐近公式,得到样本中位数的渐近方差

Vmed=14f(μ)2=πσ22.

因此中位数相对均值的效率为

σ2πσ2/2=2π≈0.637.

按首阶方差,要获得与均值相近的精度,中位数约需 π/2 倍样本。但在污染或重尾分布下,中位数的稳健性可能更重要;效率数值必须连同模型说明。

Hodges 规则:先建立精确风险恒等式 ​

令 Xi 独立同分布于 N(θ,1),记样本均值为 X¯n,定义

Hn={0,|X¯n|≤n−1/4,X¯n,|X¯n|>n−1/4.

阈值比均值的典型噪声尺度 n−1/2 大,却仍趋于零。若真实均值为零,大多数样本会落入阈值;若真实均值固定且非零,阈值最终与它分离。这个规则完全由数据决定,没有使用未知参数。

为同时处理固定与移动参数,写

an=n1/4,bn=nθ,Z=n(X¯n−θ)∼N(0,1),An={|Z+bn|≤an}.

这里的正态分布是每个 n 的精确分布。阈值事件内外的缩放误差分别为 −bn 和 Z,因而有精确恒等式

n(Hn−θ)=−bn1An+Z1Anc,nRn(θ)=bn2P(An)+E[Z21Anc],

其中 Rn(θ)=Eθ[(Hn−θ)2] 是均方风险。事件互斥,所以平方后没有交叉项。风险计算将始终从这条式子出发;误差依分布收敛本身并不保证其二阶矩收敛。

记 ϕ(z)=(2π)−1/2e−z2/2,Φ(c)=∫−∞cϕ(z)dz。利用 ϕ′(z)=−zϕ(z) 分部积分,对 c>0 得到

E[Z21{|Z|>c}]=2∫c∞z2ϕ(z)dz=2{cϕ(c)+1−Φ(c)}=:Q(c).

同时,EetZ=et2/2,对 ecZ 使用Markov 不等式可得 P(Z≥c)≤e−c2/2;对 −Z 同理,所以 P(|Z|≥c)≤2e−c2/2。这两个显式尾界足够处理以下所有二阶矩。

固定参数点:零点的超效率与其他点的通常极限 ​

在 θ=0 时,bn=0,故

P0(Hn≠0)=P(|Z|>an)⟶0,nRn(0)=Q(an)⟶0.

事实上,对任意确定的正数序列 rn 和任意 ε>0,P0(|rnHn|>ε)≤P0(Hn≠0)→0。因此无论选择多快的确定缩放,rnHn 都依概率趋于零;这句话谈的是概率收敛,不能改写成任意速度的矩收敛。根号 n 缩放的极限是零点的点质量,并非具有正方差的正态分布。

若固定 θ≠0,充分大的 n 下 cn=n|θ|−an>0。由三角不等式,An⊂{|Z|≥cn},所以 Pθ(Hn=X¯n)→1,进而 n(Hn−θ)⇒N(0,1)。风险也回到均值的基准,但需要单独证明。由精确恒等式及 EZ2=1,

|nRn(θ)−1|≤nθ2P(|Z|≥cn)+Q(cn)≤2nθ2e−cn2/2+Q(cn)⟶0.

最后一步用到固定非零 θ 下 cn∼n|θ|,指数衰减压过前面的 n。所以该规则在每个固定非零点都有通常极限,而零点却表现得特别好;仅看这些逐点结论,还看不到它的不正则性。

根号 n 局部参数:中心化极限随方向变化 ​

现在让真参数为 θn=h/n,其中 h 固定。此时 bn=h,an→∞ 给出 Pθn(An)→1。缩放误差在高概率事件上精确等于 −h,所以

n(Hn−θn)→Pθn−h.

中心化后的极限依赖 h,违反零点处正则性的量词。相比之下,样本均值对每个 h 都有 n(X¯n−θn)∼N(0,1)。模型本身的正态结构并没有使阈值估计规则变得正则。

取 cn=an−|h|>0,有 Anc⊂{|Z|>cn}。于是

|nRn(θn)−h2|≤h2P(Anc)+E[Z21Anc]≤2h2e−cn2/2+Q(cn)⟶0.

局部缩放风险因此趋于 h2;只要 |h|>1,它就超过样本均值对所有参数均成立的精确缩放风险 1。以下表格把固定点和移动参数放在同一个中心化标准下比较。

参数序列 n(Hn−θ) 的极限 nRn(θ) 的极限
固定 θ=0 零点的点质量 0
固定 θ≠0 N(0,1) 1
θn=h/n,固定 h −h 处的点质量 h2

更大的收缩邻域:最坏风险比发散 ​

上面的固定 h 证明了不正则,但还没有证明一个邻域内的缩放风险随 n 发散。为此取阈值内部的参数 θn=12n−1/4,于是 bn=an/2。事件 |Z|≤an/2 包含于 An,所以

Rn(θn)≥14n−1/2(1−2e−n/8).

反向也可控制:Anc⊂{|Z|>an/2},故精确恒等式给出

Rn(θn)≤14n−1/2+1nQ(an/2).

两界夹逼得到 Rn(θn)∼14n−1/2。与样本均值的 1/n 相比,风险比渐近为 n/4。特别是

sup|θ|≤n−1/4nRn(θ)≥n4(1−2e−n/8)⟶∞.

这仍是一个缩向零的邻域,却比 1/n 尺度大。两个尺度回答不同问题:固定 h/n 揭示中心化极限为何不正则,n−1/4 邻域则定量揭示阈值抹去信号所造成的风险损失。不能把点态极限先取完,再当作对这些移动参数一致成立的结论。

与有限样本界的区别 ​

Cramér–Rao 下界针对正则、通常无偏的有限样本估计量;渐近效率允许 O(1/n) 偏差,只要求首阶局部展开达到信息逆。MLE 常渐近有效,却未必有限样本无偏或逐样本达到 Cramér–Rao 等号。

进一步假定估计量有影响函数展开

θ^n−θ0=1n∑iψ(Xi)+oP(n−1/2),

令 sθ0(X) 为单观测得分。在通常可交换微分与积分的条件下,正则影响函数满足 Eψ=0、E(ψsT)=Ik。写成

ψ=I−1s+r,E(rsT)=0,

即可得到 V=I−1+E(rrT)⪰I−1。这给出信息界的直接证明,也说明等号何时成立:多出的正交噪声 r 必须几乎处处为零。

边界与失败情形 ​

模型失配时得分方差与负 Hessian 的期望不同,信息逆不再等于夹心协方差;仍称“达到 Fisher 界”会比较错对象。

边界、不可识别、半参数干扰项或非 n 速率问题需要切空间与有效信息等推广。奇异信息矩阵不能直接求逆。

渐近方差相同不代表方法同样好。高阶偏差、异常值敏感性和优化失败可主导实际样本。

样本量换算只是首阶解释:若方差近似 v/n,渐近方差比对应达到同一标准误所需的样本比。固定样本下的偏差、离散性和优化失败不会被 ARE 捕获,所以 2/π 不能解释成所有样本量上的精确性能百分比。

效率依赖模型和目标方向。光滑一一重参数化下,非零 Jacobian 会同时缩放两个标量方差,相对效率保持;导数退化或向量目标降维时必须重算。用行列式压缩向量协方差,还可能掩盖科学上关键方向的损失。

推论与应用

局部渐近正态理论把正则统计实验近似为高斯位移实验,信息逆成为可达到的局部协方差界。一步估计量可从足够好的初值加一次得分更新获得首阶效率。例如在得分足够光滑、信息非奇异及余项可控时,n 一致初值 θ~n 可更新为

θ^n=θ~n+I(θ~n)−11n∑i=1nsθ~n(Xi).

泰勒展开让初始误差的一阶项被抵消;若只知道初值趋于真值、没有速率与光滑性控制,二阶余项可能大于 n−1/2,一次更新便不保证有效。

报告效率时应列出模型、参数点、缩放、损失方向及比较基准,避免脱离量词的百分比。

局部备择 θn=θ0+h/n 提供更完整比较:有效估计量的极限均值随 h 平移,协方差达到信息逆;额外影响函数噪声会在所有局部方向增加方差。只看固定真值下一个点的方差,可能漏掉非正则超效率在邻域付出的代价。

半参数模型中的干扰参数可以是无限维函数;将目标参数得分投影到干扰切空间的正交补,所得有效得分决定相应效率界。半参数效率与有效影响函数从可微子模型构造闭得分空间,完整求出随机缺失均值的效率界,并用两层人群比较有效系数 11/3 与已知设计普通 IPW 的 13/3。这个比较还说明为何未知倾向概率时不能直接使用 oracle 权重的影响函数。

参考资料
  • Michael I. Jordan,Daniel Ting 记录,Stat210B Lecture 23: Efficiency of Estimators,2007 年 4 月 12 日,§3.2,第 3–4 页:正态模型中的 Hodges 构造及固定参数极限;本文的精确风险与尾界在正文推导。

  • Stanford University, Stats 300B Exercises, §3 Asymptotic Efficiency,Questions 3.1–3.3,相对效率、一步估计的初值条件与 Hodges 局部反例。

  • Alexandre Brouste, Christophe Dutang, and Darel Noutsa Mieniedou, “OneStep: Le Cam’s One-step Estimation Procedure”, The R Journal, 2021,§1 与初值收敛速率讨论,得分更新式与一步估计条件。

  • A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998,Ch. 8,正则估计与局部渐近效率。

关系图谱24 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系