Cramér–Rao 下界

形式陈述 ​

设标量参数 $\theta$ 的支配模型满足共同支持、密度可微、微分可移入积分等正则条件，单样本 Fisher 信息 $I(\theta )$ 有限且正。若估计量 $T$ 二阶可积，其均值为

$$m(\theta )=E_{\theta }[T],$$

且 $m$ 可微，则 $n$ 个独立样本下

$${\mathrm{Var}}_{\theta }(T)\ge \frac{m^{\prime }(\theta {)}^2}{nI(\theta )}.$$

若 $T$ 无偏估计 $g(\theta )$，则 $m=g$，得到

$${\mathrm{Var}}_{\theta }(T)\ge \frac{g^{\prime }(\theta {)}^2}{nI(\theta )}.$$

若偏差 $b(\theta )=m(\theta )-g(\theta )$，则带偏版本为

$${\mathrm{Var}}_{\theta }(T)\ge \frac{(g^{\prime }(\theta )+b^{\prime }(\theta ){)}^2}{nI(\theta )}.$$

结合MSE 分解公理库偏差、方差与均方误差Bias–variance decomposition · Mean squared error平方损失下估计误差分解为抽样方差与偏差平方的恒等式。还需加 $b(\theta {)}^2$；下界不会自动惩罚偏差大小。

推导 ​

令样本 score 为 $S_n(\theta )={\partial }_{\theta }{\ell }_n(\theta )$。正则性给

$$E_{\theta }[S_n]=0,{\mathrm{Var}}_{\theta }(S_n)=nI(\theta ).$$

对 $m(\theta )=\int T(x)p_{\theta }(x)d\mu (x)$ 求导并移入积分：

$$m^{\prime }(\theta )=E_{\theta }[T{S}_n]={\mathrm{Cov}}_{\theta }(T,S_n).$$

由Cauchy–Schwarz 不等式公理库Cauchy–Schwarz 不等式Cauchy–Schwarz inequality · 柯西–施瓦茨不等式内积的绝对值不超过两向量范数之积，且等号精确刻画线性相关。，

$$m^{\prime }(\theta {)}^2\le {\mathrm{Var}}_{\theta }(T){\mathrm{Var}}_{\theta }(S_n),$$

代入 score 方差即得结论。等号当且仅当中心化估计误差与 score 几乎处处线性相关：

$$T-m(\theta )=a(\theta )S_n(\theta ).$$

这一条件必须由同一个不含未知参数的统计量在相关参数范围内满足，故信息下界未必可达。

例子与计算 ​

若 $X_i\sim N(\mu ,{\sigma }^2)$，$\sigma$ 已知，单样本信息 $I(\mu )=1/{\sigma }^2$。对无偏估计 $\mu$，

$${\mathrm{Var}}_{\mu }(T)\ge \frac{{\sigma }^2}{n}.$$

样本均值方差恰为 ${\sigma }^2/n$，并且

$$\overline{X}-\mu =\frac{{\sigma }^2}{n}{S}_n(\mu ),$$

所以达到等号。

Bernoulli$(p)$ 中 $I(p)=1/[p(1-p)]$，无偏估计 $p$ 的下界为 $p(1-p)/n$，样本比例同样达到。估计 $g(p)=p^2$ 时下界为 $4p^3(1-p)/n$，但达到它需要额外检查，不由代入公式保证。

边界与失败情形 ​

Uniform$(0,\theta )$ 支持依参数变化，score 零均值推导失败。样本最大值的误差尺度为 $1/n$，看似“突破”常规 $1/\sqrt{n}$ 界，实际是正则假设不成立。

Cramér–Rao 是点态方差下界，不是任意估计量的 minimax 风险下界。允许偏差后，可取常数估计量在某个参数点方差为零；完整 MSE 比较必须计入偏差并考虑参数范围。

信息矩阵奇异、参数在边界或 nuisance 参数存在时，需使用矩阵 Schur complement、约束切空间或其他下界。直接取奇异矩阵逆没有意义。

界可达性不是定理结论。若等号条件要求估计量显含未知参数，就不存在全参数有效的 efficient unbiased estimator。

带 nuisance 参数时，目标坐标的有效信息不是信息矩阵相应对角元素，而是消去 nuisance 后的 Schur complement。忽略交叉信息会给出过度乐观的界。若参数受约束，还需把 score 投影到允许切空间，普通矩阵逆公式不再完整。

有限样本下界也可严格却不可达。达到等号要求中心化估计误差与 score 在几乎处处意义下成比例，而且同一估计规则不能依赖未知参数；仅算出一个漂亮的界值不表示存在估计量实现它。

推论与应用 ​

向量参数版本为协方差矩阵的半正定序下界

$${\mathrm{Cov}}_{\theta }(T)⪰G(\theta )I_n(\theta {)}^{-1}G(\theta {)}^{\mathsf{T}},$$

其中 $G$ 是目标 Jacobian。比较标量方差时需指定方向或损失权重。

正则 MLE 的渐近协方差常达到信息逆，形成渐近效率；这与有限样本无偏并达到 Cramér–Rao 界是不同命题。

参考资料

• Harald Cramér, Mathematical Methods of Statistics, Princeton University Press, 1946，Ch. 32。
• C. R. Rao, “Information and the Accuracy Attainable in the Estimation of Statistical Parameters,” 1945。
• Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998，Ch. 2。