Cramér–Rao 下界

推导 ​

令样本 score 为 $S_n(\theta )={\partial }_{\theta }{\ell }_n(\theta )$。一阶正则性给

对 $m(\theta )=\int T(x)p_{\theta }^{(n)}(x)d\mu (x)$ 求导并移入积分：

由Cauchy–Schwarz 不等式理路Cauchy–Schwarz 不等式Cauchy–Schwarz inequality · 柯西–施瓦茨不等式内积的绝对值不超过两向量范数之积，且等号精确刻画线性相关。，

代入 score 方差即得结论。Cauchy–Schwarz 的等号条件要求

在 $P_{\theta }$-几乎处处意义下成立。若要同一估计量在整个参数空间都有效，$T(x)$ 的表达式必须同时满足所有参数点的比例关系，且不能偷偷使用未知 $\theta$；多数模型的界因此严格而不可达。

若校准读数 $X_i\sim N(\mu ,{\sigma }^2)$，$\sigma$ 已知，单样本信息 $I_1(\mu )=1/{\sigma }^2$。任何正则无偏估计 $\mu$ 的规则都满足

样本均值的方差恰为 ${\sigma }^2/n$，且

所以它在每个 $\mu$ 达到等号。这是“可达”需要的完整核对，而不仅是界值与某个方差碰巧相同。

在暴露时长不同的事故计数中，设独立 $Y_i\sim \mathrm{Poisson}(t_i\lambda )$，其中 $t_i>0$ 已知、$\lambda$ 是单位暴露率。总信息为

无偏率估计 $\hat{\lambda }=\sum _i{Y}_i/\sum _i{t}_i$ 的方差为 $\lambda /\sum _i{t}_i=I_n(\lambda {)}^{-1}$，并满足等号条件。若把不同暴露时长当作同长重复计数，信息与估计量都会算错。

边界与失败情形 ​

Uniform$(0,\theta )$ 的支持随参数移动，score 零均值与 $m^{\prime }(\theta )=E(T{S}_n)$ 的推导均漏掉边界项。样本最大值误差是 $1/n$ 量级，看起来超过常规 $1/\sqrt{n}$ 尺度，实质上它位于定理适用域之外。非正则模型可改用有限差分型信息界，不能强行套入本式。

Cramér–Rao 给出固定参数点的局部方差约束，不是所有估计量的 minimax 风险下界。允许偏差后，常数规则在某个参数点可以同时有零偏差和零 MSE；这类超效率或局部取巧说明，点态界无法替代参数邻域或全空间风险比较。Hodges 估计量的精确风险计算理路渐近效率Asymptotic efficiency用局部正则性解释信息效率界，并以 Hodges 的精确风险计算区分逐点超效率与收缩邻域风险。进一步展示：一个规则可在每个固定非零参数点恢复通常效率，却在趋近零的参数序列上比样本均值差越来越多。

参数位于边界、信息矩阵奇异或目标不光滑时，普通逆矩阵公式没有意义。需要根据问题使用约束切空间、广义逆、局部渐近 minimax 界或其他非正则下界。

带 nuisance 参数时，把参数写成 $(\psi ,\eta )$ 并分块

若 $I_{\eta \eta }$ 可逆，估计 $\psi$ 的有效信息是 Schur complement

而非对角块 $I_{\psi \psi }$。忽略与干扰参数的交叉信息会给出过度乐观的方差界。

带偏公式也没有把偏差选择问题优化掉。$b(\theta )$ 与 $b^{\prime }(\theta )$受同一可实施估计规则约束，不能在每个参数点分别挑选最有利的函数值；逐点最小化右侧往往只构造出依赖未知参数的 oracle。

在正则、信息非奇异的向量参数模型中，若 $T$ 无偏估计 $g(\theta )\in {\mathbb{R}}^m$，矩阵版本为

其中 $G(\theta )=\partial g/\partial {\theta }^{\mathsf{T}}$，$I_n$ 是全样本信息。半正定序同时控制每个线性方向；若要得到单个风险数字，还需指定方向或平方损失权重。

正则 MLE 的渐近协方差常达到信息逆，形成渐近效率理路渐近效率Asymptotic efficiency用局部正则性解释信息效率界，并以 Hodges 的精确风险计算区分逐点超效率与收缩邻域风险。。这项大样本结论允许有限样本偏差，也依赖局部正则性；它与“每个 $n$ 都无偏并精确达到 Cramér–Rao 界”是两项独立命题。