Wald、Score 与 LR 渐近检验

三个统计量 ​

检验 $H_0:\theta ={\theta }_0$，标量正则模型中 Wald 统计量为

$$W=n(\hat{\theta }-{\theta }_0{)}^2\hat{I},$$

其中 $\hat{I}$ 是一致信息估计。Score 统计量只在零点计算：

$$S=\frac{U_n({\theta }_0{)}^2}{I_n({\theta }_0)}.$$

LR 统计量为

$$L=2\{{\ell }_n(\hat{\theta })-{\ell }_n({\theta }_0)\}.$$

在内部真参数、可识别、二次可微和非奇异信息等条件下，三者在 $H_0$ 下都收敛到 ${\chi }_1^2$。

局部等价 ​

对 score 在 ${\theta }_0$ Taylor 展开，$0=U_n(\hat{\theta })\approx U_n({\theta }_0)-I_n({\theta }_0)(\hat{\theta }-{\theta }_0)$。再把 log likelihood 二次展开，得到

$$W-S=o_P(1),W-L=o_P(1).$$

因此三者在 $1/\sqrt{n}$ 局部备择下也有相同首阶非中心卡方极限。

例子 ​

Poisson 样本检验 $H_0:\lambda ={\lambda }_0$。MLE 为 $\overline{X}$，Wald 用 $(\overline{X}-{\lambda }_0{)}^2/(\overline{X}/n)$；Score 用 $n(\overline{X}-{\lambda }_0{)}^2/{\lambda }_0$；LR 用 $2n[\overline{X}\log \left(\overline{X}/{\lambda }_0\right)-\overline{X}+{\lambda }_0]$。三者大样本接近，有限样本数值不同。

Score 无需拟合完整备择，Wald 只需完整估计，LR 同时拟合受限和完整模型。计算选择不同，但统计校准条件不能省略。

向量约束与可复核数值 ​

对 $q$ 维光滑约束 $r(\theta )=0$，Wald 统计量使用

$$nr(\hat{\theta }{)}^{\mathsf{T}}\{R(\hat{\theta })\hat{V}R(\hat{\theta }{)}^{\mathsf{T}}{\}}^{-1}r(\hat{\theta }),$$

其中 $R$ 是约束 Jacobian。Score 在受限 MLE 处用有效信息形成二次型，LR 比较受限与完整最优 log likelihood；正则零假设下三者均趋于 ${\chi }_q^2$。

Poisson 例取 $n=25,{\lambda }_0=4,\overline{X}=5$。Wald、Score、LR 分别为

$$W=5,S=6.25,$$$$L=50\{5\log \left(5/4\right)-1\}\approx 5.79.$$

三者使用备择尺度、零点尺度与整段 likelihood 曲率，有限样本不会相等。局部备择 ${\theta }_n={\theta }_0+h/\sqrt{n}$ 下，它们才共享首阶非中心卡方功效。

边界 ​

Wald 不具任意非线性参数化下的有限样本不变性，边界附近还可能越出参数空间。Score 对零模型较易计算，却依赖正确的零点信息。LR 通常参数化不变，但优化更昂贵。

参数在边界、信息奇异或 nuisance 只在备择出现时，普通卡方极限失败。三者首阶等价不等于有限样本决定相同，也不保证同样稳健。

Wald 对非线性参数化敏感；LR 对一一重参数化不变。模型失配时 sandwich 可修正某些 Wald 方差，但普通 Wilks 与信息等式未必保留。

应用 ​

向量约束 $r(\theta )=0$ 时，用 Jacobian 与协方差形成 $q$ 自由度二次型。sandwich 协方差可修正某些模型失配下的 Wald/Score，而 LR 的准似然版本需另行论证。

计算上，Score 只拟合零模型，适合高维备择难拟合的筛查；Wald 需要完整 MLE 与协方差；LR 需要两次优化但沿 likelihood 几何比较。若完整 MLE 不存在，Wald 和 LR 可能失效，而某些有限的 score 检验仍可计算，但其极限条件仍需检查。

对 nuisance 参数，Score 必须用 efficient score

$$U_{\psi \cdot \lambda }=U_{\psi }-I_{\psi \lambda }{I}_{\lambda \lambda }^{-1}{U}_{\lambda },$$

信息为相应 Schur complement。只取目标 score 与其对角信息，会忽略 nuisance 相关性并误校准自由度。

三种检验的 p 值若差异明显，不应择最小者报告。更合适的诊断是检查参数边界、profile 曲线非二次、样本量和优化收敛，并预先规定主要检验。

置信集合也对应不同反演：Wald 给局部椭球，LR 给 profile likelihood level set，Score 给零点可接受域。它们首阶覆盖相同，却可能在强曲率模型中有不同不对称边界；参数空间受限时 LR 区域通常更自然。

若只获得 approximate MLE，优化误差需小于 $O_P(1)$ likelihood 差才能保持 LR 极限，小于 $o_P(n^{-1/2})$ 参数尺度才能保持 Wald。停止容差不是纯计算细节。

参考资料

• A. Wald, “Tests of Statistical Hypotheses Concerning Several Parameters,” Transactions of the AMS 54, 1943。
• C. R. Rao, “Large Sample Tests of Statistical Hypotheses,” 1948。
• A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998，Ch. 16。