Skip to content

方法Method

似然比检验

Likelihood ratio test · Generalized likelihood ratio test

以受限模型和完整模型的最大似然之比衡量零假设对数据的相对解释能力。

形式陈述 ​

在统计检验中,设参数空间 Θ,零假设限制为 Θ0⊆Θ。给定模型似然,通常用最大似然优化分别处理受限与完整参数空间。广义似然比统计量定义为

Λ(x)=supθ∈Θ0L(θ;x)supθ∈ΘL(θ;x),0≤Λ(x)≤1,

前提是两个上确界作为数据 x 的函数均可测,且取有限值、分母为正。任意不可数参数集上的逐点上确界并不自动可测,因此这一条件须由模型另行保证。Λ 小表示施加零假设约束后最佳拟合下降明显,因此在 Λ(x)≤c 时拒绝。常用等价统计量

W(x)=−2log⁡Λ(x)=2{supΘℓ(θ;x)−supΘ0ℓ(θ;x)}

取大值时拒绝;这里 log 使用自然对数。

阈值 c 必须由 H0 下分布校准。若零假设复合,要求

supθ∈Θ0Pθ(Λ(X)≤c)≤α,

或使用已证明的共同渐近极限。统计量的定义本身不提供 level 保证。

直觉

两个完全指定的分布可以直接按 R(x)=p1(x)/p0(x) 排序,Neyman–Pearson 引理保证校准后的阈值规则具有有限样本最强性。若仍使用本页的广义形式,取 Θ0={θ0}、Θ={θ0,θ1},则 Λ=1/max{1,R}。它把所有 R≤1 压成同一值;所需显著性水平若把临界点放进这段平区,仍需保留原始 R 的排序处理平局,不能只凭非严格单调变换就声称两族检验完全相同。

一般复合问题中,分母使用数据选出的完整 MLE,分子使用受限 MLE。这是 generalized likelihood ratio,而非 NP 引理中预先固定的两个密度;不能把简单情形的最强性无条件迁移。

似然比的受限拟合损失
例子与边界

设 X1,…,Xn 独立同分布于 N(μ,σ2),σ>0 已知,检验 H0:μ=μ0 对双侧备择。完整 MLE 为 μ^=X¯,于是

W=n(X¯−μ0)2σ2.

零假设下

W=Z2∼χ12

是精确有限样本的卡方分布。因此 level-α 检验在 W>χ1,1−α2 时拒绝,等价于双侧 z 检验。

这里状态轨迹可完整追踪:受限拟合固定在 μ0,完整拟合移动到 X¯;两者残差平方差恰为 n(X¯−μ0)2,再按噪声方差标准化。

Wilks 渐近结论 ​

在真参数位于完整参数空间 Θ 的内部、零假设是经过该点的无边界光滑余维 r 子流形、模型可识别且二次可微、Fisher 信息非奇异等正则条件下,Wilks 定理给出

−2log⁡Λ(X1:n)→dχr2.

r=dim⁡(Θ)−dim⁡(Θ0)。该结论允许用卡方分位数近似阈值,但只描述 n→∞ 的零分布;它不说明检验在任意备择下最优。

边界与失败情形 ​

真参数在边界时,Wilks 的卡方极限通常改变为卡方混合。例如方差分量为零的检验,局部参数只能向一侧变化,不能套普通余维计数。

混合模型、改变点和不可识别 nuisance 参数在零假设下会破坏非奇异二次展开,极限可能是高斯过程上确界或其他非标准分布。此时 bootstrap 也需模拟正确零模型与拟合流程。

小样本中卡方近似可能偏差明显。若存在精确条件分布、置换校准或 parametric bootstrap,应明确其有限样本或模拟误差性质。

若上确界无穷,或完整模型的似然上确界为零,Λ 可能没有定义。反过来,有限正上确界即使没有被某个参数取得,仍可用于这里的比值;MLE 不存在并不自动使 LRT 统计量不存在。用优化器返回值代替数学上确界还会混入优化误差,受限和完整问题应分别检查。

单侧正态均值检验展示边界效应:当 X¯≤μ0 时,受限与完整 MLE 相同,W=0;只有 X¯>μ0 才有正统计量。边界零假设下极限带零点质量,因此不能继续用双侧问题的普通 χ12 阈值。

非嵌套模型不存在自然的 Θ0⊆Θ。把两个最大似然值直接相除不满足 Wilks 余维卡方结论;信息准则、非嵌套检验与预测验证回答不同问题,不能因为都比较 likelihood 就统称为同一个 LRT。

推论与应用

似然比检验在参数变换下一致,因为受限与完整模型的分布集合不变。它适合嵌套模型比较,并可通过反演产生 profile likelihood 置信集合。

Wald、Score 与 LR 检验在正则局部备择下常渐近等价,有限样本统计量和数值稳定性却不同。

在数值实现中,W 是两个最优目标值之差,往往比直接计算极小似然比稳定。若完整模型优化只达到较差局部点,可能反而出现受限似然更高、W<0;这不是统计证据,而是优化或模型嵌套实现错误,应先修复再校准检验。

参考资料
  • Samuel S. Wilks, “The Large-Sample Distribution of the Likelihood Ratio,” Annals of Mathematical Statistics 9(1), 1938。
  • A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998,Ch. 16。
  • Erich L. Lehmann and Joseph P. Romano, Testing Statistical Hypotheses, 3rd ed., Springer, 2005,Ch. 12。
关系图谱12 个相邻概念 · 4 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
分类位置

上位 / 更一般

下位 / 直接特例

类型化关系