形式陈述
在统计检验理路统计假设检验Statistical hypothesis test · Test function在零假设与备择假设之间作出随机化决定,并对零假设下拒绝概率实施一致控制。中,设参数空间 ,零假设限制为 。给定模型似然理路似然函数Likelihood function固定可观测数据后,由共同支配密度定义、仅在参数间作相对比较的似然函数。,通常用最大似然优化理路最大似然估计Maximum likelihood estimation · MLE在参数空间内选择使已观测数据似然达到上确界的参数估计方法。分别处理受限与完整参数空间。广义似然比统计量定义为
前提是两个上确界作为数据 的函数均可测,且取有限值、分母为正。任意不可数参数集上的逐点上确界并不自动可测,因此这一条件须由模型另行保证。 小表示施加零假设约束后最佳拟合下降明显,因此在 时拒绝。常用等价统计量
取大值时拒绝;这里 使用自然对数。
阈值 必须由 下分布校准。若零假设复合,要求
或使用已证明的共同渐近极限。统计量的定义本身不提供 level 保证。
直觉
两个完全指定的分布可以直接按 排序,Neyman–Pearson 引理理路Neyman–Pearson 引理Neyman–Pearson lemma简单零假设对简单备择下,给定显著性约束时似然比阈值检验具有最大功效。保证校准后的阈值规则具有有限样本最强性。若仍使用本页的广义形式,取 、,则 。它把所有 压成同一值;所需显著性水平若把临界点放进这段平区,仍需保留原始 的排序处理平局,不能只凭非严格单调变换就声称两族检验完全相同。
一般复合问题中,分母使用数据选出的完整 MLE,分子使用受限 MLE。这是 generalized likelihood ratio,而非 NP 引理中预先固定的两个密度;不能把简单情形的最强性无条件迁移。
似然比的受限拟合损失
例子与边界
设 独立同分布于 , 已知,检验 对双侧备择。完整 MLE 为 ,于是
零假设下
是精确有限样本的卡方分布理路卡方分布Chi-square distribution · Chi-squared distribution · χ² distribution若干独立标准正态变量平方和的分布,以自由度记录独立平方方向的数量。。因此 level- 检验在 时拒绝,等价于双侧 检验。
这里状态轨迹可完整追踪:受限拟合固定在 ,完整拟合移动到 ;两者残差平方差恰为 ,再按噪声方差标准化。
Wilks 渐近结论
在真参数位于完整参数空间 的内部、零假设是经过该点的无边界光滑余维 子流形、模型可识别且二次可微、Fisher 信息非奇异等正则条件下,Wilks 定理给出
。该结论允许用卡方分位数近似阈值,但只描述 的零分布;它不说明检验在任意备择下最优。
边界与失败情形
真参数在边界时,Wilks 的卡方极限通常改变为卡方混合。例如方差分量为零的检验,局部参数只能向一侧变化,不能套普通余维计数。
混合模型、改变点和不可识别 nuisance 参数在零假设下会破坏非奇异二次展开,极限可能是高斯过程上确界或其他非标准分布。此时 bootstrap 也需模拟正确零模型与拟合流程。
小样本中卡方近似可能偏差明显。若存在精确条件分布、置换校准或 parametric bootstrap,应明确其有限样本或模拟误差性质。
若上确界无穷,或完整模型的似然上确界为零, 可能没有定义。反过来,有限正上确界即使没有被某个参数取得,仍可用于这里的比值;MLE 不存在并不自动使 LRT 统计量不存在。用优化器返回值代替数学上确界还会混入优化误差,受限和完整问题应分别检查。
单侧正态均值检验展示边界效应:当 时,受限与完整 MLE 相同,;只有 才有正统计量。边界零假设下极限带零点质量,因此不能继续用双侧问题的普通 阈值。
非嵌套模型不存在自然的 。把两个最大似然值直接相除不满足 Wilks 余维卡方结论;信息准则、非嵌套检验与预测验证回答不同问题,不能因为都比较 likelihood 就统称为同一个 LRT。
推论与应用
似然比检验在参数变换下一致,因为受限与完整模型的分布集合不变。它适合嵌套模型比较,并可通过反演产生 profile likelihood 置信集合。
Wald、Score 与 LR 检验理路Wald、Score 与 LR 渐近检验Wald test · Score test · Lagrange multiplier test用估计量距离、零点梯度或似然差构造的三类正则大样本检验。在正则局部备择下常渐近等价,有限样本统计量和数值稳定性却不同。
在数值实现中, 是两个最优目标值之差,往往比直接计算极小似然比稳定。若完整模型优化只达到较差局部点,可能反而出现受限似然更高、;这不是统计证据,而是优化或模型嵌套实现错误,应先修复再校准检验。
参考资料
- Samuel S. Wilks, “The Large-Sample Distribution of the Likelihood Ratio,” Annals of Mathematical Statistics 9(1), 1938。
- A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998,Ch. 16。
- Erich L. Lehmann and Joseph P. Romano, Testing Statistical Hypotheses, 3rd ed., Springer, 2005,Ch. 12。