Neyman–Pearson 引理 | Codeboy's Blog

形式陈述

设两个简单假设为 $H_0:P=P_0$ 与 $H_1:P=P_1$ ，二者被共同测度 $\mu$ 支配，似然密度分别为 $p_0,p_1$ 。给定 $0<\alpha<1$ ，若检验函数 $\varphi^*:\mathcal X\to[0,1]$ 和常数 $k\ge0$ 满足

\varphi^*(x)= \begin{cases} 1,&p_1(x)>kp_0(x),\\ 0,&p_1(x)<kp_0(x), \end{cases}

在等号集合上可随机化，并且 $E_0[\varphi^*]=\alpha$ ，则对任意其他满足 $E_0[\varphi]\le\alpha$ 的检验，

E_1[\varphi]\le E_1[\varphi^*].

即 $\varphi^*$ 是所有 level- $\alpha$ 检验中对这个指定备择 $P_1$ 功效最大的检验。若无法精确达到 $\alpha$ ，可取 size 不超过 $\alpha$ 的相应版本；离散样本空间常靠边界随机化填满差额。

似然比可写为 $\Lambda(x)=p_1(x)/p_0(x)$ ，并对 $p_0(x)=0$ 的集合采用扩展值约定。拒绝发生在 $P_1$ 相对 $P_0$ 更能解释数据的区域，而不是单看某个密度的绝对高度。

直觉

阈值结构保证逐点不等式

(\varphi^*(x)-\varphi(x))(p_1(x)-kp_0(x))\ge0.

积分后得到

E_1[\varphi^*]-E_1[\varphi] \ge k\{E_0[\varphi^*]-E_0[\varphi]\}\ge0.

第一步来自逐点符号匹配：在 $p_1>kp_0$ 区域， $\varphi^*=1$ 不小于任意检验；在反向区域， $\varphi^*=0$ 不大于任意检验，两项乘积均非负。第二步使用候选检验的 size 约束。证明没有用渐近近似，是有限样本结论。

反向结论在适当非退化条件下也成立：任何最强 level- $\alpha$ 检验都必须几乎处处具有这种似然比阈值形态，否则可把拒绝概率从低似然比区域搬到高似然比区域，在不增加 size 的同时提高功效。

例子与边界

设单个观测 $X\sim N(\mu,1)$ ，检验 $H_0:\mu=0$ 对 $H_1:\mu=1$ 。似然比为

\frac{p_1(x)}{p_0(x)} =\exp\left(x-\frac12\right),

随 $x$ 单调增加，因此最强 level- $\alpha$ 检验在

X>z_{1-\alpha}

时拒绝。其备择功效为

P_1(X>z_{1-\alpha}) =1-\Phi(z_{1-\alpha}-1).

取 $\alpha=0.05$ ，阈值约 $1.645$ ，功效为 $1-\Phi(0.645)\approx0.259$ 。换备择为 $\mu=-1$ 时，最强拒绝域改到左尾；这说明最强性针对指定 $P_1$ ，不是一个无方向的普遍标签。

引理不直接给出复合假设的 uniformly most powerful 检验。若备择同时含正、负两个方向，对一个方向最强的尾部会损害另一个方向，通常需不变性、无偏约束或其他准则。

把 generalized likelihood ratio test 称为“由 NP 引理保证最优”是错误的。NP 比较两个固定分布；复合假设中分子、分母各自最大化后变成数据依赖选择，最优性和极限分布需要另外证明。

边界随机化必须预先规定且与额外随机币结合。例如二项检验在某个成功次数上以概率 $\gamma$ 拒绝；观察数据后主观决定不等于该检验。

密度版本在零测集上可变，但由共同测度定义的似然比检验只需几乎处处确定。若模型不支配，应改用 $P_0+P_1$ 作为共同有限支配测度。

若 $P_1$ 在某集合有正质量而 $P_0$ 质量为零，该集合的似然比是无穷，应优先纳入拒绝域且不消耗 size；反向由 $P_0$ 独占的集合对提高 $P_1$ 功效毫无帮助。共同支配表示把这种奇异部分也纳入逐点排序。

对 $n$ 个独立正态位置观测，似然比只通过 $\bar X$ 进入，阈值为 $\sqrt n\bar X>z_{1-\alpha}$ 。样本量增加会提高指定备择功效，但最强拒绝方向仍随 $P_1$ 改变，不能由大样本消除备择选择。

推论与应用

简单假设的最强检验是统计检验理论的局部构件。单调似然比族提供共同的证据排序，Karlin–Rubin 定理据此把同一阈值结构扩展到单侧复合假设并得到 UMP 结果。序贯情形把停止规则纳入模型，因而SPRT只把本引理作为固定样本对照。

引理还把二元测试错误与总变差距离联系起来：在等先验、无 size 非对称约束时，最小总错误由两个密度的高低区域决定。

阈值 $k$ 随允许 size 改变，功效曲线由同一似然比排序产生。这个排序也给 ROC 曲线的上包络：任一其他统计量阈值规则在相同假阳性率下不能超过 NP 检验对指定 $P_1$ 的真阳性率。

参考资料

Jerzy Neyman and Egon S. Pearson, “On the Problem of the Most Efficient Tests,” Philosophical Transactions of the Royal Society A 231, 1933。
Erich L. Lehmann and Joseph P. Romano, Testing Statistical Hypotheses, 3rd ed., Springer, 2005，Ch. 3。
George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002，§8.3。