McNemar 精确配对检验

同一批对象各测两次，或同一批题目分别由两个算法作答，两个比例共享单位。需要保留“哪一项从零变一、哪一项从一变零”的配对信息。McNemar 检验正是比较这两个不一致方向，而不是把两份边际计数假装成独立样本。

形式陈述

零假设是两个边际成功率相同

观察 $n\ge1$ 个 IID 二元对 $(A_i,B_i)$ ，其联合概率为 $\pi_{ab}=\Pr(A_i=a,B_i=b)$ 。一对内部允许任意依赖，不同对相互独立并服从同一四格分布。记格数为 $n_{ab}$ ，特别令

b=n_{01},\qquad c=n_{10},\qquad D=b+c.

边际成功率分别为 $\pi_{10}+\pi_{11}$ 与 $\pi_{01}+\pi_{11}$ ，所以边际同质零假设等价于

H_0:\Pr(A=1)=\Pr(B=1)\quad\Longleftrightarrow\quad\pi_{01}=\pi_{10}.

在 $H_0$ 下，条件于不一致对数 $D=d$ ，有

n_{01}\mid D=d\sim\operatorname{Bin}(d,1/2).

用这个二项分布计算双侧精确 p 值

p_{\rm ex}=2^{-d}\sum_{k=0}^d\binom dk \mathbf1\{|2k-d|\ge|b-c|\}.

当 $d>0$ ，也可写成 $\min\{1,2\Pr(\operatorname{Bin}(d,1/2)\le\min(b,c))\}$ ； $d=0$ 时取一。采用 $p_{\rm ex}\le\alpha$ 拒绝，它是有限样本有效p 值。

直觉

先数有多少次改变，再数改变的方向

令 $r=\pi_{01}+\pi_{10}$ 。在零假设下，三种类别“零到一、一到零、一致”的概率为 $(r/2,r/2,1-r)$ 。对 $b+c=d$ ，联合质量为

\Pr(n_{01}=b,n_{10}=d-b) =\frac{n!}{b!(d-b)!(n-d)!}(r/2)^d(1-r)^{n-d}.

不一致总数服从 $\operatorname{Bin}(n,r)$ 。应用条件概率，除以 $\binom nd r^d(1-r)^{n-d}$ ，得到 $\binom db2^{-d}$ 。未知的改变率 $r$ 消失，留下的是公平的改变方向。

上述除法只针对正概率的 $D=d$ 。若 $r=0$ ，只能出现 $D=0$ ，直接令 p 值一；若 $r=1$ ， $D=n$ ，条件二项公式依然成立。固定每个 $d$ 时，按 $|2k-d|$ 合并同样极端的质量，尾部秩给条件超均匀性；再对 $D$ 取平均便得无条件第一类错误上界。

一致对仍参与总体边际比例和效应大小的估计，只是不提供“改变更偏向哪一边”的条件证据。不能由检验尾部不含对角线，就断言这些观测在所有统计问题里都没有信息。

例子与边界

三十个配对对象的精确结果

行表示第一次结果，列表示第二次结果：

	第二次0	第二次1	总数
第一次0	10	9	19
第一次1	1	10	11
总数	11	19	30

第二次成功比例比第一次高 $(9-1)/30=4/15$ 。十个不一致对中九个向上、一个向下，所以

p_{\rm ex}=2\frac{\binom{10}0+\binom{10}1}{2^{10}} =\frac{11}{512}\approx0.021484.

若预先只检验第二次更高，右尾为 $11/1024$ 。选择方向发生在看见九比一之前；事后选择有利单侧再报告原水平，会改变检验规则。

常用大样本 McNemar 统计量为 $(b-c)^2/(b+c)$ ，本例等于 $6.4$ 。其卡方参考分布是近似，不是上述有限二项尾部；“精确 McNemar”与软件可能默认的渐近版本应明确区分。

边际同质不是前后独立

若表为 $(15,0;0,15)$ ，每个单位两次都相同，关联非常强，但边际成功率完全相等， $D=0$ ，本检验 p 值为一。将这张原始配对表交给Fisher 精确检验，可以在适当列联表模型下检验两个结果是否独立；那是另一个零假设，不是 McNemar 的替代计算。

若反而把两次的成功/失败边际各当作一行，使用独立两组检验，则忽略了同一单位的相关性。边际表也无法恢复 $D$ ：相同的两次成功总数，可以来自很少或很多不一致对，精确证据会不同。

对间独立性不能由边际相等代替

假设有十对，但全部复制同一枚公平币的方向：一半概率十对都为 $(0,1)$ ，另一半十对都为 $(1,0)$ 。每对边际上都满足 $\pi_{01}=\pi_{10}=1/2$ ，却不独立。

若错误套用本公式， $D=10$ 、 $b$ 恒为零或十，双侧 p 值均为 $2/2^{10}=1/512$ 。水平 $0.05$ 会每次拒绝，错误率为一。这说明有效样本量不能从“有十行记录”推出；共享簇、复制观测和时间依赖需要另建模型。

推论与应用

计算只需不一致计数，解释仍需完整表

先按单位匹配两次记录，再一次扫描累计四格，成本为 $O(n)$ ，额外空间 $O(1)$ 。有了 $D$ ，相邻二项质量满足

\Pr(K=k+1)/\Pr(K=k)=\frac{D-k}{k+1}.

可从众数附近开始递推并归一化，或对小 $D$ 直接用整数二项式系数与 $2^D$ 计算有理尾部。完整扫描需 $O(D)$ 次算术；数值很大时要控制下溢与并列，不能把二项概率算成零后宣称绝无可能。

若采用实际配对随机实验且结果二元，在逐人无效应假设下，也能从每对公平抽签得到同样的条件二项计算。那一保证来自设计，并针对尖锐因果假设；本文保证来自 IID 二元对模型，并针对边际同质。数学分布相同，不意味着前后测量被随机化了。

对前后观察得出比例不同，也不自动归因于某项干预；时间变化、测量机制与共同外因都可能改变边际。迁移到两个算法在同一测试集上的成功/失败比较时，同样先明确抽样单位以及测试题之间是否可视为独立。

最终报告四格计数、配对规则、 $D$ 、单双侧约定、精确尾部及比例差。只给显著性而不保留配对表，别人无法核对模型或效果大小。

参考资料

Alan Agresti, A Survey of Exact Inference for Contingency Tables, Statistical Science 7(1), 131–153, 1992，§2.3，边际同质、两个不一致格与条件二项检验。本文从三类别质量直接约去改变率，并独立计算三十对例及完全依赖反例。
Quinn McNemar, Note on the sampling error of the difference between correlated proportions or percentages, Psychometrika 12(2), 153–157, 1947，相关比例比较的原始论文；本文具体精确条件版本按 Agresti 的上述章节表述。
Charles J. Geyer, Stat 5421 Lecture Notes: To Accompany Agresti Ch 11，§§4–5，配对边际同质检验与精确二项版本的区别。

形式陈述 ​

零假设是两个边际成功率相同 ​

先数有多少次改变，再数改变的方向 ​

三十个配对对象的精确结果 ​

边际同质不是前后独立 ​

对间独立性不能由边际相等代替 ​

计算只需不一致计数，解释仍需完整表 ​

反向链接