卡方拟合优度检验 | Codeboy's Blog

形式陈述

将 $n\ge1$ 个独立观测分入 $k\ge1$ 类（ $n,k$ 为整数），计数为 $O_1,\ldots,O_k$ 。在零假设下，各类概率 $p_j>0$ 、 $\sum_jp_j=1$ ，期望计数为 $E_j=np_j$ 。Pearson 统计量定义为

X^2=\sum_{j=1}^k\frac{(O_j-E_j)^2}{E_j}.

若类别数 $k\ge2$ 固定、 $p_j$ 完全给定， $n\to\infty$ 且每个 $np_j\to\infty$ ，则

X^2\xrightarrow d\chi_{k-1}^2,

极限由卡方分布校准。若 $p_j=p_j(\eta)$ ，并用这些类别计数的多项似然估计 $r$ 个参数，则在真值位于参数空间内部、概率映射的 Jacobian 满秩等条件下，在整数 $0\le r<k-1$ 时，自由度变为正数 $k-1-r$ 。最低卡方估计等渐近等价方法也可适用。任意代入估计量却未必如此：先用未分箱的连续数据拟合，再代入箱计数统计量，不能只凭“估计了 $r$ 个数”就扣除 $r$ 个自由度。边界参数、不可识别方向和结构零也需另外分析。

退化边界应单独说明： $k=1$ 时唯一计数恒为 $n$ ，所以 $X^2\equiv0$ ；正则饱和拟合 $r=k-1$ 时，残差的极限也集中在零点，而不是正自由度卡方分布的密度。

令 $Z_j=(O_j-np_j)/\sqrt{np_j}$ ，并把 $\sqrt p$ 记为坐标 $\sqrt{p_j}$ 组成的列向量。对第 $i$ 个观测，用 $Y_i$ 表示所属类别的一位有效（one-hot）向量。固定维数 $k$ 时，每个固定线性组合 $a^{\mathsf T}\operatorname{diag}(p)^{-1/2}(Y_i-p)$ 都是有界的均值零独立同分布实变量：方差为正时应用一元中心极限定理，方差为零时该组合几乎必然为零。对所有固定 $a$ 使用 Cramér–Wold 判据，得到可能奇异的联合正态极限 $Z\Rightarrow G$ 。这一投影到联合极限的步骤见Aldous/Chewi，Theorems 8.2、8.4，其协方差为

\Sigma=I-\sqrt p\,\sqrt p^{\mathsf T}.

它是到 $\sqrt p$ 正交补上的秩 $k-1$ 投影。对连续的平方范数映射使用连续映射定理，得 $Z^{\mathsf T}Z\Rightarrow G^{\mathsf T}G$ ；当 $k\ge2$ 时，在该正交补的一组正交标准基下，后者是 $k-1$ 个独立标准正态的平方和，即 $\chi_{k-1}^2$ 。估计 $r$ 个正则参数时，拟合残差还会投影掉模型切空间中的 $r$ 个方向，这给出 $k-1-r$ 的几何来源。

直觉

每一项 $(O_j-E_j)/\sqrt{E_j}$ 都把计数偏差换算成该格自身随机波动的尺度； $X^2$ 再把这些标准化偏差的平方相加。总计数固定为 $n$ ，所以 $k$ 个残差并不独立：知道前 $k-1$ 个后，最后一个由总和约束决定。自由度少一来自这条约束，而不是经验性地“扣掉一格”。

总统计量只回答整体偏离有多强，不能指出偏离发生在哪里。带符号 Pearson 残差保留方向，适合定位贡献最大的类别；但看完残差后删除类别或改模型，会引入新的选择步骤，必须用新数据验证或重新校准。

例子与边界

检验骰子公平，取 $n=120$ ，观测计数 $(18,22,17,25,20,18)$ ，每格期望均为 $20$ 。于是

X^2=(4+4+9+25+0+4)/20=2.3.

它与 $\chi_5^2$ 比较并不极端。对应残差约为

(-0.447,0.447,-0.671,1.118,0,-0.447),

第四格给出最大的正向贡献。结论是数据没有显示与公平模型明显不协调，而不是“证明骰子绝对公平”。

小期望计数会破坏固定维正态近似。“每格至少 5”只是经验筛查；真正条件还受最小 $np_j$ 、类别数是否随样本增长、参数拟合和稀疏方向影响。必要时可合并有科学意义的类别，或用精确多项分布检验或 Monte Carlo 校准；模拟必须复制参数拟合、分箱和选择步骤。

观测相关、看过数据后才决定类别、估计概率参数却不扣自由度，都会改变名义检验水平。连续数据先分箱还会损失信息，分箱边界应预先规定；从当前样本估计边界会额外引入随机性。

零观测不是结构零： $O_j=0$ 仍会贡献期望偏差。只有模型本身规定 $p_j=0$ 时，该类别才不在随机支持中；此时原统计量中的除法也需要重新定义支持。

推论与应用

Pearson 统计量用于离散分布拟合、列联表和 GLM 诊断。与似然比偏差统计量

G^2=2\sum_{j:O_j>0}O_j\log(O_j/E_j)

相比， $X^2$ 使用二次残差；对 $u\log u$ 的 Taylor 展开说明，当 $O_j/E_j\to1$ 时两者首阶等价，因而共享正则卡方极限，稀疏样本下数值却可能明显不同。观测到统计量后得到的尾部证据应按p 值的零分布语义解释，而不是当作零假设为真的概率。

固定备择 $q_j$ 下， $X^2$ 大致按 $n\sum_j(q_j-p_j)^2/p_j$ 增长；稀有类别受到 $1/p_j$ 强调，却也最难满足渐近条件。在列联表独立性检验中， $p_{ij}$ 由边缘概率拟合，自由度为 $(r-1)(c-1)$ ；multinomial、product-multinomial 与条件 hypergeometric 抽样方案仍有不同的精确解释。

在前述 $r$ 行、 $c$ 列的列联表独立性问题中，效应大小可报告 Cramér's $V=\sqrt{X^2/[n\min(r-1,c-1)]}$ ，但它只给归一化关联强度，不能替代各格残差。大样本可能让很小的 $V$ 显著；稀疏表又会使该估计偏差增大。连续分布若不愿承担分箱选择，可改用比较 CDF 的方法，但其校准条件与敏感方向属于另一类检验。

参考资料

NIST/SEMATECH, e-Handbook of Statistical Methods, §1.3.5.15, “Chi-Square Goodness-of-Fit Test”, 在线版，2026 年访问；“Definition”明确区分箱计数似然估计与原始数据估计。
David Aldous，Sinho Chewi 记录，Probability Theory, Mathematics C218B/Statistics C205B，2017，Theorems 8.2、8.4，pp. 31–32：固定线性投影判据与有限维中心极限定理。
Alan Agresti, Categorical Data Analysis, 3rd ed., Wiley, 2013，Ch. 1–2。
Erich L. Lehmann and Joseph P. Romano, Testing Statistical Hypotheses, 3rd ed., Springer, 2005，Ch. 14。

形式陈述 ​

反向链接

形式陈述