卡方分布 | Codeboy's Blog

形式陈述

卡方分布是一族取值于非负实数的连续概率分布，其自由度参数来自独立标准正态变量平方和中的项数。

若随机向量 $Z=(Z_1,\ldots,Z_\nu)$ 的各分量相互独立，且分别服从标准正态分布 $N(0,1)$ ，则

V=\sum_{i=1}^{\nu}Z_i^2

服从自由度为 $\nu$ 的卡方分布，记为 $V\sim\chi_\nu^2$ 。经典构造中 $\nu$ 为正整数；Gamma 分布表示可把该族延拓到任意正实自由度。

其密度在 $v>0$ 上为

f_\nu(v) =\frac{1}{2^{\nu/2}\Gamma(\nu/2)} v^{\nu/2-1}e^{-v/2},

在 $v\le0$ 为零，即 $\chi_\nu^2=\operatorname{Gamma}(\nu/2,2)$ ，这里第二参数采用尺度约定。矩母函数为

M_V(t)=(1-2t)^{-\nu/2}, \qquad t<\frac12,

从而

\mathbb E[V]=\nu, \qquad \operatorname{Var}(V)=2\nu.

若 $U\sim\chi_r^2$ 、 $V\sim\chi_s^2$ 且独立，则 $U+V\sim\chi_{r+s}^2$ 。自由度可加来自独立标准正态平方项的合并，若缺少独立性则不能只加标签。

这个密度可从极坐标看出：标准正态向量的密度只依赖半径，球壳面积贡献 $r^{\nu-1}$ ，再以 $v=r^2$ 换元便出现 $v^{\nu/2-1}e^{-v/2}$ 。归一化常数由 Gamma 积分确定。推导说明卡方分布记录的是旋转不变正态向量的径向平方，而不是任意非负变量的通称。

直觉

标准正态向量 $Z\in\mathbb R^\nu$ 的平方长度 $\|Z\|_2^2$ 就是卡方变量。自由度计算参与长度的独立正交方向数，而不是原始数据点的机械数量。拟合参数或施加线性约束会消耗方向，因此残差平方和的自由度常小于样本量。

卡方变量非负并右偏。自由度增加时，许多独立平方贡献相加，分布相对集中在均值 $\nu$ 周围，标准化 $(V-\nu)/\sqrt{2\nu}$ 渐近正态；有限小自由度下不能用对称图像代替它的长右尾。

例子与边界

若 $X_1,\ldots,X_n$ 独立服从 $N(\mu,\sigma^2)$ ，令

\bar X=\frac1n\sum_iX_i, \qquad S^2=\frac1{n-1}\sum_i(X_i-\bar X)^2.

Cochran 定理给出

\frac{(n-1)S^2}{\sigma^2}\sim\chi_{n-1}^2.

少掉的一维对应样本均值方向：残差向量满足 $\sum_i(X_i-\bar X)=0$ ，只能在维数 $n-1$ 的正交子空间中变化。

更一般地，若 $Z\sim N_n(0,I)$ ， $P$ 是秩为 $r$ 的正交投影矩阵，则

Z^{\mathsf T}PZ\sim\chi_r^2.

选取正交矩阵把 $P$ 对角化为 $\operatorname{diag}(I_r,0)$ 后，二次型恰成为 $r$ 个独立标准正态平方和。这给出自由度等于投影秩的可追踪来源。

正态分量相关时，平方和一般不是简单卡方。若 $Z_1=Z_2=Z\sim N(0,1)$ ，则 $Z_1^2+Z_2^2=2Z^2$ ，其均值虽为 $2$ ，方差却为 $8$ ，不同于 $\chi_2^2$ 的方差 $4$ 。必须先白化并确认独立正交方向。

若正态向量均值非零，平方长度服从非中心卡方分布，非中心参数为标准化均值平方长度。把 $N(\mu,1)$ 的平方仍写成 $\chi_1^2$ 会漏掉均值造成的右移。

“平方和近似卡方”也不是任意残差的普遍定律。精确结果依赖正态性与投影结构；广义线性模型中的 Pearson 统计量常只在样本量与单元期望充分大时渐近卡方，稀疏单元可使近似很差。

Gamma 分布的尺度与率参数容易混淆。这里尺度为 $2$ ；若使用率参数，应写为 $1/2$ 。自由度顺延到非整数时仍是合法 Gamma 分布，却不再能逐字解释为有限个正态平方项。

推论与应用

正态样本方差的精确置信区间通过卡方分位数反演：若 $q_{a,\nu}$ 是 $\chi_\nu^2$ 的 $a$ 分位数，则

P\!\left( \frac{(n-1)S^2}{q_{1-\alpha/2,n-1}} \le\sigma^2\le \frac{(n-1)S^2}{q_{\alpha/2,n-1}} \right)=1-\alpha.

卡方变量还是 Student $t$ 与 $F$ 分布的分母构件。卡方拟合优度检验、似然比检验和线性模型平方和也常出现卡方极限或精确分解，但每次都要区分有限样本定理与渐近近似。

参考资料

George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002，§4.2–4.3。
Robb J. Muirhead, Aspects of Multivariate Statistical Theory, Wiley, 1982，Ch. 1。
T. W. Anderson, An Introduction to Multivariate Statistical Analysis, 3rd ed., Wiley, 2003，Ch. 2。