卡方分布

形式陈述 ​

若 $Z_1,\dots ,Z_{\nu }$ 相互独立公理库独立性Statistical independence若干 σ-代数的任意有限事件选择都按概率乘积分解的性质。且各自服从标准正态分布公理库正态分布Normal distribution · Gaussian distribution · 高斯分布具有指数平方密度、在仿射变换与独立求和下封闭的概率分布族。 $N(0,1)$，则

$$V=\sum _{i=1}^{\nu }{Z}_i^2$$

服从自由度为 $\nu$ 的卡方分布，记为 $V\sim {\chi }_{\nu }^2$。经典构造中 $\nu$ 为正整数；Gamma 分布表示可把该族延拓到任意正实自由度。

其密度在 $v>0$ 上为

$$f_{\nu }(v)=\frac{1}{2^{\nu /2}\mathrm{\Gamma }(\nu /2)}{v}^{\nu /2-1}{e}^{-v/2},$$

在 $v\le 0$ 为零，即 ${\chi }_{\nu }^2=\mathrm{Gamma}(\nu /2,2)$，这里第二参数采用尺度约定。矩母函数为

$$M_V(t)=(1-2t{)}^{-\nu /2},t<\frac{1}{2},$$

从而

$$\mathbb{E}[V]=\nu ,\mathrm{Var}(V)=2\nu .$$

若 $U\sim {\chi }_r^2$、$V\sim {\chi }_s^2$ 且独立，则 $U+V\sim {\chi }_{r+s}^2$。自由度可加来自独立标准正态平方项的合并，若缺少独立性则不能只加标签。

这个密度可从极坐标看出：标准正态向量的密度只依赖半径，球壳面积贡献 $r^{\nu -1}$，再以 $v=r^2$ 换元便出现 $v^{\nu /2-1}{e}^{-v/2}$。归一化常数由 Gamma 积分确定。推导说明卡方分布记录的是旋转不变正态向量的径向平方，而不是任意非负变量的通称。

直觉 ​

标准正态向量 $Z\in {\mathbb{R}}^{\nu }$ 的平方长度 $\Vert Z{\Vert }_2^2$ 就是卡方变量。自由度计算参与长度的独立正交方向数，而不是原始数据点的机械数量。拟合参数或施加线性约束会消耗方向，因此残差平方和的自由度常小于样本量。

卡方变量非负并右偏。自由度增加时，许多独立平方贡献相加，分布相对集中在均值 $\nu$ 周围，标准化 $(V-\nu )/\sqrt{2\nu }$ 渐近正态；有限小自由度下不能用对称图像代替它的长右尾。

例子与计算 ​

若 $X_1,\dots ,X_n$ 独立服从 $N(\mu ,{\sigma }^2)$，令

$$\overline{X}=\frac{1}{n}\sum _i{X}_i,S^2=\frac{1}{n-1}\sum _i(X_i-\overline{X}{)}^2.$$

Cochran 定理给出

$$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }_{n-1}^2.$$

少掉的一维对应样本均值方向：残差向量满足 $\sum _i(X_i-\overline{X})=0$，只能在维数 $n-1$ 的正交子空间中变化。

更一般地，若 $Z\sim N_n(0,I)$，$P$ 是秩为 $r$ 的正交投影矩阵，则

$$Z^{\mathsf{T}}PZ\sim {\chi }_r^2.$$

选取正交矩阵把 $P$ 对角化为 $\mathrm{diag}(I_r,0)$ 后，二次型恰成为 $r$ 个独立标准正态平方和。这给出自由度等于投影秩的可追踪来源。

边界与失败情形 ​

正态分量相关时，平方和一般不是简单卡方。若 $Z_1=Z_2=Z\sim N(0,1)$，则 $Z_1^2+Z_2^2=2Z^2$，其均值虽为 $2$，方差却为 $8$，不同于 ${\chi }_2^2$ 的方差 $4$。必须先白化并确认独立正交方向。

若正态向量均值非零，平方长度服从非中心卡方分布，非中心参数为标准化均值平方长度。把 $N(\mu ,1)$ 的平方仍写成 ${\chi }_1^2$ 会漏掉均值造成的右移。

“平方和近似卡方”也不是任意残差的普遍定律。精确结果依赖正态性与投影结构；广义线性模型中的 Pearson 统计量常只在样本量与单元期望充分大时渐近卡方，稀疏单元可使近似很差。

Gamma 分布的尺度与率参数容易混淆。这里尺度为 $2$；若使用率参数，应写为 $1/2$。自由度顺延到非整数时仍是合法 Gamma 分布，却不再能逐字解释为有限个正态平方项。

推论与应用 ​

正态样本方差的精确置信区间通过卡方分位数反演：若 $q_{a,\nu }$ 是 ${\chi }_{\nu }^2$ 的 $a$ 分位数，则

$$P(\frac{(n-1)S^2}{q_{1-\alpha /2,n-1}}\le {\sigma }^2\le \frac{(n-1)S^2}{q_{\alpha /2,n-1}})=1-\alpha .$$

卡方变量还是 Student $t$ 与 $F$ 分布的分母构件。列联表拟合优度、似然比检验和线性模型平方和也常出现卡方极限或精确分解，但每次都要区分有限样本定理与渐近近似。

参考资料

• George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002，§4.2–4.3。
• Robb J. Muirhead, Aspects of Multivariate Statistical Theory, Wiley, 1982，Ch. 1。
• T. W. Anderson, An Introduction to Multivariate Statistical Analysis, 3rd ed., Wiley, 2003，Ch. 2。