方差分析 | Codeboy's Blog

形式陈述

设有 $k\ge2$ 个组，第 $i$ 组有 $n_i\ge1$ 个观测，总数 $N=\sum_i n_i>k$ 。单因素 ANOVA 把组别放入线性回归模型：

Y_{ij}=\mu+\alpha_i+\varepsilon_{ij},\qquad j=1,\ldots,n_i.

第 $i$ 组的总体均值是 $m_i=\mu+\alpha_i$ 。为避免将 $\mu$ 增加某个常数、同时将所有 $\alpha_i$ 减少同一常数而得到相同模型，常加约束 $\sum_i n_i\alpha_i=0$ 。要检验的零假设是 $m_1=\cdots=m_k$ 。

令 $\bar Y_{..}$ 为全部观测的样本总均值， $\bar Y_{i.}$ 为第 $i$ 组样本均值。注意它们不是未知的总体参数。平方和满足恒等式

\sum_{ij}(Y_{ij}-\bar Y_{..})^2 =\sum_i n_i(\bar Y_{i.}-\bar Y_{..})^2 +\sum_{ij}(Y_{ij}-\bar Y_{i.})^2.

分别称总、组间和组内平方和，交叉项因组内残差和为零而消失。

投影推导

把组指示变量组成设计矩阵，完整模型投影到各组常数子空间，零模型只投影到总体常数。两个投影之差秩为 $k-1$ ，残差投影秩为 $N-k$ ，且子空间正交。在零假设及 $\sigma>0$ 的独立同方差正态误差下，投影平方和除以 $\sigma^2$ 分别服从自由度 $k-1$ 与 $N-k$ 的卡方分布；两个投影向量联合正态且交叉协方差为零，所以它们及其平方和独立；其标准化比值才服从F 分布。零假设不成立时，组间项一般是非中心卡方，不能沿用同一个中心 F 分布描述统计量。

平方和恒等式可逐项展开：

Y_{ij}-\bar Y_{..} =(Y_{ij}-\bar Y_{i.}) +(\bar Y_{i.}-\bar Y_{..}).

交叉项对每组求和为 $(\bar Y_{i.}-\bar Y_{..})\sum_j(Y_{ij}-\bar Y_{i.})=0$ 。这个代数分解不要求正态，只有精确 F 校准才需要概率假设。

F 检验

在上述独立 $N(0,\sigma^2)$ 误差条件下，

F=\frac{SS_B/(k-1)}{SS_W/(N-k)}\sim F_{k-1,N-k}

在零假设下精确成立。分子测量组均值偏离，分母估计共同噪声。

直觉

平方和分解的几何核心是比较两个嵌套投影：总体均值模型只能解释所有观测共享的一条方向，分组模型再加入组间对比方向；新增投影吸收的变异与残差变异之比，才是 F 统计量。因而 ANOVA 虽以“方差分析”命名，实际问题是组均值参数是否需要这些额外方向。

例子与边界

设三种工艺各测量四件产品，读数依次为 $(1,2,2,3)$ 、 $(2,3,3,4)$ 、 $(3,4,4,5)$ 。三组均值是 $2,3,4$ ，样本总均值是 $3$ 。于是

SS_B=4[(2-3)^2+(3-3)^2+(4-3)^2]=8.

每组相对自身均值的残差都是 $(-1,0,0,1)$ ，组内平方和各为 $2$ ，所以 $SS_W=6$ 、 $SS_T=14$ 。分子自由度为 $2$ ，分母自由度为 $12-3=9$ ，得到 $F=(8/2)/(6/9)=6$ ，在模型假设下与 $F_{2,9}$ 比较。拒绝只说明并非所有均值相同，不能指出哪组不同；事后对比需多重校准。

效应大小可报告 $\eta^2=SS_B/SS_T=8/14\approx0.571$ ，描述样本总变异中由组标签解释的比例。它不等同总体因果效应，且小样本有上偏。

同方差与独立性是精确 F 的关键。异方差不平衡设计可严重失准，可用 Welch ANOVA。重复测量或聚类需建模相关结构。

组内非正态在平衡、大样本时 F 可能较稳健，但重尾与异常值可同时抬高均值差和残差。先看数据再删除极端组会改变检验。

多因素 ANOVA 中平方和类型随不平衡设计和交互项改变；主效应不能脱离编码与所调整项解释。用 Type I/II/III 名称替代具体模型比较会掩盖问题。

推论与应用

从总体检验到具体对比

本页单因素固定效应 ANOVA 是OLS 推断在组指示设计、等均值线性约束下的特例，也是线性模型的嵌套模型检验；“方差分析”实际检验均值参数。正态性对精确小样本校准重要，不是平方和恒等式本身的条件。其标准化平方和之比由F 分布校准；多个事后比较则进入多重检验与族错误率问题。

预先指定的均值对比 $c^{\mathsf T}m=\sum_i c_i m_i$ 满足 $\sum_i c_i=0$ 。例如比较第一组与第三组时， $c=(1,0,-1)$ ；以上数据的估计差为 $2-4=-2$ ，标准误为 $\sqrt{(6/9)(1/4+1/4)}=1/\sqrt3$ 。这回答一个明确的组间问题，与总体 F 检验的“是否至少存在一个差异”不同。

若两个对比系数为 $c,d$ ，在独立同方差模型下，它们的估计量不相关当且仅当 $\sum_i c_i d_i/n_i=0$ 。因此不平衡设计的正交性要按组样本量加权，不能只看普通点积。 $k-1$ 个独立且两两正交的对比可分解组间平方和；进行多个推断时仍应按所需的整体错误率校准。

扩展模型时重新说明比较对象

在平衡的正交多因素设计中，各因素解释的平方和容易分开。不平衡时，因素列可能相关，顺序平方和会随加入项的次序改变。含交互项时，还必须说明主效应对另一因素的哪些水平、按什么权重取平均；某些编码下的系数只比较参考水平。因而应直接写出受限模型、完整模型和目标对比，不能只报 Type I、II、III 标签。

Welch ANOVA 使用组别方差和有效自由度校正，适合异方差；Kruskal–Wallis 比较秩分布，零假设不是一般“均值相等”。它们是不同模型与目标的替代，不是普通 ANOVA 的无条件稳健开关。

实验设计中的随机化支持因果解释，ANOVA 代数本身不支持。观察性组别差可能由混杂造成，即使 F 极显著也只描述条件关联。

预先指定的一组对比可用 Bonferroni 做同时推断；所有两两均值比较常用 Tukey 学生化极差法，在其独立、同方差、正态及相应设计条件下控制族错误率。先做总体 F 检验再挑出最大的组差，不会自动消除这种选择造成的多重比较问题。

随机效应 ANOVA 把组效应视为分布抽样并估计方差分量，目标从固定组均值对比变成总体变异。其零方差参数在边界，普通 F 或卡方渐近不总适用。

缺失单元使经典正交分解破坏，需要检查一般线性模型中哪些参数组合仍可估。最小二乘均值是按指定协变量分布调整后的模型均值，不是原始组均值。

诊断应检查残差—拟合图、组别方差与设计独立性。正态 QQ 图主要影响小样本精确尾部；明显异方差和聚类通常比轻微正态偏离更直接破坏标准 F。

当每个单位有多个相关响应时，MANOVA 与 Wilks Λ把组内、组间平方和扩展为散布矩阵，以行列式比值比较均值向量。它需要重新核对共同协方差、正态性和残差矩阵可逆条件，不能简单相乘各响应的 ANOVA p 值。

参考资料

NIST/SEMATECH, e-Handbook of Statistical Methods, §7.4.3.1 “One-way ANOVA overview”，在线手册，平方和分解（页面未标明更新年份）。
George Box, William Hunter, and J. Stuart Hunter, Statistics for Experimenters, 2nd ed., Wiley, 2005。
George Seber and Alan Lee, Linear Regression Analysis, 2nd ed., Wiley, 2003。
Douglas Montgomery, Design and Analysis of Experiments, 10th ed., Wiley, 2019。

形式陈述 ​

投影推导 ​

F 检验 ​

从总体检验到具体对比 ​

扩展模型时重新说明比较对象 ​

反向链接

形式陈述

投影推导

F 检验

从总体检验到具体对比

扩展模型时重新说明比较对象