MANOVA 与 Wilks Λ | Codeboy's Blog

形式陈述

若每个实验单位同时有多个响应，怎样整体检验各组均值是否相同？设有 $g\ge2$ 个相互独立的组，第 $i$ 组观测独立服从 $N_p(\mu_i,\Sigma)$ ，共同协方差 $\Sigma$ 正定，组大小 $n_i\ge1$ ，总数 $N=\sum_i n_i$ 。要检验

H_0:\mu_1=\cdots=\mu_g.

这是以组指示变量为设计的多响应线性模型。记各组均值为 $\bar X_i$ 、总均值为 $\bar X$ ，定义组内和组间散布矩阵

E=\sum_{i=1}^g\sum_{j=1}^{n_i}(X_{ij}-\bar X_i)(X_{ij}-\bar X_i)^T,

H=\sum_{i=1}^g n_i(\bar X_i-\bar X)(\bar X_i-\bar X)^T.

假设 $N-g\ge p$ ，则 $E$ 几乎必然正定。Wilks 统计量为

\Lambda=\frac{\det E}{\det(E+H)},\qquad0<\Lambda\le1.

小的 $\Lambda$ 反对共同均值。原假设下，

E\sim W_p(N-g,\Sigma),\qquad H\sim W_p(g-1,\Sigma),\qquad E\perp H.

因此精确原假设分布由两个独立 Wishart 矩阵决定，依赖 $p,g,N$ ，但不依赖未知的共同 $\Sigma$ 。 $H$ 自由度小于 $p$ 时允许奇异，不影响 $E+H$ 的正定性。

直觉

一元方差分析把总平方和分成组内与组间两份；多个响应必须同时保留交叉乘积，所以两份变成矩阵。它们描述的是方向，不只是一个总长度。

$\det E$ 与组内散布椭球的体积平方成比例； $\det(E+H)$ 把组均值分离也算进去。如果组间差异在某些低噪声方向上增加了很多散布，这个比值就会下降。

必须相对组内噪声比较。两个响应本身强相关时，某个反向的均值差可能非常异常，即便逐个响应看，差值都不大。

例子与边界

两组、两个响应的精确连接

取 $n_1=n_2=6$ ，设观测到均值差 $d=\bar X_1-\bar X_2=(1,0)^T$ ，合并样本协方差为

S_p=\begin{pmatrix}1&1/2\\1/2&1\end{pmatrix}.

组内自由度为 $N-2=10$ ，所以

E=10S_p=\begin{pmatrix}10&5\\5&10\end{pmatrix},\qquad H=\frac{n_1n_2}{N}dd^T=\begin{pmatrix}3&0\\0&0\end{pmatrix}.

其行列式分别为 $\det E=75$ 、 $\det(E+H)=105$ ，故 $\Lambda=5/7$ 。

同一数据的两样本 Hotelling 统计量为

T^2=\frac{n_1n_2}{N}d^TS_p^{-1}d=4.

它对应 $F_{2,9}$ 统计量 $9T^2/(2\cdot10)=1.8$ 。两个表示使用同一份联合均值证据，不应当作两个独立检验再合并 $p$ 值。

同协方差与正态性是校准条件

不同组有不同协方差时，简单的共同 Wishart 分解不再成立。非正态或相关观测也可能破坏精确分布。此时可以研究稳健、重采样或渐近方法，但这些是需要另外证明的程序。

若 $N-g<p$ ， $E$ 必然奇异；此时行列式比值可能退化，不能通过把零行列式解释成“极显著”来救回检验。常见的 F 近似也不是对所有维数、组数和样本量都精确。

拒绝共同均值仅表示至少一个均值向量差异；它不自动定位哪两个组、哪个响应，也不说明差异有实际重要性。后续对比需保留相应的同时错误控制。

推论与应用

从正交投影得到两个 Wishart

把全部响应排成 $N\times p$ 矩阵 $Y$ 。令 $P_G$ 为投影到组内常量向量空间的投影，秩为 $g$ ；令 $P_1=\mathbf1\mathbf1^T/N$ ，秩为一。由于总常量空间包含于组常量空间，

E=Y^T(I-P_G)Y,\qquad H=Y^T(P_G-P_1)Y.

两个矩阵中的行投影彼此正交，秩分别为 $N-g$ 和 $g-1$ 。原假设均值落在总常量空间，所以两部分均值都为零。高斯正交投影定理便同时给出两个中心 Wishart 分布及其独立性。

对白化变换 $Y\mapsto Y\Sigma^{-1/2}$ ，两份散布分别变成 $\Sigma^{-1/2}E\Sigma^{-1/2}$ 与 $\Sigma^{-1/2}H\Sigma^{-1/2}$ 。分子分母行列式含有的尺度因子相消，因此 $\Lambda$ 的原假设分布不依赖 $\Sigma$ 。这也给出模拟精确参考分布的模型：分别生成自由度 $N-g$ 与 $g-1$ 的标准高斯行矩阵，再计算其散布比值。

为什么这个比值是似然比

在各组均值自由的完整模型中，协方差极大似然估计为 $E/N$ ；在共同均值的约束模型中为 $(E+H)/N$ 。把它们代回正态似然，得到

\frac{\sup_{H_0}L}{\sup L}=\Lambda^{N/2}, \qquad -2\log\frac{\sup_{H_0}L}{\sup L}=-N\log\Lambda.

所以 $\Lambda$ 是经典似然比检验的一种单调等价统计量。名字里的 Wilks $\Lambda$ 与“Wilks 渐近卡方定理”并不是同一个对象：前者是具体行列式比值；后者在固定 $p,g$ 、各组比例趋于正数等正则条件下，给出 $-N\log\Lambda\Rightarrow\chi^2_{p(g-1)}$ 。

特征值说明哪些方向在贡献

设 $\lambda_1,\ldots,\lambda_p\ge0$ 为对称半正定矩阵 $E^{-1/2}HE^{-1/2}$ 的特征值，则

\Lambda=\det(I+E^{-1/2}HE^{-1/2})^{-1} =\prod_{j=1}^p(1+\lambda_j)^{-1}.

每个特征值衡量一个白化后方向的组间散布。 $\Lambda$ 把这些方向的证据乘起来，因此不是简单地把逐响应 ANOVA 的 $p$ 值相乘。

两组时为何等价于 Hotelling

$g=2$ 时 $H=cdd^T$ ， $c=n_1n_2/N$ 。秩一行列式恒等式给出

\det(E+cdd^T)=\det(E)(1+cd^TE^{-1}d).

因为 $E=(N-2)S_p$ ，

\Lambda=\frac1{1+T^2/(N-2)}.

正态均值差标准化后独立于自由度 $N-2$ 的合并 Wishart，故

\frac{N-p-1}{p(N-2)}T^2\sim F_{p,N-p-1}.

这个两组变换是有限样本精确的，且要求 $N-2\ge p$ 。一般多组情形仍应使用对应的 Wilks 分布或明确标注的近似，不能把这个两组公式直接推广。

参考资料

Stanford STATS305C，《Multivariate regression》，Sums of squares matrices、General linear hypothesis、 $E/H$ 投影构造及 Wilks 计算。
Stanford STATS305C，《Hotelling T2》，两样本共同协方差模型与 F 校准。

形式陈述 ​

两组、两个响应的精确连接 ​

同协方差与正态性是校准条件 ​

从正交投影得到两个 Wishart ​

为什么这个比值是似然比 ​

特征值说明哪些方向在贡献 ​

两组时为何等价于 Hotelling ​