形式陈述
若每个实验单位同时有多个响应,怎样整体检验各组均值是否相同?设有 g ≥ 2 个相互独立的组,第 i 组观测独立服从 N p ( μ i , Σ ) ,共同协方差 Σ 正定,组大小 n i ≥ 1 ,总数 N = ∑ i n i 。要检验
H 0 : μ 1 = ⋯ = μ g . 这是以组指示变量为设计的多响应线性模型 公理库 多响应线性回归模型 Multivariate linear regression · Multivariate linear model 同一设计矩阵同时拟合多个相关响应,系数仍逐列等于 OLS,但联合系数误差与残差散布具有矩阵正态和 Wishart 结构。 。记各组均值为 X ¯ i 、总均值为 X ¯ ,定义组内和组间散布矩阵
E = ∑ i = 1 g ∑ j = 1 n i ( X i j − X ¯ i ) ( X i j − X ¯ i ) T , H = ∑ i = 1 g n i ( X ¯ i − X ¯ ) ( X ¯ i − X ¯ ) T . 假设 N − g ≥ p ,则 E 几乎必然正定。Wilks 统计量为
Λ = det E det ( E + H ) , 0 < Λ ≤ 1. 小的 Λ 反对共同均值。原假设下,
E ∼ W p ( N − g , Σ ) , H ∼ W p ( g − 1 , Σ ) , E ⊥ H . 因此精确原假设分布由两个独立 Wishart 矩阵 公理库 Wishart 分布 Wishart distribution · Gaussian scatter distribution 独立高斯向量的外积和给出随机散布矩阵,其秩、方向卡方和正交投影结构解释样本协方差的自由度。 决定,依赖 p , g , N ,但不依赖未知的共同 Σ 。H 自由度小于 p 时允许奇异,不影响 E + H 的正定性。
直觉
一元方差分析把总平方和分成组内与组间两份;多个响应必须同时保留交叉乘积,所以两份变成矩阵。它们描述的是方向,不只是一个总长度。
det E 与组内散布椭球的体积平方成比例;det ( E + H ) 把组均值分离也算进去。如果组间差异在某些低噪声方向上增加了很多散布,这个比值就会下降。
必须相对组内噪声比较。两个响应本身强相关时,某个反向的均值差可能非常异常,即便逐个响应看,差值都不大。
例子与边界
两组、两个响应的精确连接
取 n 1 = n 2 = 6 ,设观测到均值差 d = X ¯ 1 − X ¯ 2 = ( 1 , 0 ) T ,合并样本协方差为
S p = ( 1 1 / 2 1 / 2 1 ) . 组内自由度为 N − 2 = 10 ,所以
E = 10 S p = ( 10 5 5 10 ) , H = n 1 n 2 N d d T = ( 3 0 0 0 ) . 其行列式 公理库 行列式 Determinant 交换含幺环上方阵的交替多线性标量不变量。 分别为 det E = 75 、det ( E + H ) = 105 ,故 Λ = 5 / 7 。
同一数据的两样本 Hotelling 统计量 公理库 Hotelling T² 检验 Hotelling T-squared test · Hotelling T2 statistic 用样本协方差逆度量均值向量偏离,并在独立正态样本下通过精确 F 分布统一校准全部方向。 为
T 2 = n 1 n 2 N d T S p − 1 d = 4. 它对应 F 2 , 9 统计量 9 T 2 / ( 2 ⋅ 10 ) = 1.8 。两个表示使用同一份联合均值证据,不应当作两个独立检验再合并 p 值。
同协方差与正态性是校准条件
不同组有不同协方差时,简单的共同 Wishart 分解不再成立。非正态或相关观测也可能破坏精确分布。此时可以研究稳健、重采样或渐近方法,但这些是需要另外证明的程序。
若 N − g < p ,E 必然奇异;此时行列式比值可能退化,不能通过把零行列式解释成“极显著”来救回检验。常见的 F 近似也不是对所有维数、组数和样本量都精确。
拒绝共同均值仅表示至少一个均值向量差异;它不自动定位哪两个组、哪个响应,也不说明差异有实际重要性。后续对比需保留相应的同时错误控制。
推论与应用
从正交投影得到两个 Wishart
把全部响应排成 N × p 矩阵 Y 。令 P G 为投影到组内常量向量空间的投影,秩为 g ;令 P 1 = 1 1 T / N ,秩为一。由于总常量空间包含于组常量空间,
E = Y T ( I − P G ) Y , H = Y T ( P G − P 1 ) Y . 两个矩阵中的行投影彼此正交,秩分别为 N − g 和 g − 1 。原假设均值落在总常量空间,所以两部分均值都为零。高斯正交投影定理便同时给出两个中心 Wishart 分布及其独立性。
对白化变换 Y ↦ Y Σ − 1 / 2 ,两份散布分别变成 Σ − 1 / 2 E Σ − 1 / 2 与 Σ − 1 / 2 H Σ − 1 / 2 。分子分母行列式含有的尺度因子相消,因此 Λ 的原假设分布不依赖 Σ 。这也给出模拟精确参考分布的模型:分别生成自由度 N − g 与 g − 1 的标准高斯行矩阵,再计算其散布比值。
为什么这个比值是似然比
在各组均值自由的完整模型中,协方差极大似然估计为 E / N ;在共同均值的约束模型中为 ( E + H ) / N 。把它们代回正态似然,得到
sup H 0 L sup L = Λ N / 2 , − 2 log sup H 0 L sup L = − N log Λ . 所以 Λ 是经典似然比检验 公理库 似然比检验 Likelihood ratio test · Generalized likelihood ratio test 以受限模型和完整模型的最大似然之比衡量零假设对数据的相对解释能力。 的一种单调等价统计量。名字里的 Wilks Λ 与“Wilks 渐近卡方定理”并不是同一个对象:前者是具体行列式比值;后者在固定 p , g 、各组比例趋于正数等正则条件下,给出 − N log Λ ⇒ χ p ( g − 1 ) 2 。
特征值说明哪些方向在贡献
设 λ 1 , … , λ p ≥ 0 为对称半正定矩阵 E − 1 / 2 H E − 1 / 2 的特征值,则
Λ = det ( I + E − 1 / 2 H E − 1 / 2 ) − 1 = ∏ j = 1 p ( 1 + λ j ) − 1 . 每个特征值衡量一个白化后方向的组间散布。Λ 把这些方向的证据乘起来,因此不是简单地把逐响应 ANOVA 的 p 值相乘。
两组时为何等价于 Hotelling
g = 2 时 H = c d d T ,c = n 1 n 2 / N 。秩一行列式恒等式给出
det ( E + c d d T ) = det ( E ) ( 1 + c d T E − 1 d ) . 因为 E = ( N − 2 ) S p ,
Λ = 1 1 + T 2 / ( N − 2 ) . 正态均值差标准化后独立于自由度 N − 2 的合并 Wishart,故
N − p − 1 p ( N − 2 ) T 2 ∼ F p , N − p − 1 . 这个两组变换是有限样本精确的,且要求 N − 2 ≥ p 。一般多组情形仍应使用对应的 Wilks 分布或明确标注的近似,不能把这个两组公式直接推广。
参考资料