形式陈述
多个响应彼此相关时,均值向量离原假设“多远”才算异常?设 独立同分布于 , 正定,且 。记样本均值为 、使用分母 的样本协方差为 。检验 的 Hotelling 统计量为
Wishart 样本协方差理论公理库Wishart 分布Wishart distribution · Gaussian scatter distribution独立高斯向量的外积和给出随机散布矩阵,其秩、方向卡方和正交投影结构解释样本协方差的自由度。保证 几乎必然可逆,并给出它与 的独立性。原假设下有精确分布
因此一个 level- 的联合均值检验公理库统计假设检验Statistical hypothesis test · Test function在零假设与备择假设之间作出随机化决定,并对零假设下拒绝概率实施一致控制。在
时拒绝。 表示相应 F 分布公理库F 分布F-distribution · Fisher–Snedecor distribution两个独立卡方变量分别除以自由度后所得比值的正值分布。的 分位数。
正态性、固定样本量、正定总体协方差和 都是这里有限样本精确性的条件;它不同于一般估计量的大样本 Wald 卡方近似。
直觉
如果两个响应经常一起上升,那么“两个都略高”不一定罕见;但“一个高、另一个低”可能违背常见共同波动,值得更大警觉。 正是在按各方向的噪声大小重新衡量偏差。
逐坐标做两个 检验只看坐标轴。Hotelling 检验则考虑所有线性方向中最异常的那个,同时为这种选择付出正确的校准代价。这个最异常方向本身会随数据变化,不能把选中之后的一维 值当作事先固定方向的统计量。
例子与边界
同样欧氏距离,联合异常程度不同
取 ,观察到
若均值差为 ,它沿着方差较大的同向方向,得到
若均值差改为 ,欧氏长度完全相同,却沿着方差只有 的反向方向,得到 。转换成 统计量,分别为 与 。
临界值为 ,等价的 阈值为 。因此前一个偏差不拒绝,后一个拒绝。
维数过大与正态假设失效
若 ,中心化数据至多有 个行方向, 必然奇异。用广义逆或加上岭项可以构造别的统计量,但不会自动保留本页的精确 F 分布。
非正态样本下,即使 可逆,均值与协方差一般不独立,精确 F 校准也就没有依据。固定维数的大样本近似可能成立,但要另述矩条件和渐近论证;维数随样本量增长时还需不同分析。
推论与应用
精确 F 分布的核心比值
先证明一个标准化结论:令 ,,两者独立,,则
写 ,其中 , 为单位方向。 的旋转不变性意味着,给定任意 , 的分布都等于 ,且不依赖 。
为找这个分布,将生成 的标准正态数据矩阵按列分成 ,其中 、。分块求逆给出
给定 ,括号内是秩 的正交投影,且 是独立标准正态向量,所以右侧服从 。 时把 视为空矩阵,投影就是 。
因此 等于两个独立卡方变量的比值,除以各自自由度后正是 F 分布。这里的独立性来自条件于 后,分母分布仍相同,而不只是两者边缘各自为卡方。
把样本均值和协方差代入
原假设下令
它们分别是标准正态和自由度 的标准 Wishart,且独立。又有 ,代入上段便得到形式陈述中的系数和自由度。
当 时, 就是一元单样本 统计量的平方,,作为边界核对。
椭球同时控制所有线性方向
由检验反演公理库置信集合与检验的对偶Confidence set and test duality · Test inversion逐参数反演 level 检验得到覆盖置信集合,并由置信集合反构造点零假设检验。得到精确覆盖 的均值置信椭球
对任意 ,Cauchy–Schwarz 不等式公理库Cauchy–Schwarz 不等式Cauchy–Schwarz inequality · 柯西–施瓦茨不等式内积的绝对值不超过两向量范数之积,且等号精确刻画线性相关。及取等方向给出
所以同一个覆盖事件等价于对所有 同时满足
这比“每个固定坐标分别有 区间”包含更强的同时量词。它允许在观察后探查方向,而校准仍来自一开始就控制了所有方向的椭球。
参考资料
- Stanford STATS305C,《Normal Theory》,Hotelling’s 与 Theorem 3.4.7 的正态—Wishart 比值。
- Stanford STATS305C,《Hotelling T2》,Largest statistic interpretation 与联合方向校准。