多重检验与族错误率

多重检验的困难来自同一批数据同时提供多次“出错机会”。Bonferroni 把总错误预算预先分给各假设，Holm 则按证据顺序逐步使用预算；两者都把逐项证据转成对整个假设族的错误控制。

$m=4,\alpha =0.05$，排序 p 值为 $(0.008,0.015,0.030,0.20)$。Holm 阈值依次为 $(0.0125,0.0167,0.025,0.05)$，前两项拒绝，第三项失败后停止。Bonferroni 只会拒绝第一项。

调整 p 值与保证来源 ​

Holm 的强控制可以直接从第一个被拒绝的真实零假设看出。若没有真实零假设，FWER 为零。否则设真实零假设共有 $m_0>0$ 个，第一个真实零假设位于排序第 $j$ 位；此前的 $j-1$ 个全是假零，所以 $j-1\le m-m_0$，即

若 Holm 错误拒绝这个假设，就必有某个真实 p 值不超过 $\alpha /(m-j+1)\le \alpha /m_0$。于是

推导只使用每个真零假设下 p 值的有效性与并集界，没有使用 p 值之间的独立性。因此该界对任意真假配置都成立。

Holm adjusted p 值为

例中得到约 $(0.032,0.045,0.060,0.20)$。前缀最大确保调整值按秩不下降，与逐步停止规则完全对应；在给定家族水平 $\alpha$ 下，拒绝调整值不超过 $\alpha$ 的假设，与逐步比较得到同一结论。

若预先给权重 $w_i\ge 0,\sum _i{w}_i=1$，weighted Bonferroni 用阈值 $\alpha w_i$，同样由并集界控制。权重若看见对应 p 值后才决定，就不再是同一证明。

Holm 还可从闭合检验理解：对每个交集零假设使用 Bonferroni 局部检验，只有当所有包含 $H_i$ 的相关交集都被拒绝时才拒绝 $H_i$。Holm 的 step-down 顺序把这组指数多个交集判断压缩成排序阈值，给出这组局部检验下闭合原则的高效实现。

家族、依赖与相邻错误准则 ​

逐项 $0.05$ 检验不能控制族错误；若 $m$ 个零假设全真且检验独立，FWER 为 $1-{0.95}^m$，在 $m=20$ 时约为 $0.642$。这个增长来自“至少一次错误”事件的累积，不表示任何单个 p 值本身失效。

family 必须由科学问题和选择流程共同界定。只在每张表内部校准，却跨表寻找最小 p 值，整体选择仍未受控；事后删去不显著检验，再把剩余数量当成原始 $m$，也会改变所分析的错误事件。预筛选、分层检验或 alpha 转移可以有效，但规则及其条件必须在看到对应证据之前固定。

FWER 与错误发现率（FDR）回答不同问题。FWER 控制“至少一个真零假设被拒绝”的概率，适合不能容忍任何确认性错误的家族；FDR 控制错误拒绝在全部拒绝中的期望比例，允许以不同错误标准换取更多发现。

同一并集界也能校准同时置信区间：若每个坐标使用边缘覆盖率 $1-\alpha /m$，全部区间同时覆盖的概率至少为 $1-\alpha$。逐项普通 $95\mathrm{\%}$ 区间只保证各自覆盖，不自动给整组区间 $95\mathrm{\%}$ 的联合覆盖；这里改变的是覆盖事件，逻辑与 FWER 中“至少一个错误”完全对应。

利用联合依赖结构的重采样 step-down、Hochberg step-up 或闭合检验有时比 Holm 更有功效，但它们各自需要联合零分布、正依赖或局部交集检验等条件。选择这些方法时，相应依赖条件决定了错误率保证的适用范围。

多重程序只能继承输入 p 值的有效性。若单项模型、标准误或抽样机制已经使 p 值偏小，Bonferroni 与 Holm 不会修复这一层错误；它们控制的是由多个有效单项检验组成的家族，而不是数据分析全过程中的所有偏差。

在 ANOVA 后的预定对比中，可以把需要同时解释的比较组成一个假设族，再对其p 值理路p 值p-value在零假设下校准的证据统计量，其小值事件的概率不超过对应阈值。使用上述校准。若研究目标是控制错误拒绝所占比例，则可转向FDR 与 Benjamini–Hochberg理路错误发现率与 Benjamini–HochbergFalse discovery rate · Benjamini–Hochberg procedure · FDR控制错误拒绝占全部拒绝比例期望的多重检验准则与步升程序。方法，按相应的错误准则与依赖条件选择程序。