错误发现率与 Benjamini–Hochberg

定义 ​

令 $R=|\mathcal{R}|$ 为拒绝数，$V=|\mathcal{R}\cap I_0|$ 为错误拒绝数。错误发现比例

$$\mathrm{FDP}=\frac{V}{R\vee 1},$$

错误发现率

$$\mathrm{FDR}=E[\mathrm{FDP}].$$

没有拒绝时分母用一使 FDP 为零。FDR 是随机比例的期望，不是 $E[V]/E[R]$。

BH 程序 ​

将 p 值排序 $p_{(1)}\le \cdots \le p_{(m)}$，给定目标 $q$，取

$$k=max\{j:p_{(j)}\le jq/m\},$$

若集合非空则拒绝前 $k$ 个假设，否则不拒绝。它是 step-up：某个较大秩通过后，其前更小 p 值全部拒绝。

在真实零 p 值独立且有效、并与其他 p 值满足标准独立条件时，

$$\mathrm{FDR}\le q\frac{m_0}{m}\le q.$$

在 PRDS 等正依赖下仍有控制；任意依赖需 Benjamini–Yekutieli 调整等更保守方法。

例子 ​

$m=5,q=0.1$，排序 p 值 $(0.01,0.03,0.045,0.20,0.40)$，阈值 $(0.02,0.04,0.06,0.08,0.10)$。最大通过秩为 3，因此拒绝前三个。注意第二项通过并不要求第四项通过；算法取最大通过秩。

控制机制与 adjusted p 值 ​

独立情形把 FDR 分解为

$$\sum _{i\in I_0}E\left[\frac{\mathbf{1}\{i\in \mathcal{R}\}}{R\vee 1}\right].$$

将一个真实 p 值设为零并利用 step-up 的自洽性，可把每项界为 $q/m$，总计 $m_{0}q/m$。这一步依赖真实 p 值的超均匀性及合适独立/正依赖结构。

BH adjusted p 值从后向前计算：

$${\tilde{p}}_{(j)}=\underset{k\ge j}{min}\frac{m}{k}{p}_{(k)}\wedge 1.$$

后缀最小保证调整值单调。本例前三个均不超过 $0.075$，第四个为 $0.25$，因此目标 $q=0.1$ 时拒绝前三项。

任意依赖下，Benjamini–Yekutieli 把阈值除以 $H_m=\sum _{i=1}^{m}1/i$。更强稳健性带来约 $\log m$ 的功效代价。

边界 ​

“FDR 10%”不表示本次三个发现中恰有 0.3 个错误，也不保证每次 FDP 不超过 10%。它是重复实验的期望准则，单次 FDP 可能很高。

负依赖、选择性过滤或经过数据依赖权重处理的 p 值可能破坏普通 BH 证明。过滤若独立或满足特定结构可安全使用，否则需联合校准。

无效的单项 p 值不会被 BH 修复。可选停止、模型选择和事后扩展发现集合都会改变输入或 $R,V$ 的定义，必须把完整流程纳入保证。

FDR 与FWER公理库多重检验与族错误率Multiple testing · Familywise error rate · FWER同时检验多个假设时至少一次错误拒绝的概率及其 Bonferroni、Holm 控制。不同：前者允许在发现多时容忍少量错误，后者控制任何错误发生。选择哪个准则应由损失和应用风险决定。

应用 ​

基因组、成像和大规模 A/B 指标常使用 BH。加权 BH、分层 FDR 和 online FDR 需要各自的权重、信息时间与依赖条件。

BH 的 self-consistency 可写为 $\mathcal{R}=\{i:p_i\le qR/m\}$。这说明每个发现共享由最终拒绝数决定的自适应阈值：发现越多，允许阈值越宽；证明必须同时处理这个随机 $R$，不能把它当固定常数。

Storey 方法估计 ${\pi }_0=m_0/m$ 后把阈值放宽，可能提高功效，但 ${\hat{\pi }}_0$ 的估计与 p 值依赖需要校准。q-value 表示使某项进入发现集所需的最小目标 FDR，类似 adjusted p 值，却不是该项为假发现的后验概率。

online FDR 中假设按时间到达，阈值 ${\alpha }_t$ 只能依赖过去信息。把离线 BH 应用于不断增长且可选择停止的列表，没有 anytime 保证；LORD、SAFFRON 等程序使用 alpha-wealth 维持序贯约束。

若研究更关心每次实验 FDP 不超过阈值，可用 FDP tail control 或 simultaneous FDP bounds。它们比期望 FDR 强，通常牺牲发现数；准则必须匹配错误损失。

local false discovery rate $P(H_i\text{ null}\mid Z_i=z)$ 是两组 mixture Bayesian/empirical-Bayes 对象，与 tail-area FDR 不同。它需要零/备择混合模型；BH 只需要有效 p 值及依赖条件，不能把 BH q-value 直接解释为 local posterior probability。

加权 BH 的权重通常要求非负、平均为一，并独立于对应 null p 值。用外部协变量学习权重可提高功效，但必须交叉拟合或满足 independent hypothesis weighting 条件。

参考资料

• Yoav Benjamini and Yosef Hochberg, “Controlling the False Discovery Rate,” JRSS B 57(1), 1995。
• Yoav Benjamini and Daniel Yekutieli, “The Control of the FDR under Dependency,” Annals of Statistics 29(4), 2001。
• Christopher Genovese and Larry Wasserman, “Operating Characteristics and Extensions of the FDR Procedure,” JRSS B 64(3), 2002。