p 值

p 值问的是：若零假设中的校准分布生成数据，得到当前统计量这么极端或更极端的结果有多罕见。它把连续的证据排序压缩到 $[0,1]$，小值表示观测结果与该零模型较不协调。

它没有反转条件概率。计算的是 $P(\text{数据极端}\mid H_0)$，不是 $P(H_0\mid \text{数据})$；后者还需要备择模型与先验。p 值也不度量效应大小，相同效应在不同样本量下可得到完全不同的 p 值。

设 $X_1,\dots ,X_n\sim N(\mu ,{\sigma }^2)$，$\sigma$ 已知，检验 $H_0:\mu ={\mu }_0$ 对双侧备择。令

零假设下 $Z\sim N(0,1)$，观察到 $z_{obs}=2.10$ 时，双侧 p 值为

因此它会被 level $0.05$ 检验拒绝，却不会被 level $0.01$ 检验拒绝。单侧备择 $\mu >{\mu }_0$ 的 p 值约为 $0.0179$；检验方向必须在查看数据前确定，不能事后选择较小者。

离散例中，若 $X\sim \mathrm{Binomial}(10,1/2)$ 且观察到 $X=9$，检验成功率偏大时的单侧 p 值为

可能的 p 值只落在有限网格上，所以其零分布不连续均匀，但仍满足超均匀条件。

若零假设扩为 $H_0:p\le 1/2$，可定义

二项右尾概率随 $p$ 增加，故上确界在边界 $p=1/2$ 达到，数值仍为 $11/1024$。这一步不是随意“代入最接近的零值”，而是证明整个复合零假设上的最坏尾概率；若统计量不具单调性，最不利参数未必在边界。

边界与失败情形 ​

$p=0.03$ 不表示零假设有 $3\mathrm{\%}$ 概率为真，也不表示重复实验有 $97\mathrm{\%}$ 会复制结论。它只校准当前统计量在指定零模型下的尾部位置。

大 p 值不是零效应证据。样本量不足时，广泛的备择值都可能产生不极端的数据；要支持实际等价，应使用预设容忍区间的等效性检验或报告有精度保证的置信区间公理库置信区间Confidence interval · Confidence set由样本决定、在重复抽样下以规定概率覆盖固定参数目标的随机集合。。

可选停止会破坏固定样本校准。若每收一批数据就计算普通 p 值并在首次小于 $0.05$ 时停止，最终误拒概率可能远超 $5\mathrm{\%}$。顺序检验需要专门的停止规则、alpha spending 或 anytime-valid p 值。

多重检验中，即使每个 p 值单独有效，选择最小值再与 $0.05$ 比较也不控制总体错误。Bonferroni、闭合检验或 FDR 方法改变的是多重决策规则，而非把原始 p 值重新解释为后验概率。

连续模型和嵌套 level 检验下，p 值是对全部显著性阈值的紧凑编码。置信集合—检验对偶公理库置信集合与检验的对偶Confidence set and test duality · Test inversion逐参数反演 level 检验得到覆盖置信集合，并由置信集合反构造点零假设检验。反演同一检验族：参数值 ${\theta }_0$ 被 $1-\alpha$ 置信集包含，当且仅当针对 $H_0:\theta ={\theta }_0$ 的 p 值大于 $\alpha$，前提是检验方向和模型一致。

同时检验多个假设时，单个有效 p 值必须交给族错误率控制公理库多重检验与族错误率Multiple testing · Familywise error rate · FWER同时检验多个假设时至少一次错误拒绝的概率及其 Bonferroni、Holm 控制。或 FDR 程序；按数据到达过程持续查看时，则要使用序贯检验公理库序贯概率比检验Sequential probability ratio test · SPRT累积简单假设似然比并在越过上下边界时停止的序贯检验。或其他 anytime-valid 校准。两种场景改变的是联合决策规则，不能靠重新描述同一个固定样本 p 值解决。

报告 p 值时应同时给出统计量、检验方向、样本量、效应估计与不确定区间。这样能区分“统计上不协调”“效应有多大”和“估计有多精确”三个不同问题。