p 值

p 值问的是：若零假设中的校准分布生成数据，得到当前统计量这么极端或更极端的结果有多罕见。它把连续的证据排序压缩到 $[0,1]$，小值表示观测结果与该零模型较不协调。

它没有反转条件概率。计算的是 $P(\text{数据极端}\mid H_0)$，不是 $P(H_0\mid \text{数据})$；后者还需要备择模型与先验。p 值也不度量效应大小，相同效应在不同样本量下可得到完全不同的 p 值。

设 $X_1,\dots ,X_n$ 独立同分布于 $N(\mu ,{\sigma }^2)$，$\sigma >0$ 已知，检验 $H_0:\mu ={\mu }_0$ 对双侧备择。令

零假设下 $Z\sim N(0,1)$，观察到 $z_{obs}=2.10$ 时，双侧 p 值为

因此它会被 level $0.05$ 检验拒绝，却不会被 level $0.01$ 检验拒绝。单侧备择 $\mu >{\mu }_0$ 的 p 值约为 $0.0179$；检验方向必须在查看数据前确定，不能事后选择较小者。

离散例中，若 $X\sim \mathrm{Binomial}(10,1/2)$ 且观察到 $X=9$，检验成功率偏大时的单侧 p 值为

可能的 p 值只落在有限网格上，所以其零分布不连续均匀，但仍满足超均匀条件。

若零假设扩为 $H_0:p\le 1/2$，可定义

二项右尾概率随 $p$ 增加，故上确界在边界 $p=1/2$ 达到，数值仍为 $11/1024$。这一步不是随意“代入最接近的零值”，而是证明整个复合零假设上的最坏尾概率；若统计量不具单调性，最不利参数未必在边界。

边界与失败情形 ​

$p=0.03$ 不表示零假设有 $3\mathrm{\%}$ 概率为真，也不表示重复实验有 $97\mathrm{\%}$ 会复制结论。它只校准当前统计量在指定零模型下的尾部位置。

大 p 值不是零效应证据。样本量不足时，广泛的备择值都可能产生不极端的数据；要支持实际等价，应使用预设容忍区间的等效性检验或报告有精度保证的置信区间理路置信区间Confidence interval · Confidence set以重复抽样覆盖率校准参数区间，并从正态枢轴与二项等尾检验反演算出有限样本端点。。

可选停止会破坏固定样本校准。若每收一批数据就计算普通 p 值并在首次小于 $0.05$ 时停止，最终误拒概率可能远超 $5\mathrm{\%}$。序贯检验理路序贯概率比检验Sequential probability ratio test · SPRT累积简单假设似然比并在越过上下边界时停止的序贯检验。、alpha spending 或由e-process理路检验鞅与 e-processTest martingale · Test supermartingale · e-process · 检验上鞅区分固定时刻的 e 值与可在停时读取的证据过程，并用非负检验上鞅构造随时有效检验。构造的 anytime-valid p 值使用各自的停止与校准条件。

多重检验中，即使每个 p 值单独有效，选择最小值再与 $0.05$ 比较也不控制总体错误。Bonferroni 或闭合检验理路多重检验与族错误率Multiple testing · Familywise error rate · FWER同时检验多个假设时至少一次错误拒绝的概率及其 Bonferroni、Holm 控制。可控制族错误率，FDR 方法控制的是另一种错误指标；它们都改变联合决策规则，而非把原始 p 值重新解释为后验概率。

仅报告通过筛选的结果，还可能改变单次报告内的零分布。选择后推断理路选择后推断与截断正态校准Post-selection inference · Selective inference · 选择性推断在同一观测先被筛选再用于推断时，按选择事件重算零分布，并由截断正态枢轴得到条件有效的检验和区间。以正态观测的单侧门槛为例，重新归一化被保留的尾部质量，证明条件 p 值均匀，并计算普通单侧检验的错误率为何会从 $5\mathrm{\%}$ 变成 $10\mathrm{\%}$。

在边界约定协调的嵌套 level 检验族中，p 值是对全部显著性阈值的紧凑编码。置信集合—检验对偶理路置信集合与检验的对偶Confidence set and test duality · Test inversion逐参数反演 level 检验得到覆盖置信集合，并由置信集合反构造点零假设检验。若反演同一套“$p\le \alpha$ 时拒绝”规则，则参数值 ${\theta }_0$ 被 $1-\alpha$ 置信集包含，当且仅当针对 $H_0:\theta ={\theta }_0$ 的 p 值大于 $\alpha$。检验方向、模型与临界点约定都必须一致；连续零分布不能代替这项逐点边界约定。

报告 p 值时应同时给出统计量、检验方向、样本量、效应估计与不确定区间。这样能区分“统计上不协调”“效应有多大”和“估计有多精确”三个不同问题。