统计假设检验

检验先承诺控制一种错误：当零假设中任一分布生成数据时，错误拒绝的概率不超过 $\alpha$。然后在这个约束下争取对备择参数有较高拒绝概率。它不是给两个假设计算“相信程度”，而是设计一条重复使用时具有频率保证的决策规则。

在 $\theta \in {\mathrm{\Theta }}_0$ 时，${\beta }_{\phi }(\theta )$ 是第一类错误概率；在 $\theta \in {\mathrm{\Theta }}_1$ 时，$1-{\beta }_{\phi }(\theta )$ 才是第二类错误概率。同一条功效曲线横跨两种解释，因此一个较小的 level 并未同时保证较小的漏检率。

复合假设中的上确界不可省略。只在某个方便的零参数点满足 $5\mathrm{\%}$ 拒绝率，并不能保证整个零假设都受控；最不利参数可能在边界或内部另一处。

设 $X_1,\dots ,X_{10}$ 独立 Bernoulli$(p)$，检验

令 $S=\sum _i{X}_i$，采用拒绝域 $S\ge 9$。由于 $P_p(S\ge 9)$ 随 $p$ 单调增加，零假设上的最坏点是 $p=1/2$，故 size 为

它是 level-$0.05$ 检验，但较保守。若拒绝域改为 $S\ge 8$，size 为

已超过 $0.05$。可在 $S=8$ 时以适当概率随机拒绝，使 size 精确达到 $0.05$；随机化是离散样本空间中填补概率跳跃的数学工具。

这里单调性也可以直接看见：用同一组独立 $U_i\sim \mathrm{Unif}(0,1)$ 构造 $X_i(p)=\mathbf{1}\{U_i\le p\}$，则 $p$ 增大时成功数逐样本不减，因此这些上尾拒绝规则的拒绝概率不减。

具体地，保留 $S\ge 9$ 时必拒绝，并在 $S=8$ 时以概率

拒绝。于是边界参数 $p=1/2$ 下总拒绝率恰为 $0.05$。在备择 $p=0.8$ 下，此规则功效是 $P_{0.8}(S\ge 9)+\gamma P_{0.8}(S=8)\approx 0.646$，所以即使真实成功率达到 $0.8$，仍有约 $35.4\mathrm{\%}$ 的漏检概率。这个数把控制误报与发现效应的能力明确分开。

规则的随机币必须独立于样本且预先规定；观察到 $S=8$ 后再凭研究者判断是否拒绝，不是这一可复现的随机化检验。

边界与失败情形 ​

“未拒绝 $H_0$”不等于证明或接受 $H_0$。它只表示当前数据没有越过这条按第一类错误校准的拒绝边界；样本量小或备择接近零假设时，检验可能缺乏功效。

检验必须在看数据前固定规则或完整选择流程。先尝试许多统计量、只报告最显著者，却仍按单次检验的 $\alpha$ 解释，会使真实 size 膨胀。选择、停止和多重比较都必须进入概率计算。

显著性不等于实际重要性。样本量很大时，极小效应也可能稳定拒绝精确零假设；效应大小与不确定性应另外报告。反之，未显著也不能推出效应为零。

检验结论依赖模型。若独立性、分布族或抽样机制不成立，名义 level 未必等于真实错误上界；稳健标准误或置换方法也各有自己的有效条件。

具体检验必须与假设结构匹配。似然比检验理路似然比检验Likelihood ratio test · Generalized likelihood ratio test以受限模型和完整模型的最大似然之比衡量零假设对数据的相对解释能力。适合给定参数模型并能比较受限与完整似然上确界的场景；序贯概率比检验理路序贯概率比检验Sequential probability ratio test · SPRT累积简单假设似然比并在越过上下边界时停止的序贯检验。针对两个简单假设边观测边停止；置换检验理路置换检验Permutation test · Randomization test利用零假设下数据对一组变换的分布不变性，构造有限样本精确检验。依赖零假设下的交换性，以重排分布校准有限样本显著性；卡方拟合优度检验理路卡方拟合优度检验Chi-square goodness-of-fit test · Pearson chi-square test比较分类观测计数与零模型期望计数，并用渐近卡方律校准偏差。比较分类计数与指定概率，并依赖期望频数足够大时的渐近近似。它们都实现拒绝规则，但样本时序、模型假设与校准来源不同。似然比或 Pearson 统计量若只用渐近参考分布定阈值，得到的是相应渐近 level 声明；要承诺本页的有限样本上界，还须另有有限样本校准。

对于完全指定的连续分布，Kolmogorov–Smirnov 检验理路Kolmogorov–Smirnov 检验Kolmogorov-Smirnov test · KS test以经验分布和预先指定连续分布之间的最大垂直距离检验拟合，并区分精确均匀校准、有限样本保证与 Brownian 桥近似。比较最大 CDF 偏差，Cramér–von Mises 检验理路Cramér–von Mises 检验Cramer-von Mises test · Cramér-von Mises statistic将经验分布与指定总体分布之间的平方误差按总体概率累积，得到有精确有序值公式的整体拟合优度统计量。累积概率坐标上的平方误差。它们在连续简单原假设下可用均匀样本校准；若参数先由同一批数据拟合，参考分布必须相应重建。

简单零假设对简单备择下，Neyman–Pearson 引理理路Neyman–Pearson 引理Neyman–Pearson lemma简单零假设对简单备择下，给定显著性约束时似然比阈值检验具有最大功效。说明在固定 level 内，似然比阈值检验具有最大功效。复合备择通常不存在对所有参数同时最强的检验，需要不变性、单调似然比或局部最优等附加结构。

检验可看作统计决策规则理路估计量、决策规则与风险Estimator and decision rule · Statistical risk从观测到行动的可实施规则，以及在逐参数、Bayes 与最坏情形量词下的期望损失。：行动为拒绝或不拒绝，损失按真实假设与行动赋值。p 值理路p 值p-value在零假设下校准的证据统计量，其小值事件的概率不超过对应阈值。编码观测统计量在整族 level 中的位置，置信集合反演理路置信集合与检验的对偶Confidence set and test duality · Test inversion逐参数反演 level 检验得到覆盖置信集合，并由置信集合反构造点零假设检验。则把 size 控制转成覆盖率保证。

固定两种相邻输入的输出分布后，最能暴露隐私差异的事件是似然比超过阈值的区域。隐私损失分布核算理路隐私损失分布核算Privacy loss distribution · PLD accounting把有序相邻输出分布的似然比推前为隐私损失分布，通过超额质量积分而非单纯尾概率计算 delta。对这个区域积分 $p-e^{\epsilon }q$ 的正部，得到 DP 所需的最小加法松弛。它与检验拒绝区域的概率有关，却不是单纯的 $P[L>\epsilon ]$，后者通常是较松的充分上界。