统计假设检验

检验先承诺控制一种错误：当零假设中任一分布生成数据时，错误拒绝的概率不超过 $\alpha$。然后在这个约束下争取对备择参数有较高拒绝概率。它不是给两个假设计算“相信程度”，而是设计一条重复使用时具有频率保证的决策规则。

复合假设中的上确界不可省略。只在某个方便的零参数点满足 $5\mathrm{\%}$ 拒绝率，并不能保证整个零假设都受控；最不利参数可能在边界或内部另一处。

设 $X_1,\dots ,X_{10}$ 独立 Bernoulli$(p)$，检验

令 $S=\sum _i{X}_i$，采用拒绝域 $S\ge 9$。由于 $P_p(S\ge 9)$ 随 $p$ 单调增加，零假设上的最坏点是 $p=1/2$，故 size 为

它是 level-$0.05$ 检验，但较保守。若拒绝域改为 $S\ge 8$，size 为

已超过 $0.05$。可在 $S=8$ 时以适当概率随机拒绝，使 size 精确达到 $0.05$；随机化是离散样本空间中填补概率跳跃的数学工具。

具体地，保留 $S\ge 9$ 时必拒绝，并在 $S=8$ 时以概率

拒绝。于是边界参数 $p=1/2$ 下总拒绝率恰为 $0.05$。规则的随机币必须独立于样本且预先规定；观察到 $S=8$ 后再凭研究者判断是否拒绝，不是这一可复现的随机化检验。

边界与失败情形 ​

“未拒绝 $H_0$”不等于证明或接受 $H_0$。它只表示当前数据没有越过这条按第一类错误校准的拒绝边界；样本量小或备择接近零假设时，检验可能缺乏功效。

检验必须在看数据前固定规则或完整选择流程。先尝试许多统计量、只报告最显著者，却仍按单次检验的 $\alpha$ 解释，会使真实 size 膨胀。选择、停止和多重比较都必须进入概率计算。

显著性不等于实际重要性。样本量很大时，极小效应也可能稳定拒绝精确零假设；效应大小与不确定性应另外报告。反之，未显著也不能推出效应为零。

检验结论依赖模型。若独立性、分布族或抽样机制不成立，名义 level 未必等于真实错误上界；稳健标准误或置换方法也各有自己的有效条件。

具体检验必须与假设结构匹配。似然比检验公理库似然比检验Likelihood ratio test · Generalized likelihood ratio test以受限模型和完整模型的最大似然之比衡量零假设对数据的相对解释能力。适合给定参数模型并能构造受限与非受限极大似然的场景；序贯概率比检验公理库序贯概率比检验Sequential probability ratio test · SPRT累积简单假设似然比并在越过上下边界时停止的序贯检验。针对两个简单假设边观测边停止；置换检验公理库置换检验Permutation test · Randomization test利用零假设下数据对一组变换的分布不变性，构造有限样本精确检验。依赖零假设下的交换性，以重排分布校准有限样本显著性；卡方拟合优度检验公理库卡方拟合优度检验Chi-square goodness-of-fit test · Pearson chi-square test比较分类观测计数与零模型期望计数，并用渐近卡方律校准偏差。比较分类计数与指定概率，并依赖期望频数足够大时的渐近近似。它们都实现拒绝规则，但样本时序、模型假设与校准来源不同。

简单零假设对简单备择下，Neyman–Pearson 引理公理库Neyman–Pearson 引理Neyman–Pearson lemma简单零假设对简单备择下，给定显著性约束时似然比阈值检验具有最大功效。说明在固定 level 内，似然比阈值检验具有最大功效。复合备择通常不存在对所有参数同时最强的检验，需要不变性、单调似然比或局部最优等附加结构。

检验可看作统计决策规则公理库估计量、决策规则与风险Estimator and decision rule · Statistical risk从观测到行动的可实施规则，以及在逐参数、Bayes 与最坏情形量词下的期望损失。：行动为拒绝或不拒绝，损失按真实假设与行动赋值。p 值公理库p 值p-value在零假设下校准的证据统计量，其小值事件的概率不超过对应阈值。编码观测统计量在整族 level 中的位置，置信集合反演公理库置信集合与检验的对偶Confidence set and test duality · Test inversion逐参数反演 level 检验得到覆盖置信集合，并由置信集合反构造点零假设检验。则把 size 控制转成覆盖率保证。