第一/第二类错误与检验功效

第一类错误控制“误报”，第二类错误描述“漏报”。把拒绝阈值调得更苛刻通常减少误报，却增加邻近备择下的漏报；固定样本量和重叠分布下，二者不能同时任意小。增加信息量、改善测量噪声或把备择推得更远，才可能整体改善权衡。

功效曲线比一个数字更完整：它显示检验对每个真实参数有多大概率发现偏离。若功效函数在边界连续，靠近零假设边界时的功效会接近该边界的拒绝概率，后者至多为 $\alpha$，未必恰等于 $\alpha$。例如永不拒绝的检验满足任意水平约束，功效却恒为零。是否随效应增大而提高，还取决于模型和拒绝规则。

设 $X_1,\dots ,X_n$ 独立同分布于 $N(\mu ,{\sigma }^2)$，$\sigma$ 已知，检验

level-$\alpha$ 的单侧 $z$ 检验在

时拒绝，其中 $z_q$ 是标准正态分布函数 $\mathrm{\Phi }$ 的 $q$ 分位数。在 $\mu ={\mu }_0$ 时拒绝概率恰为 $\alpha$；对更小的 $\mu$，统计量整体左移，拒绝概率更低，因此该规则确实控制整个复合零假设。若真实均值为 $\mu$，则 $Z\sim N(\sqrt{n}(\mu -{\mu }_0)/\sigma ,1)$，故功效为

取 $\alpha =0.05$、$n=25$、$\sigma =1$，并考察 $\mu -{\mu }_0=0.5$。因 $z_{0.95}\approx 1.645$，功效约为

第二类错误概率约 $0.196$。若样本量降到 $n=4$，功效变为 $1-\mathrm{\Phi }(0.645)\approx 0.259$；显著性水平没变，发现同一效应的能力却显著下降。

对每个固定 $\mu >{\mu }_0$，当 $n\to \mathrm{\infty }$ 时上式功效趋于一，这叫点态一致性。但若备择也随样本量逼近边界，如 ${\mu }_n={\mu }_0+c/\sqrt{n}$，功效保持为 $1-\mathrm{\Phi }(z_{1-\alpha }-c/\sigma )$，不会趋于一。声称“样本足够大一定检出”时，必须说明效应是否固定以及收敛对哪些参数一致。

边界与失败情形 ​

$\alpha$ 与 $\beta$ 不是互补概率，因为它们在不同参数集合下计算。只有固定某个备择参数时，功效与该点的第二类错误相加为一；不能写成“第一类错误加第二类错误等于一”。

观测到显著结果后，不能说“犯第一类错误的概率是 $5\mathrm{\%}$”。频率保证是在假设固定、数据重复生成前对事件的概率陈述；给定本次数据后零假设真假的概率需要先验与 Bayesian 模型。

事后功效把观测效应代回功效公式，通常只是 p 值的变形，不能弥补设计阶段未做的样本量规划。规划应针对科学上有意义的效应范围、方差与预期丢失率预先计算。

模型误设可能同时破坏两类错误计算。比如把相关观测当独立会低估标准误，使实际第一类错误高于名义值；更高的“功效”可能只是阈值错误，而非信息增加。

给定目标功效 $1-\beta$ 和最小相关效应 $\mathrm{\Delta }>0$，上述已知方差正态模型中可从功效公式解出样本量条件

例如沿用 $\sigma =1,\mathrm{\Delta }=0.5,\alpha =0.05$，目标功效为 $0.8$，取 $z_{0.8}\approx 0.842$，右侧约为 $24.74$，故向上取整需 $n=25$。该公式明确显示样本量随噪声方差增长、随效应平方反比增长；它依赖已知方差与正态模型，实际设计需为估计方差和失访留余量。

若预设任务是排除某一侧超过允许损失的差异，非劣性检验仍可用本页的单侧边界和功效推导。若要求差异同时位于两个边界内，则TOST理路等效性检验与双单侧TOSTEquivalence test · Two one-sided tests · TOST · 双单侧等效检验将预设等效区间外的复合零假设拆成两个单侧检验，证明无需Bonferroni的整体校准、等尾区间包含规则与共享尺度下的真实功效。计算两个条件共同通过的概率；对称边界、真效应为零时，样本量公式改用$z_{1-\beta /2}$。未知方差时，两侧还共享同一样本尺度，不能把边缘功效简单相乘。

ROC 曲线通过改变阈值展示真阳性率与假阳性率的权衡，但它遍历多个 level；选定实际阈值仍需结合错误损失理路估计量、决策规则与风险Estimator and decision rule · Statistical risk从观测到行动的可实施规则，以及在逐参数、Bayes 与最坏情形量词下的期望损失。和目标人群的分布。简单假设下的最优功效边界由Neyman–Pearson 引理理路Neyman–Pearson 引理Neyman–Pearson lemma简单零假设对简单备择下，给定显著性约束时似然比阈值检验具有最大功效。给出。