统计与数值误差预算

“计算误差比统计误差小”必须比较同一种单位。准则差、梯度残差、参数误差和标准误各用不同标尺；曲率或逆 Jacobian 负责转换。固定一个很小的数字容差，可能在小样本过度计算，在大样本又不足以保留区间的中心。

这项预算也不能改变统计目标。如果准则估计的是错配模型的伪真参数，数值精确只意味着更准确地求出那个参数，不意味着模型偏差消失。

一致性的容差不足以保护正态中心 ​

取 $X_i\sim N(\mu ,1)$ 独立同分布，$M_n(\theta )=\frac{1}{2n}\sum _i(X_i-\theta {)}^2$。精确解为 $\overline{X}$，曲率恒为1。若返回 ${\tilde{\theta }}_n=\overline{X}+n^{-1/4}$，则准则差恰为 $r_n=1/(2\sqrt{n})\to 0$，所以计算输出仍一致。

但其标准化误差为 $\sqrt{n}(\overline{X}-\mu )+n^{1/4}$，偏移发散，围绕该输出使用通常标准误 $1/\sqrt{n}$ 的固定水平区间覆盖趋于零。若偏移改为 $c/\sqrt{n}$，准则差恰为 $c^2/(2n)$，标准化极限为 $N(c,1)$。这说明 $O_P(n^{-1})$ 差也不够保证不变中心；若只凭这个 gap 上界保护同一中心，可采用小 $o$ 这一充分条件；否则需要进一步分析并把可能的偏移纳入分布。

一次可审计的停止选择 ​

仍取曲率1、标准误 $1/\sqrt{n}$。希望计算误差最多占一个标准误的 ${\tau }_n$，可要求

$n=10000$、${\tau }_n=0.01$ 时，参数误差预算为 ${10}^{-4}$，平均准则差上限为 $5\times {10}^{-9}$，平均梯度残差上限为 ${10}^{-4}$。总准则的 gap 上限则是 $5\times {10}^{-5}$。实际程序还需证明 gap 上界，例如用可行对偶下界；只把当前目标减去上一轮目标不能当成 $r_n$。

固定的 $\tau =0.01$ 给“至多百分之一标准误”的数值控制，并不字面蕴含渐近可忽略。若要沿整个样本序列保持完全相同的一阶极限，需安排 ${\tau }_n\to 0$。有限精度下若无法进一步下降，应报告当前误差预算和舍入平台，而非无限迭代。

弱识别时必须重新计算尺度 ​

令第 $n$ 个实验观察 $Y_i={\kappa }_n{\theta }_0+{\epsilon }_i$，${\epsilon }_i\sim N(0,1)$ IID，${\kappa }_n=n^{-1/4}$ 已知。平均二次准则的精确解为 ${\hat{\theta }}_n=\overline{Y}/{\kappa }_n$，曲率为 ${\mu }_n={\kappa }_n^2=n^{-1/2}$，统计标准误为 $1/(\sqrt{n}{\kappa }_n)=n^{-1/4}$。常规根号样本量方差稳定的假设在此失效，但有效尺度 $a_n=\sqrt{n}{\kappa }_n=n^{1/4}$ 仍给精确标准正态。

返回 ${\tilde{\theta }}_n={\hat{\theta }}_n+n^{-1/4}$ 时，平均梯度残差为 ${\kappa }_n^2{n}^{-1/4}=n^{-3/4}=o(n^{-1/2})$。它看似满足常规固定曲率下的残差要求，却恰好产生一个统计标准误的偏移。正确条件是

因为 $a_n/{\mu }_n=\sqrt{n}/{\kappa }_n$。当 ${\kappa }_n=0$ 时，数据分布完全不依赖 $\theta$，连识别都不存在；把容差继续收紧无法解决。

数据复用还会改变选择后的分布 ​

取正偶数 $n$，把 $X_i$ IID $N(\mu ,1)$ 的观测平均分成两半，得到两个独立半样本均值 $T_1,T_2$。每一个预先固定的方法都满足 $\sqrt{n/2}(T_j-\mu )\sim N(0,1)$。若看过两者后挑大的那个报告为 $T=max(T_1,T_2)$，则

不是标准正态。例如用标准正态上侧5%临界值 $z_{0.95}$ 检验，真实拒绝概率为 $1-{0.95}^2=9.75\mathrm{\%}$。这个直接计算定位了错误校准；此特例的对称双侧区间可能碰巧保持覆盖，不能由此恢复完整的标准正态枢轴。优化器即使完全精确，选择步骤仍改变了推断对象的分布。把同一数据用于选择阈值、模型或估计规则后，固定配置下的点态定理不能直接套给选出的配置；需要隔离选择、联合分析或选择后的校准。

评价算法停止状态时，应同时记录：平均还是求和准则、目标参数或对比、统计抽样单位、可用误差证书、曲率或逆界、已达到的数值阈值，以及最大迭代数或非有限值退出。求解成本由算法另行报告；本页的阈值不预言达到它需要多少步。

近似 ERM理路近似 ERM 与优化误差approximate ERM · optimization error刻画训练目标未被精确最小化时，经验次优量如何进入总体超额风险。把准则差加入总体风险界；这里则要求计算误差不改变参数的一阶分布。风险保证足够的容差可能不足以做参数区间，反之继续求解到机器精度也不修复泛化、识别或数据选择问题。

自测与答案 ​

1. 若 $a_n=\sqrt{n}$、${\mu }_n\ge 1/2$，认证平均 gap 为 $n^{-3/2}$，是否足够？答案：足够，$n{r}_n/{\mu }_n\le 2n^{-1/2}\to 0$。
2. 若只认证当前点和上轮点的目标差为 ${10}^{-12}$，能否声称 gap 已达 ${10}^{-12}$？答案：不能。缓慢变化、过小步长或舍入停滞都可能发生在远离最优处，尚缺最优值下界或有效残差误差界。