Argmin 一致性定理

总体准则在目标附近留下一个低谷。只要离目标一段固定距离就必须付出正的高度代价，小幅度的随机扰动和小幅度的优化误差便不能把近似最低点搬到那里。证明只比较高度，不需要知道最低点两侧的导数。

唯一性何时足以给分离 ​

若 $\mathrm{\Theta }$ 紧，$M$ 下半连续，且 ${\theta }_0$ 是唯一极小点，则对每个 $\epsilon$，集合 $\{d(\theta ,{\theta }_0)\ge \epsilon \}$ 为紧集。非空时 $M$ 在该集达到最小值；唯一性使这个值严格大于 $M({\theta }_0)$，从而得到分离。紧性在这里阻止一列越来越远的点悄悄达到几乎相同的高度。

非紧空间也能应用开头的定理，前提是直接验证全空间分离与一致逼近。若只能在紧集上证明一致逼近，则还须先定位估计量：对每个 $\eta >0$，找到含 ${\theta }_0$ 的确定紧集 $K_{\eta }$，满足 $\underset{n}{lim sup}P({\hat{\theta }}_n\notin K_{\eta })\le \eta$，并在该集合上验证分离和一致逼近。前面的证明给出距离事件的极限上界为 $\eta$，最后令 $\eta \downarrow 0$。不能只写“取一个足够大的紧集”而不证明这项概率控制。

二次目标把高度预算转为距离预算 ​

设 $M(\theta )=(\theta -2{)}^2$，$\mathrm{\Theta }=[0,4]$。对 $0<\epsilon \le 2$，$\mathrm{\Delta }(\epsilon )={\epsilon }^2$。若某次样本中 $U_n\le 0.01$，求解器已认证 $r_n\le 0.005$，则

这是在明确好事件上成立的确定不等式。若两个输入只有概率保证，最终保证应附上它们同时成立的概率；数值0.1581本身不是一个无条件的置信半径。

逐点收敛漏掉移动的深坑 ​

令 $\mathrm{\Theta }=\mathbb{R}$，$M(\theta )={\theta }^2$，并定义确定函数

对每个固定 $\theta$，从某个 $n$ 起都有 $M_n(\theta )=M(\theta )$，所以逐点收敛甚至最终完全相等。然而唯一极小点是 ${\hat{\theta }}_n=n$，它逃向无穷。缺少的正是同时控制所有 $\theta$ 的条件2；对每个固定点逐个应用大数律无法排除由数据或样本量挑出的坏点。

一致逼近也不能替代分离 ​

令 $M_n=M$，且

${\theta }_0=0$ 是唯一极小点，随机逼近误差恒为零。但取 ${\hat{\theta }}_n=n$、$r_n=M(n)\to 0$，它完全满足近似极小要求，却不一致。这里 $\mathrm{\Delta }(\epsilon )=0$：远处的函数值无限逼近零。这个例子隔离了总体几何的失效，而非把所有问题都归结为“样本不够多”。

参数化一致大数律理路参数化一致大数律Parametric uniform law of large numbers用紧参数集和可积随机 Lipschitz 界，把逐点大数律提升为同一样本上的全参数控制。给出条件2的一种可核查实现；它控制整个候选参数集，而不是仅在未知真值处控制。若模型可能错配，分离点可能是伪真参数理路伪真参数与错配目标Pseudo-true parameter在真实分布不属于工作模型时，明确准则实际收敛的目标，并分开目标偏差、抽样方差和数值误差。，定理仍适用，但“对准则目标一致”不能改写成“对科学目标无偏”。

一致性只要求 $r_n=o_P(1)$。希望近似解保持精确估计量的一阶正态分布，则通常要在局部曲率下进一步要求平均准则差 $o_P(n^{-1})$，见统计与数值误差预算理路统计与数值误差预算Statistical and numerical error budget将样本量、局部曲率与求解残差联动，判定近似算法是否保留目标估计量的一阶推断。。这两个要求服务不同结论。

自测与答案 ​

1. 若 $U_n=O_P(n^{-1/2})$、$r_n=O_P(n^{-1})$ 且总体满足 $M(\theta )-M({\theta }_0)\ge c\Vert \theta -{\theta }_0{\Vert }^2$，上面的全局比较给出什么参数率？答案：$O_P(n^{-1/4})$。这只是该粗界能推出的率，不应据此否定更精细局部理论可能给出的 $n^{-1/2}$ 率。
2. 若总体极小集合为 $S=[-1,1]$，能否证明算法总选中零？答案：不能。若对每个 $\epsilon >0$ 在 $d(\theta ,S)\ge \epsilon$ 上有正分离，完全相同的证明只给 $d({\hat{\theta }}_n,S){\to }_{P}0$；集合内的选择需要额外规则。