模拟估计与误差预算：同预算的完整核验 ​

形式陈述 ​

本单元要求交付一份可审计的模拟报告：目标是什么、每次求值如何计费、独立单元是什么、方差为何成立、算法剩余偏差在哪里。点估计一次碰巧准确不算方法优越的证据。

核心链是IID积分与MCSE理路Monte Carlo 积分Monte Carlo integration · Monte Carlo quadrature将积分改写为随机变量期望，以独立样本均值估计并用方差和概率假设量化随机误差。 → 控制变量理路控制变量估计Control variate estimator · 控制变元估计利用已知期望的相关量消去模拟波动，推导固定系数最优性，并区分同样本拟合、独立先导和交叉拟合的误差。 → 对偶抽样理路对偶抽样Antithetic sampling · Antithetic variates · 对偶变量法把同边缘的两次模拟耦合成一对，以负协方差降低均值方差，并按独立对而非输出行估计标准误。 → 共同随机数理路共同随机数Common random numbers · CRN · 公共随机数模拟让两个方案在对应的随机环境下接受比较，以配对差估计性能差异，并检查耦合符号、随机事件同步和有限差分的误差。 → 分层模拟理路分层 Monte CarloStratified Monte Carlo · Stratified simulation · 分层模拟按已知概率划分模拟域，在各条件分布内独立抽样，以固定层配额消去层间组成波动，并正确估计剩余模拟误差。 → 二阶U统计量理路二阶 U 统计量与一阶投影Order-two U-statistic and Hoeffding projection · 二阶U统计量 · Hoeffding一阶投影把所有成对核值的平均分解为单观测投影和退化余项，精确计算共享样本造成的方差，并区分根号样本量正态与退化尺度。 → Bootstrap理路BootstrapBootstrap resampling · Nonparametric bootstrap用条件重采样律近似抽样误差：完整计算均值的有限分布，证明有限方差下一致性，并由最大值的持久原子判定失败。。已经掌握某个接口可直接做对应任务，不必重读其全部证明。

按需补课只针对实际卡点：不熟悉方差中的交叉项，读协方差理路协方差Covariance两个随机变量中心化乘积的期望，衡量线性共同变化。；不清楚“冻结数据”后什么仍随机，读条件期望理路条件期望Conditional expectation以信息分组的加权平均建立条件期望直觉，再连接测度定义、最小均方预测、塔式性质和可计算反例。和全方差理路全期望公式与全方差公式Law of total expectation · Law of total variance · Iterated expectation借助条件信息分解总体均值，并把总波动拆成组内与组间两部分。；不清楚为何方差有限还只给渐近区间，读中心极限定理理路中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。。

以下固定预算均以昂贵目标函数调用计。第一题的控制量就是已经生成的输入，不另收一次目标调用。随机流、控制系数和分层配额事先确定，未对一次结果挑最好的方法。

直觉 ​

方法可以改写单次贡献、改写联合分布或固定各类样本的数目；误差公式必须随之改变。模拟数据表的每行都能打印一个数，但真正独立的对象可能是一对、一个外层情境，或者整个独立重复运行。

因此报告至少有两张账：一张记调用数、样本行数和独立单位；另一张记目标偏差、统计抽样误差、模拟误差和数值误差。把其中任何两种数量混为一谈，都会导致看似漂亮却无法解释的标准误。

例子与边界 ​

任务一：240次调用怎样比较 ​

估计 $I={\int }_0^1{u}^{2}du$。比较普通IID均值、已知最优系数的 $Z=U$ 控制变量、$(U,1-U)$ 对偶抽样、左右半区的等额分层、左右半区配额 $(60,180)$ 分层。写出期望、方差、独立单位和MCSE的估计对象。

答案从 $E{U}^k=1/(k+1)$ 出发。所有正确加权的估计量都无偏，目标 $1/3$。普通单点方差 $4/45$；$\mathrm{Cov}(U^2,U)=1/12$、$\mathrm{Var}(U)=1/12$，所以控制系数1，残差方差 $1/180$。对偶的输出协方差 $-7/90$，一对均值方差也为 $1/180$，却耗两次调用。分层两侧条件均值 $1/12,7/12$，条件方差 $1/180,17/360$。

方法	独立贡献及配额	240次调用下的理论方差	MCSE的估计方式
IID	240个单点输出	$1/2700$	单点样本方差除以240，再开方
已知系数控制变量	240个调整值	$1/43200$	调整值样本方差除以240，再开方
对偶抽样	120个对均值	$1/21600$	对均值样本方差除以120，再开方
等额分层	两层各120点	$19/172800$	$\sqrt{(s_1^2/120+s_2^2/120)/4}$
不等额分层	两层60、180点	$23/259200$	$\sqrt{(s_1^2/60+s_2^2/180)/4}$

改善倍数用方差相除：控制变量16倍、对偶8倍、等额分层 $64/19$ 倍，不等额分层 $96/23$ 倍。最后一个配额是近最优整数方案，本文没有把它称为全体整数配额的精确最优解。分层的所有240个条件样本相互独立，但跨层不同分布；不能抹去层标识后直接用普通IID样本方差。

任务二：方法叠加不一定让收益相乘 ​

先对 $U^2$ 使用最优控制量，单次调整值 $R(U)=U^2-U+1/2$。再用对偶输入 $(U,1-U)$，能否把16倍收益再乘8倍？

不能。$R(1-U)=R(U)$，同一对没有新的抵消，反而在相同240次目标调用预算下只留下120个独立调整值。组合方差为 $1/21600$，是单独控制变量的两倍。各方法的收益来自消除特定波动成分；前一步已消掉反对称线性成分后，后一步的负相关来源已经不在。

再把目标改成 ${\int }_0^1{u}^{3}du$，作为结构迁移。$\mathrm{Var}(U^3)=9/112$、$\mathrm{Cov}(U^3,U)=3/40$，所以最优控制系数 $9/10$，残差方差 $9/700$。对偶均值为 $(1-3U+3U^2)/2$，单对方差 $1/80$。在 $N$ 次目标调用下，三种方差分别为 $9/(112N)$、$9/(700N)$、$1/(40N)$。控制变量改善 $25/4$ 倍，对偶改善 $45/14$ 倍，原来的16与8并非方法自带常数。

任务三：拟合系数用了哪份资料 ​

只给两个IID均匀输入，以含截距回归拟合 $U^2$ 对 $U$ 的斜率，再代回控制估计。为什么训练残差为零却不能报告零误差？若改成两个独立先导点及238个新主样本，240次总调用下的真实方差是什么？

同样本斜率为 $U_1+U_2$，最终估计为 $(U_1+U_2)/2-U_1{U}_2$，期望 $1/4$，偏差 $-1/12$。训练拟合只通过两个已观察点，没有控制未知期望的误差。独立先导则冻结斜率后使用新样本，条件无偏；$E({\hat{b}}_0-1{)}^2=1/6$，故无条件方差为 $7/(360\cdot 238)$，约0.00008170。此数已经包含先导系数的波动，不等于已知最优系数的 $1/43200$。

交叉拟合可在每折用其他折训练，保持该控制项的有限样本无偏（需可积）；但折间训练集重叠，不能把折估计量当独立。一般正交得分的乘积余项与条件化证明见交叉拟合与正交得分理路交叉拟合与正交得分Cross-fitting and orthogonal score逐折隔离 nuisance 拟合，并用条件化与乘积余项说明何时样本外得分能进行根号样本量推断。，不要把这个特殊线性控制项的精确无偏推广给所有交叉拟合程序。

任务四：比较模型时，耦合符号要反过来 ​

比较 $P(U\le 0.6)$ 与 $P(U\le 0.4)$，各方案120次调用。共同随机数差值的理论方差为 $(0.2)(0.8)/120=1/750$；完全独立运行的方差为 $(0.24+0.24)/120=1/250$。共同环境给出正协方差0.16，因此差值方差减少三倍。

若A输出 $U$，B输出 $1-U$，两者边缘仍正确，但共同输入产生负协方差。差值方差从独立基准 $1/(6m)$ 变成 $1/(3m)$，加倍。这与对偶平均的失败判据有相反符号，因为最后一步从加法变成了减法。

任务五：45个成对行意味着多少独立信息 ​

从10个独立标准正态观测生成全部45个核值 $h(X_i,X_j)=(X_i-X_j{)}^2/2$，其平均是样本方差。真实方差为 $2/9$；把45行当IID、使用单个核方差2，则错误得到 $2/45$。差别正好五倍。

独立信息仍来自10个原始观测，正态极限的主项是其一阶投影之和。若观测改成Rademacher、核改成 $xy$，一阶投影为零，正确尺度变为 $n$，极限为 $Z^2-1$。即使所有二阶矩存在，也不能拿非退化的正态标准误覆盖这个边界。

任务六：一千次bootstrap无法新增一千份数据 ​

原始数据有 $n=100$ 条。固定它们，做 $B=1000$ 次bootstrap，每次重抽100个位置，共存100000行。原始抽样信息仍只有100条；条件于这份数据，有1000个独立重采样数据集，100000行不是100000个独立原始观测。

若目标是bootstrap条件事件概率 $p^{\ast }$，频率估计的条件方差为 $p^{\ast }(1-p^{\ast })/1000$。增加 $B$ 降低的是这项模拟方差。具体设 $X_i\stackrel{\mathrm{iid}}{\sim }\mathrm{Uniform}(0,\theta )$，$\theta >0$，$M_n=\underset{i}{max}{X}_i$，$M_n^{\ast }$为从经验分布重抽 $n$ 项后的最大值。比较的真实误差是 $n(\theta -M_n)/\theta$，条件bootstrap误差是 $n(M_n-M_n^{\ast })/M_n$。普通bootstrap在零点的条件原子为

$$p_n^{\ast }=1-(1-1/n{)}^n.$$

$n=100$时它约0.6339677，而真实标准化端点误差在零点没有质量，且极限为连续指数分布。原子随 $n$ 增长趋于 $1-e^{-1}$，不消失；增加 $B$ 只能更准确地估计这个错误原子。Bootstrap页理路BootstrapBootstrap resampling · Nonparametric bootstrap用条件重采样律近似抽样误差：完整计算均值的有限分布，证明有限方差下一致性，并由最大值的持久原子判定失败。给出了完整证明，以及在Uniform模型可信时的参数修复。

任务七：三种误差怎样分别停止 ​

原始数据 $X_i\sim N(\theta ,1)$ IID，$n=100$，理想数据估计为 $T_n=\overline{X}$。模拟另外加入独立均值零、方差4的噪声平均，形成 $T_{n,N}$。实际求解输出在二次准则 $(t-T_{n,N}{)}^2/2$ 上有可认证的gap上界 $r$。

统计方差为0.01，模拟方差为 $4/N$。要求MCSE至多为统计标准误的十分之一，需要 $2/\sqrt{N}\le 0.01$，即 $N\ge 40000$。要求数值误差至多0.001，需要 $\sqrt{2r}\le 0.001$，即 $r\le 5\times {10}^{-7}$。应分别报告这两个条件；把模拟次数加大不能改善原始0.1的统计标准误，而缩小求解gap也不能增加原始信息。

若数值误差只知道绝对值上界，不知道其与其他误差的关系，就不能把 $2r$ 当独立方差相加。可用三角不等式给保守误差预算；要保持一阶推断，还应按样本量安排相对于统计尺度趋零的数值误差。完整接口见统计与数值误差预算理路统计与数值误差预算Statistical and numerical error budget将样本量、局部曲率与求解残差联动，判定近似算法是否保留目标估计量的一阶推断。。

最后考察10个独立外层情境，每个内层100次输出，$Y_{gj}=A_g+{\epsilon }_{gj}$，两种随机项方差均为1且彼此独立。1000行平均的方差是 $1/10+1/1000=0.101$，按1000行IID会误算为0.002。若保持总行数1000、改成100个情境各10次，方差降为0.011；这是固定输出行数的比较；只有外层新建成本可忽略且每行成本相同时，才是同成本比较。若每个外层另需成本 $a>0$，两种方案分别付出 $10a$ 与 $100a$，需用主页面的分配公式重新规划。

推论与应用 ​

完成报告须说明：精确目标；控制期望、条件采样器与边缘正确性的依据；原始行数与独立单元；昂贵求值和先导成本；估计值与对应MCSE；是否存在模拟偏差；统计和优化误差的单独证书；固定预算或顺序停止协议；失败运行的处理。

按需选读有三条出口。提议分布容易采样而目标不易采样时，进入重要性采样理路重要性采样Importance sampling · 重要抽样从易采样的提议分布取样，以目标和提议的密度比修正访问频率并估计目标积分。，先查覆盖和矩条件；归一化常数未知时接SNIS理路自归一化重要性采样Self-normalized importance sampling · SNIS用未归一化目标与提议的权重和估计未知归一化常数，并以归一化权重形成目标期望的比率估计量。，重新分析比值偏差；来自Markov链的输出接函数特定ESS理路Monte Carlo 有效样本量Effective sample size for Monte Carlo · Monte Carlo ESS · ESS以方差匹配把权重集中或序列相关造成的信息损失折算成理想独立等权样本数的诊断量。，不能把独立对的标准误直接套给整条相关轨道。

随机重复实验可检查计算实现，但不代替无偏性、方差和失效证明。可验证的终点是能解释每一项误差为什么存在，以及改变预算后究竟哪一项会变小。

参考资料 ​

• 本任务各题的完整条件与证明见以上链接的7页核心链。
• Art B. Owen，Chapter 8, “Variance reduction”，效率比较、控制变量、对偶、CRN与分层的基本框架；本页的240次统一预算、叠加失败和三层预算由题设直接计算。