非线性嵌套 Monte Carlo

形式陈述

目标是

I=E_Y[g(Y,m(Y))],\qquad m(y)=E[Z\mid Y=y].

假设能抽取 $Y$ ，并在固定 $Y=y$ 后独立抽取 $Z\mid Y=y$ 。产生 $N$ 个独立外层情境 $Y_i$ ，每个情境内产生 $M$ 个条件IID输出 $Z_{ij}$ ；不同外层的完整随机对象相互独立。定义

\bar Z_{i,M}=\frac1M\sum_{j=1}^M Z_{ij},\quad W_{i,M}=g(Y_i,\bar Z_{i,M}),\quad \widehat I_{N,M}=\frac1N\sum_iW_{i,M}.

条件期望保证内层无偏 $E[\bar Z_{i,M}\mid Y_i]=m(Y_i)$ 并不保证 $EW_{i,M}=I$ 。记 $I_M=EW_{1,M}$ 、 $v_M=\operatorname{Var}(W_{1,M})$ ，只要二阶矩有限，由偏差—方差恒等式便有精确公式

E(\widehat I_{N,M}-I)^2=\frac{v_M}{N}+(I_M-I)^2.

还可用全方差进一步写 $v_M=E\operatorname{Var}(W_{1,M}\mid Y_1)+\operatorname{Var}(E[W_{1,M}\mid Y_1])$ ；这里第二项的条件中心是插件的条件期望，不能擅自替成 $g(Y_1,m(Y_1))$ 。

固定 $M$ ，外层大数律只保证 $\widehat I_{N,M}\to I_M$ 。把 $N$ 加到无限大，可能只是更准确地计算了错误中心。外层样本标准差除以 $\sqrt N$ 估计的是围绕 $I_M$ 的波动，不包含内层偏差。

仅有Lipschitz条件的保证

假设对所有有关的 $y,s,t$ ， $|g(y,s)-g(y,t)|\le K|s-t|$ ，且

A=g(Y,m(Y))\in L^2,\qquad q=E\operatorname{Var}(Z\mid Y)<\infty.

记 $D_M=g(Y,\bar Z_M)-A$ 。条件独立给 $E(\bar Z_M-m(Y))^2=q/M$ ，因而 $ED_M^2\le K^2q/M$ ， $|I_M-I|^2\le K^2q/M$ 。又因 $\operatorname{Var}(A+D_M)\le2\operatorname{Var}(A)+2ED_M^2$ ，得到

\operatorname{MSE}(\widehat I_{N,M}) \le\frac{2\operatorname{Var}(A)}N+\frac{2K^2q}{NM}+\frac{K^2q}{M}.

所以 $N,M\to\infty$ 足以给出 $L^2$ 一致性。若每个内层输出计一次费用、外层开销忽略，总成本 $T=NM$ ，令 $N,M$ 都为 $T^{1/2}$ 量级，得到MSE $O(T^{-1/2})$ ，也就是RMSE $O(T^{-1/4})$ ；不要混淆两个指数。

二阶光滑性为什么改善偏差阶

使用另一组明确条件： $q<\infty$ ，每个 $g(y,\cdot)$ 二次可微， $|\partial_t^2g(y,t)|\le H$ ，并有

K_0=\sup_{M\ge1}E[g(Y,\bar Z_M)^2]<\infty.

最后一个条件单独保证外层方差一致有界，不可从“二次可微”推出。一个易检查的充分条件是 $|g(y,t)|\le a(y)+c t^2$ 、 $Ea(Y)^2<\infty$ 、 $EZ^4<\infty$ ；条件Jensen给 $E\bar Z_M^4\le EZ^4$ 。另要求相关的一阶Taylor项可积，例如 $E[(\partial_tg(Y,m(Y)))^2\operatorname{Var}(Z\mid Y)]<\infty$ 即足够。

令 $e=\bar Z_M-m(Y)$ 。带积分余项的Taylor展开给

g(Y,m(Y)+e)-g(Y,m(Y))=\partial_tg(Y,m(Y))e+r,\qquad |r|\le\tfrac H2e^2.

给定 $Y$ ，线性项期望为零，故

|I_M-I|\le\frac{Hq}{2M},\qquad \operatorname{MSE}(\widehat I_{N,M})\le\frac{K_0}N+\frac{H^2q^2}{4M^2}.

取 $M\asymp T^{1/3}$ 、 $N\asymp T^{2/3}$ ，得到MSE $O(T^{-2/3})$ 、RMSE $O(T^{-1/3})$ 。这是所述插件算法及假设下的预算界，不是所有嵌套问题的复杂度下界，也不是说每个问题都必须增加 $M$ ；线性结构或无偏重写可能更快。

直觉

先平均再弯曲，与先知道真正均值再弯曲，通常得到不同中心。若外函数凸，条件Jensen说明插件往往向上偏；外层平均会使这个偏移看起来越来越稳定，不能自行把它消掉。

每个外层Y生成多个条件输出，先求内层均值再作平方；跨外层平均减小方差，但平方引入的1/M偏差单独留下 — 增加外层不能消掉固定内层偏差

旧Monte Carlo页的线性随机效应例已经解决“同一情境的多行不独立”与外层创建费用。本页新增的是非线性改变期望中心后的偏差与光滑性预算，不能把两种模型的最优内层次数混用。

例子与边界

平方条件均值：精确MSE而非只有数量级

设 $Y\sim N(0,1)$ ， $Z\mid Y=Y+\varepsilon$ ，条件噪声独立 $\varepsilon\sim N(0,1)$ 。目标 $I=E[m(Y)^2]=EY^2=1$ 。每个外层有 $M$ 个独立噪声，故 $\bar Z_M\sim N(0,1+1/M)$ 。利用正态二、四阶矩，

I_M=1+\frac1M,\qquad v_M=2\left(1+\frac1M\right)^2,

\operatorname{MSE}=\frac{2(1+1/M)^2}{N}+\frac1{M^2}.

例如 $M=16$ 时，无论外层增加多少，中心都停在 $17/16$ ；外层MCSE趋零也不能证明接近真实目标1。固定 $T=NM=4096$ 次内层调用，三种整除预算为：

内层 $M$	外层 $N$	精确MSE
8	512	$337/16384\approx0.020569$
16	256	$417/32768\approx0.012726$
32	128	$1153/65536\approx0.017593$

增加内层减少偏差，却减少可负担的外层情境。把 $N=T/M$ 代回，MSE为 $2(M+2+1/M)/T+M^{-2}$ ；连续最优点满足 $M^3-M=T$ ，本例约16.0208，所以16是很合适的可实施选择。这里没有声明它是所有可变配额或所有估计器中的最优规则。

非光滑处确实可能只有 $M^{-1}$ 的偏差平方

令 $Y$ 为常量、 $Z\sim N(0,1)$ ， $g(t)=|t|$ 。真实目标 $|EZ|=0$ ，但

E|\bar Z_M|=\sqrt{\frac{2}{\pi M}},\qquad \operatorname{MSE}(\widehat I_{N,M}) =\frac{1-2/\pi}{NM}+\frac{2}{\pi M}.

绝对值是1-Lipschitz，却在目标均值零处不可微；偏差平方确为 $M^{-1}$ ，不能无条件升级为 $M^{-2}$ 。本例外层本来没有情境波动，因而不是一般 $N\asymp M$ 分配的最优性例子，只用于证明光滑性边界。

非线性不等于无法无偏化

对平方目标，只要能在同一 $Y$ 下抽两个独立条件副本 $Z^{(1)},Z^{(2)}$ ，便有

E[Z^{(1)}Z^{(2)}\mid Y]=m(Y)^2.

因此每个外层用乘积而非单个均值的平方，可得到无偏估计；乘积二阶可积时，普通外层MC具有 $O(T^{-1})$ MSE。在高斯例中， $E[Z_1^2Z_2^2]=E(Y^2+1)^2=6$ ，所以乘积方差为5。 $T=4096$ 时用2048个独立外层乘积，方差为 $5/2048\approx0.002441$ ，明显小于上面的插件方案。

这不是用 $Z^2$ 替代 $Z^{(1)}Z^{(2)}$ ；后者必须条件独立。任意 $g$ 也未必允许有限个副本给出无偏重写。对高阶多项式可用更多条件独立副本的乘积，代价和矩条件随阶数增长；这种条件内的乘积构造与高阶U投影有关，但不能把共享外层情境的所有输出当成总体IID。

推论与应用

使用正确的误差条和冻结预算

固定 $M,N$ 后，从 $N$ 个独立 $W_{i,M}$ 计算样本方差 $s_W^2$ ， $s_W/\sqrt N$ 只估计模拟波动。若有可信的偏差界 $b_M$ ，可将近似正态区间加宽为

\widehat I_{N,M}\pm\left(z_{1-\eta/2}\frac{s_W}{\sqrt N}+b_M\right).

这个写法明确把概率波动与偏差上界相加；它的正态覆盖仍需CLT适用，不能把 $b_M$ 当独立方差后平方相加。若没有偏差上界，必须报告“围绕插件中心的MCSE”，并通过理论、独立预算比较或可验证的无偏改写处理目标偏差。

若每个外层另花费用 $a$ 、每个内层花 $b$ ，总费用是 $N(a+bM)$ ，应代回当前非线性MSE重做分配。在先导数据上估常数、冻结正式 $M,N$ 后再跑，较容易保持本文独立单元；共享内层随机数跨外层、按已观察结果自适应选择 $M$ 或筛掉内层失败样本，都要重新分析联合分布和选择偏差。

迁移练习

若 $g(y,t)=a(y)t+c(y)$ 且相关项可积，塔式性质使任意固定 $M$ 都无偏，内层增加主要影响方差。若 $g(t)=\log t$ ，只知道 $t>0$ 不够使用上面的统一二阶导界，因为 $|g''(t)|=t^{-2}$ 在零附近无界；还应确认内层均值为正，并控制其靠近零的概率与相应矩。将一个无偏似然估计取对数后宣称仍无偏，正是本页要防止的错误。

参考资料

Tom Rainforth, Rob Cornish, Hongseok Yang, Andrew Warrington, Frank Wood，On Nesting Monte Carlo Estimators，PMLR 80，2018，4267–4276，§3、Theorems 1–3及§4.1、§4.4。本文为单层嵌套写出可直接验证的充分条件与自含证明，并独立计算高斯平方和绝对值例，不将一般界冒充最优下界。
内层条件化、MSE恒等式和线性情境费用分别复用条件期望、偏差方差及Monte Carlo旧页。

形式陈述 ​

仅有Lipschitz条件的保证 ​

二阶光滑性为什么改善偏差阶 ​

平方条件均值：精确MSE而非只有数量级 ​

非光滑处确实可能只有 M−1 的偏差平方 ​

非线性不等于无法无偏化 ​

使用正确的误差条和冻结预算 ​

迁移练习 ​

反向链接