控制变量估计 | Codeboy's Blog

形式陈述

设一次模拟返回实数对 $(Y,Z)$ ，目标为 $\mu=EY$ ，而控制量的期望 $m=EZ$ 已精确知道。假定 $E(Y^2+Z^2)<\infty$ ， $v_Z=\operatorname{Var}(Z)>0$ 。从同一联合分布独立产生 $n$ 对 $(Y_i,Z_i)$ ；每对内部应保留相关性。对预先固定的系数 $b$ ，Monte Carlo 均值改写为

\widehat\mu_b=\bar Y-b(\bar Z-m) =\frac1n\sum_{i=1}^n\{Y_i-b(Z_i-m)\}.

每项的期望仍为 $\mu$ ，所以固定 $b$ 不论是否最优都保持无偏。用协方差展开并配方，得到

\begin{aligned} n\operatorname{Var}(\widehat\mu_b) &=v_Y-2b\operatorname{Cov}(Y,Z)+b^2v_Z\\ &=v_Y-\frac{\operatorname{Cov}(Y,Z)^2}{v_Z} +v_Z(b-b_*)^2,\\ b_*&=\frac{\operatorname{Cov}(Y,Z)}{v_Z}. \end{aligned}

这既证明最优系数，也量出用错系数的额外损失。若 $v_Y>0$ ，最小方差为 $v_Y(1-\rho^2)/n$ 。相关系数的正负只决定 $b_*$ 的符号；并非只有正相关控制量可用。 $v_Z=0$ 时， $Z=m$ 几乎必然，控制项恒零，应删除该量而不除以零。

随机系数需要重新证明

如果 $b$ 来自另一批独立先导样本，记作 $\widehat b_0$ ，则冻结先导数据后，主样本仍是 IID，

E(\widehat\mu_{\widehat b_0}\mid\widehat b_0)=\mu,\qquad \operatorname{Var}(\widehat\mu_{\widehat b_0}\mid\widehat b_0) =\frac{v_Y-2\widehat b_0\operatorname{Cov}(Y,Z)+\widehat b_0^2v_Z}{n}.

只要上述估计量可积，条件无偏推出无偏；若 $E\widehat b_0^2<\infty$ ，全方差公式进一步给出

\operatorname{Var}(\widehat\mu_{\widehat b_0}) =\frac{v_Y-\operatorname{Cov}(Y,Z)^2/v_Z+v_ZE(\widehat b_0-b_*)^2}{n}.

先导误差并非消失了，而是变成残差方差中的可计算代价。冻结系数后，主样本残差的样本方差除以 $n$ 无偏估计条件方差；不能把先导样本也当成使用固定系数的独立主样本直接塞回去。

若同一批数据拟合

\widehat b=\frac{\sum_i(Z_i-\bar Z)(Y_i-\bar Y)}{\sum_i(Z_i-\bar Z)^2},

则 $\widehat b$ 与 $\bar Z$ 一般相关，有限样本无偏性不再跟随固定系数公式。分母为零时应采用预先约定的回退，如取 $\widehat b=0$ 并报告本次未拟合；当 $v_Z>0$ 时，该事件概率随 $n$ 增大趋零。

同样本拟合仍有清楚的一阶理论。有限二阶矩使 $YZ$ 可积，大数律给出 $\widehat b\to_Pb_*$ 。精确恒等式

\widehat\mu_{\widehat b}-\mu =(\widehat\mu_{b_*}-\mu)-(\widehat b-b_*)(\bar Z-m)

中， $\bar Z-m=O_P(n^{-1/2})$ ，所以第二项为 $o_P(n^{-1/2})$ 。对固定残差 $Y-b_*(Z-m)$ 用中心极限定理，再用Slutsky 定理，便得到相同的一阶正态极限。这里不需要把 $\widehat b$ 强行假定为无偏，也不需要假定其误差为根号样本量阶。

当最优残差方差严格为正时，可用调整后值 $R_i=Y_i-\widehat b(Z_i-m)$ 的样本方差除以 $n$ 作渐近方差估计。展开 $R_i$ 的经验二阶矩，并利用 $\widehat b\to_Pb_*$ 与 $Y^2,Z^2,YZ$ 的大数律，即得一致性；这不是有限样本无偏方差公式。若残差方差为零，普通非退化正态区间不适用，需要单独看估计量的实际代数结构。

直觉

已知 $EZ=m$ 意味着 $\bar Z-m$ 只是这一轮模拟偏离其基线的随机波动。若 $Y$ 常随 $Z$ 同向变化，就从 $\bar Y$ 扣掉相应的偏高部分；若两者反向变化，最优系数自动改成负数。最终保留下来的是 $Y$ 中无法由 $Z$ 的线性波动解释的部分。

控制量必须拥有真的已知期望。若用 $m+\delta$ 代替 $m$ ，固定系数估计量的偏差变成 $b\delta$ 。即使主样本无限增加，这一偏差也不会被平均掉。若 $m$ 本身由另一个实验估计，就应把那个实验的误差、协方差和成本写进账本。

例子与边界

对二次积分，逐项算出十六倍改善

令 $U\sim\operatorname{Uniform}(0,1)$ ， $Y=U^2$ ， $Z=U$ ， $m=1/2$ ，目标为 $1/3$ 。所有矩都可由 $EU^k=1/(k+1)$ 重算：

v_Y=\frac4{45},\qquad v_Z=\frac1{12},\qquad \operatorname{Cov}(U^2,U)=\frac14-\frac13\cdot\frac12=\frac1{12}.

因此 $b_*=1$ ，调整后单次值是 $R=U^2-U+1/2$ ，其方差为

\frac4{45}-\frac1{12}=\frac1{180}.

在相同的 $N$ 次 $U^2$ 求值预算下，原均值方差为 $4/(45N)$ ，控制变量均值方差为 $1/(180N)$ ，恰好减少16倍，标准误减少4倍。这里求值前已经有 $U$ ，额外控制量没有另一笔昂贵函数调用；若控制函数本身昂贵，必须重新比较总成本。

取四个输入 $U=(1/10,2/5,7/10,9/10)$ 。原四项平方为 $(1,16,49,81)/100$ ，平均 $147/400$ ；调整后四项为 $(41,26,29,41)/100$ ，平均 $137/400$ 。这一次距离 $1/3$ 更近只是一个算术检查。十六倍结论来自上面的分布方差，不能由单轮结果推断。

两个点拟合恰好，却产生可算的偏差

仍用 $Y=U^2,Z=U$ ，但只有两个 IID 输入 $U_1,U_2$ ，并用同样本含截距回归拟合斜率。除概率为零的相等事件外，

\widehat b=U_1+U_2,\qquad \widehat\mu_{\widehat b}=\frac{U_1+U_2}{2}-U_1U_2.

于是 $E\widehat\mu=1/2-1/4=1/4$ ，与目标 $1/3$ 相差 $-1/12$ 。两点回归的训练残差均为零，但估计量仍随机且有偏。把训练残差的零值解释成“积分已精确求出”，同时犯了数据复用和自由度两种错误。

若改用独立的两个先导点拟合， $\widehat b_0=U_1^{(0)}+U_2^{(0)}$ 满足 $E(\widehat b_0-1)^2=1/6$ 。再用 $n$ 个全新主样本，估计仍无偏，而其方差为

\frac1n\left(\frac1{180}+\frac1{12}\cdot\frac16\right)=\frac7{360n}.

总共消耗 $n+2$ 次目标求值。与总预算 $N=n+2$ 的普通均值比较，应使用 $7/[360(N-2)]$ ，而非偷用 $1/(180N)$ 的已知最优系数结果。先导很小也能有收益，但最优系数的不确定性和先导成本都是真实的。

系数选错，已知期望也不能保证改善

同一例若固定 $b=3$ ，残差方差为 $1/180+4/12=61/180$ ，大于原来的 $16/180$ 。配方还给出准确改善区间： $|b-1|<1$ ，即 $0<b<2$ 时严格改善；两个端点与原方差相同。存在一个好控制量，不等于任意控制强度都好。

推论与应用

交叉拟合可以回收样本，但不创造各折独立

沿用交叉拟合的训练与评价隔离协议，事先把 $n$ 个索引分成固定的 $K\ge2$ 个非空折 $I_k$ 。在 $I_k$ 之外估计 $\widehat b_{-k}$ ，然后只在该折计算

\widehat\mu_{CF}=\sum_{k=1}^K\frac{n_k}{n} \left[\bar Y_k-\widehat b_{-k}(\bar Z_k-m)\right].

冻结该折训练数据后， $\widehat b_{-k}$ 固定，而留出样本仍独立于它。因此在各项可积时，每折期望为 $\mu$ ，加权后有限样本无偏。这一论证适用于已知 $m$ 的线性控制项；并不是所有带交叉拟合的估计量都有限样本无偏。

两个折的估计值通常不独立，因为一折数据也参与另一折系数训练。不能把每折条件方差相加并宣布获得精确总方差。固定 $K$ 、 $n_k/n$ 有正极限且每个 $\widehat b_{-k}\to_Pb_*$ 时，逐折误差是 $o_P(1)O_P(n_k^{-1/2})$ ；有限求和后与固定 $b_*$ 全样本估计量之差为 $o_P(n^{-1/2})$ 。这才提供相应的一阶方差依据。

执行与成本

运行前确定控制量期望的来源、系数协议、先导大小或折索引，以及总目标函数调用预算。固定系数或独立先导后，对主样本逐对生成 $(Y_i,Z_i)$ ，更新调整值的均值与平方差；在线存储为 $O(1)$ ，总累加为 $O(n)$ 。标量拟合也只需均值、方差、协方差的累加；交叉拟合可用总和减各折和构造训练矩，固定折数下为 $O(n+K)$ 累加，但通用学习型控制量的训练成本应另计。

以固定预算结束最容易解释。若按估计标准误停止，沿用 Monte Carlo 页的顺序覆盖警告；达到最大预算但未达精度应报告未达标。非有限函数值、错误的控制期望或病态拟合不能靠静默删行处理。对有限方差或可积性尚无依据的方案，不应先打印一个很小的数字就把它称为可信 MCSE。

两个自测可检查数据角色。其一，若 $Y=2Z+7$ 且 $EZ=m$ 已知，固定 $b=2$ 后每项都等于 $2m+7$ ，所以方差为零。其二，若 $m$ 被误填为 $m+0.01$ ，同一程序恒返回 $2m+7.02$ ：增加模拟次数不能减少 $0.02$ 的系统偏差。

参考资料

Art B. Owen，Monte Carlo Theory, Methods and Examples, Chapter 8，在线章页码28–32，§8.9、式(8.29)–(8.34)。所阅PDF页脚含2009–2013、2018；固定系数与估计系数须分开解释。
Peter W. Glynn 与 Roberto Szechtman，“Some New Perspectives on the Method of Control Variates”，2002，§2、Theorem 1（所阅PDF第6–7页）：一致估计控制系数的一阶理论。本文的二点偏差、独立先导损失和固定折条件化在正文直接计算。

形式陈述 ​

随机系数需要重新证明 ​

对二次积分，逐项算出十六倍改善 ​

两个点拟合恰好，却产生可算的偏差 ​

系数选错，已知期望也不能保证改善 ​

交叉拟合可以回收样本，但不创造各折独立 ​

执行与成本 ​

反向链接