全期望公式与全方差公式

形式陈述 ​

设 $X$ 是可积随机变量，$\mathcal{G}$ 是底层概率空间的子 $\sigma$-代数。全期望公式为

$$\mathbb{E}[\mathbb{E}(X\mid \mathcal{G})]=\mathbb{E}X.$$

更一般地，若 $\mathcal{H}\subseteq \mathcal{G}$，则条件期望公理库条件期望Conditional expectation相对于子 σ-代数可测并保持其事件上积分的随机变量。满足塔式性质

$$\mathbb{E}[\mathbb{E}(X\mid \mathcal{G})\mid \mathcal{H}]=\mathbb{E}(X\mid \mathcal{H})\text{几乎处处}.$$

若进一步 $X\in L^2$，则条件方差

$$\mathrm{Var}(X\mid \mathcal{G})=\mathbb{E}[(X-\mathbb{E}[X\mid \mathcal{G}]{)}^2\mid \mathcal{G}]$$

是一个 $\mathcal{G}$-可测随机变量，并有全方差公式

$$\mathrm{Var}(X)=\mathbb{E}[\mathrm{Var}(X\mid \mathcal{G})]+\mathrm{Var}(\mathbb{E}[X\mid \mathcal{G}]).$$

该式来自恒等分解 $X-\mathbb{E}X=(X-\mathbb{E}[X\mid \mathcal{G}])+(\mathbb{E}[X\mid \mathcal{G}]-\mathbb{E}X)$；两项在 $L^2$ 中正交，因此平方展开的交叉项期望为零。

直觉 ​

把 $\mathcal{G}$ 想成一套分组信息。全期望先在每一组内部求均值，再按组出现的概率平均；只要分组没有改变总体概率质量，结果仍是原来的总体均值。方差则回答更细的问题：观察分组后仍看不清的波动形成“组内随机性”，各组条件均值彼此不同形成“组间差异”。二者相加恰好是总波动。信息越丰富，通常越多不确定性从第一项转移到第二项，而不是凭空消失。

例子与边界 ​

先等概率选择一枚公平硬币或一枚双面正面硬币，再抛一次。令 $C$ 记录选中的硬币，$X$ 是正面指示变量。条件均值在两种硬币下分别为 $1/2$ 与 $1$，所以

$$\mathbb{E}X=\mathbb{E}[\mathbb{E}(X\mid C)]=\frac{1}{2}\cdot \frac{1}{2}+\frac{1}{2}\cdot 1=\frac{3}{4}.$$

组内条件方差的平均是 $\frac{1}{2}\cdot \frac{1}{4}+\frac{1}{2}\cdot 0=\frac{1}{8}$，条件均值的方差是 $1/16$，相加为 $3/16$；这正等于 Bernoulli$(3/4)$ 变量的方差。

全方差式要求平方可积；只有 $\mathbb{E}|X|<\mathrm{\infty }$ 时，全期望仍可能成立，但方差两边未必有限。条件方差不是一个固定数字，而是随已知信息取值的随机变量，只有再取期望后才成为组内波动的总体贡献。塔式性质还要求信息嵌套：若 $\mathcal{H}$ 与 $\mathcal{G}$ 互不包含，就不能擅自把两次条件化约成其中一次。

推论与应用 ​

对由可数划分生成的 $\mathcal{G}$，全期望公式就是全概率公式公理库全概率公式Law of total probability沿可数可测划分分解事件，再按各情形概率加权合并的公式。从事件指示变量到一般随机变量的推广。全方差公式则提供一种可解释的误差分析：随机效应模型、分层抽样和预测问题可以分别度量不可约的组内噪声与信息状态之间的系统差异。塔式性质进一步组织随时间增长的信息；当 $M_n=\mathbb{E}[X\mid {\mathcal{F}}_n]$ 时，它保证 $(M_n)$ 构成Doob 鞅公理库鞅Martingale · Submartingale · Supermartingale在当前全部信息下，下一步条件均值等于当前值的可积适应过程。，把一次条件估计变成一条逐步更新的公平过程。

参考资料

• David Williams, Probability with Martingales, Cambridge University Press, 1991，Ch. 9, conditional expectation and tower property。
• Dimitri P. Bertsekas and John N. Tsitsiklis, Introduction to Probability, 2nd ed., Athena Scientific, 2008，Ch. 4, total expectation and conditional variance decomposition。