定理Theorem

全期望公式与全方差公式

施工中 · 内容逐步修订

Law of total expectation · Law of total variance · Iterated expectation

借助条件信息分解总体均值，并把总波动拆成组内与组间两部分。

形式陈述

设 $X$ 是实值或复值可积随机变量， $\mathcal G$ 是底层概率空间的子 $\sigma$ -代数。全期望公式为

\mathbb E\bigl[\mathbb E(X\mid\mathcal G)\bigr]=\mathbb E X.

更一般地，若 $\mathcal H\subseteq\mathcal G$ ，则条件期望满足塔式性质

\mathbb E\!\left[\mathbb E(X\mid\mathcal G)\mid\mathcal H\right] =\mathbb E(X\mid\mathcal H)\quad\text{几乎处处}.

若进一步 $X$ 为实值且 $X\in L^2$ ，则条件方差

\operatorname{Var}(X\mid\mathcal G) =\mathbb E\!\left[(X-\mathbb E[X\mid\mathcal G])^2\mid\mathcal G\right]

是一个 $\mathcal G$ -可测随机变量，并有全方差公式

\operatorname{Var}(X) =\mathbb E[\operatorname{Var}(X\mid\mathcal G)] +\operatorname{Var}(\mathbb E[X\mid\mathcal G]).

该式来自恒等分解 $X-\mathbb EX=(X-\mathbb E[X\mid\mathcal G])+(\mathbb E[X\mid\mathcal G]-\mathbb EX)$ ；两项在 $L^2$ 中正交，因此平方展开的交叉项期望为零。

直觉

把 $\mathcal G$ 想成分组信息。全期望先求各组均值，再按组的概率平均，得到总体均值。全方差进一步区分两种波动：同组内围绕条件均值的偏差，以及各组均值相对总体均值的差异。正交性使两部分的平方平均直接相加。

例子与边界

先等概率选择一枚公平硬币或一枚双面正面硬币，再抛一次。令 $C$ 记录选中的硬币， $X$ 是正面指示变量。条件均值在两种硬币下分别为 $1/2$ 与 $1$ ，所以

\mathbb EX=\mathbb E[\mathbb E(X\mid C)]=\frac12\cdot\frac12+\frac12\cdot1=\frac34.

组内条件方差的平均是 $\frac12\cdot\frac14+\frac12\cdot0=\frac18$ ，条件均值的方差是 $1/16$ ，相加为 $3/16$ ；这正等于 Bernoulli $(3/4)$ 变量的方差。

条件方差随已知信息变化：硬币例子中，它按硬币类型取 $1/4$ 或 $0$ ；再取期望才得到总体的组内贡献 $1/8$ 。只假设 $X$ 可积时，全期望公式成立；实值平方可积使这里的全方差公式各项有限。

塔式性质按信息包含关系工作：先用较细信息 $\mathcal G$ 作估计，再按较粗信息 $\mathcal H\subseteq\mathcal G$ 平均，等于直接按 $\mathcal H$ 估计。在 $L^2$ 中，这正是投影到嵌套子空间时可以合并两步的性质。

推论与应用

对由可数划分生成的 $\mathcal G$ ，全期望是全概率公式从指示变量到一般随机变量的推广。全方差用于分层抽样、随机效应与预测误差分析，将组内波动与组间均值差分开计算。

若 $\mathcal H\subseteq\mathcal G$ ，且实值 $X\in L^2$ ，条件均值的方差随信息增加而不减，平均条件方差则不增。对 $Y=\mathbb E[X\mid\mathcal G]$ 再应用全方差及塔式性质，即得 $\operatorname{Var}(Y)\ge\operatorname{Var}(\mathbb E[X\mid\mathcal H])$ ；两者都从固定的总方差中分出，因此体现了信息如何重新分配这两项。

对固定的可积实值随机变量 $X$ 和随时间增长的 $\mathcal F_n$ ，令 $M_n=\mathbb E[X\mid\mathcal F_n]$ 。塔式性质给出 $\mathbb E[M_{n+1}\mid\mathcal F_n]=M_n$ ，所以 $(M_n)$ 构成Doob 鞅。

按首次更新时刻取条件期望，会把整个重启系统分成首次更新前的贡献与更新后的一份新副本。更新方程将这一分解写成积分递推，并用更新测度解出计数、可用概率等不同响应。

参考资料

David Williams, Probability with Martingales, Cambridge University Press, 1991，Ch. 9, conditional expectation and tower property。
Dimitri P. Bertsekas and John N. Tsitsiklis, Introduction to Probability, 2nd ed., Athena Scientific, 2008，Ch. 4, total expectation and conditional variance decomposition。

关系图谱39 个相邻概念 · 2 类关系

正在载入交互图谱…

前置三跳
前置二跳
前置一跳
当前条目
后续一跳
后续二跳
后续三跳

文字版关系按与当前条目的最短距离分组

类型化关系

被这些条目使用

Tweedie公式与正态后验矩

“后验方差大并不与观察有信息矛盾。某个特定数据处的条件方差可以很大；若先验二阶矩有限，全方差公式只保证平均的后验方差不超过先验方差，量词不同。”

Rao–Blackwell 定理

“全方差公式从另一角度核对平方损失下降：”

Lee 选择界与分数截尾

“由全期望公式和Bayes公式，始终可见者中的层权重为”

Brier 分数的可靠度—分辨力分解

“再用全方差公式，”

Basu 定理

“充分性允许选择不含 $\theta$ 的条件分布版本。由全期望公式与辅助性，”

因果调整公式

“推导只需三次替换：全期望公式给 $E{Y(a)}=E XE{Y(a)\mid X}$；交换性加入 $A=a$ 条件；一致性把 $Y(a)$ 换成 $Y$。Positivity 保证最后条件期…”

校准与群体平衡的不可兼得性

“由群体内校准和全期望，对每一组”

全概率公式

“于是全概率公式就是有限或可数划分上的全期望：先求每个信息块中的平均，再对信息块平均。把 $\mathbf1 A$ 换成一般可积随机变量，便得到全期望公式；进一步考察平方偏差，则得到组内波动与…”

偏差、方差与均方误差

“固定设计时MSE为 $b X^2+v X$。在全部项可积时，全期望与全方差给”

工具变量识别

“用全期望公式按四种潜在依从类型分解 reduced form：always 与 never 的处理不随 $Z$ 变，排除限制使其对结果差贡献为零；complier 贡献 $P(C)E{Y(1…”

分枝过程的总后代分布

“为证明方差，先假设 $m<1,\sigma^2<\infty$，对每个有限 $N$ 计算。令 $a N=\mathbb ET N$、$v N=\operatorname{Var}T N$。从…”

分枝过程的归一化鞅

“以下假设(2)。记 $D {n+1}=W {n+1} W n$。用独立繁殖的条件方差及全期望公式，”

多重插补与 Rubin 合并规则

“全方差分解把“给定补全后的方差”与“补全改变估计值的方差”相加。多重插补用 $\bar U$ 和 $B$ 分别近似两部分。多做插补能减少 $B/M$，却不会让资料真正缺失造成的 $B$ 消失。”

Monte Carlo 积分

“三项必须以同一目标和同一单位比较。若模拟程序条件无偏，即 $E(T {n,N}\mid D n)=T n$，且相关二阶矩有限，条件均值零使前两项的交叉乘积期望为零。因此由全方差公式，”

控制变量估计

“只要上述估计量可积，条件无偏推出无偏；若 $E\widehat b 0^2<\infty$，全方差公式进一步给出”

更新方程

“以更新计数的期望 $m(t)=EN(t)$ 为例，按首次间隔使用全期望公式。若 $X 1 t$，计数为零；若 $X 1=s\le t$，已有一次更新，之后的期望计数为 $m(t s)$。因此”

分层 Monte Carlo

“全期望与全方差公式给出 $\mu=\sum hw h\mu h$。层内均值无偏、层间独立，故”

非线性嵌套 Monte Carlo

“还可用全方差进一步写 $v M=E\operatorname{Var}(W {1,M}\mid Y 1)+\operatorname{Var}(E[W {1,M}\mid Y 1])$；这里…”

部分识别与可达锐界

“取期望即得式(2)的包含。也可由全期望公式写成”

不完全 U 统计量

“由全方差，”

Galton–Watson 分枝过程

“当 $m<\infty$，对历史条件化后调用全期望公式，”

自适应数据分析

“实际选出的 $q$ 总在这个集合里，将右侧设为 $\delta$ 就得到所述界；最后用迭代期望对独立的 $U$ 平均。机制可以怎样选择分支不影响这一步，因为已经同时保护了所有分支。这是有限假…”

有限混合模型

“令成分均值 $\mu 1=0,\mu 2=4$，则 $E[X]=\frac14\cdot0+\frac34\cdot4=3$。按全方差公式，”

潜在结果框架

“第一个等号是全期望公式，第二个使用条件交换性，第三个使用一致性；positivity 保证目标总体中的协变量层有可由数据确定的条件均值。三项是这条标准识别路线的充分条件，不能写成所有因果识别…”

门槛计数模型

“设正分布均值为m +、方差为v +。用全期望与全方差按B分解，”

零膨胀Poisson模型

“记μ=EY。按Z使用全期望与全方差，”

回归学习与平方损失

“若 $Y$ 二阶可积，记 $$ f^(x)=\mathbb E[Y\mid X=x]. $$ 对任意使 $f(X)$ 平方可积的可测 $f$，先展开平方，再用迭代期望消去交叉项，得到 $$…”

负二项回归

“恰为式(1)。非负混合的总质量等于被混合分布总质量的平均，所以归一化为1。再用全期望与全方差，”

带移入的分枝过程

“从零初始出发，用全期望与全方差公式，设 $a n=\mathbb EX n,v n=\operatorname{Var}X n$，则”

Bayes 预测器与 Bayes 风险

“给定 $(X,Y)\sim D$ 与损失函数，条件分布 $Y\mid X=x$ 决定动作 $a$ 的条件期望损失 $r(a\mid x)=\mathbb E[\ell(a,Y)\mid X=…”

Bayes 估计量与后验风险

“若可测选择存在，则 $x\mapsto\delta B(x)$ 是 Bayes 规则。全局 Bayes 风险通过迭代期望连接到逐数据的后验风险：”

条件平均处理效应

“识别时仍可能需要较丰富的混杂控制集 $X$。令 $m a(X)=E(Y\mid A=a,X)$，迭代期望给出 [ \tau V(v)=E{m 1(X) m 0(X)\mid V=v}. ]…”

两相抽样

“条件于 $S 1$，对第二相设计取期望，得到 $\sum {i\in S 1}y i/\pi {1i}$；再对第一相取期望，得到 $t y$。这是迭代期望的直接应用。”

概率校准与可靠度

“一般地，按全期望，总体分箱版误差为”

脆弱性生存模型

“通常规定 $E[Z]=1$，否则 $Z$ 的尺度与基线风险无法区分。令 $H 0(t)=\int 0^t\lambda 0(u)du$，给定 $Z$ 的生存函数是 $\exp[ ZH 0(t…”

形式陈述 ​

反向链接

形式陈述