条件期望 | Codeboy's Blog

形式陈述

设 $X$ 是概率空间 $(\Omega,\mathcal F,\mathbb P)$ 上的可积随机变量， $\mathcal G\subseteq\mathcal F$ 是子 $\sigma$ -代数。条件期望 $\mathbb E[X\mid\mathcal G]$ 是任一满足下列两项的随机变量 $Y$ ：

$Y$ 对 $\mathcal G$ 可测；
对每个 $A\in\mathcal G$ ，都有

\int_A Y\,d\mathbb P=\int_A X\,d\mathbb P.

存在性来自Radon–Nikodym 定理。对非负 $X$ ，在 $\mathcal G$ 上定义测度

\nu(A)=\int_A X\,d\mathbb P.

它满足 $\nu\ll\mathbb P|_{\mathcal G}$ ，所以存在 $\mathcal G$ -可测密度 $Y=d\nu/d\mathbb P|_{\mathcal G}$ ；一般可积 $X$ 再对正负部处理。唯一性同样来自 Radon–Nikodym 定理，因此只在几乎处处意义下成立。

若 $\mathcal G=\sigma(Z)$ ，常写 $\mathbb E[X\mid Z]$ 。当 $Z$ 为实随机变量时，Doob–Dynkin 引理说明存在 Borel 可测函数 $g$ 使

\mathbb E[X\mid Z]=g(Z)\quad\text{几乎处处}.

记号右侧仍是随机变量；只有选择一个版本后，才可把 $g(z)$ 看作给定观测值 $z$ 的条件均值。

直觉

条件期望把 $X$ 中无法由当前信息 $\mathcal G$ 分辨的细节平均掉，只保留可以用这套信息表达的部分。若 $\mathcal G$ 来自一个有限划分， $Y$ 在每个信息块上取常数；一般子 $\sigma$ -代数则把这种“分块平均”推广到不必由有限原子组成的信息结构。

第二条积分恒等式说明替换前后在任何已知事件上都保持总量。只使用 $\mathcal G$ 信息的观察者，无论挑选哪个 $A\in\mathcal G$ ，都看不到 $X$ 与 $Y$ 在平均上的差别。条件期望把 $X$ 改写成一项随已知信息变化的最佳可见预测，并不会把所有情形压成同一个常数。

在 $L^2$ 中，这个预测具有严格几何意义。 $L^2(\mathcal G)$ 是所有平方可积 $\mathcal G$ -可测随机变量构成的闭子空间，而

\mathbb E[(X-Y)Z]=0 \qquad\text{对所有 }Z\in L^2(\mathcal G).

所以 $Y=\mathbb E[X\mid\mathcal G]$ 是 $X$ 到该子空间的正交投影，也是所有 $\mathcal G$ -可测预测中均方误差最小者。

两枚骰子条件期望的分块平均，以及 X 到 L²(𝒢) 的正交投影 — 条件期望的两种图像

例子与边界

若有限划分 $B_1,\ldots,B_m$ 生成 $\mathcal G$ ，则在每个 $\mathbb P(B_i)>0$ 的分块上，

\mathbb E[X\mid\mathcal G] =\frac{\mathbb E[X\mathbf1_{B_i}]}{\mathbb P(B_i)}.

零概率分块上的值可任意选取，因为它不影响几乎处处等价类；初等条件概率的 $0/0$ 比值不能为它指定唯一数值。

掷两枚公平骰子，令 $X$ 为点数之和， $D_1$ 为第一枚点数， $\mathcal G=\sigma(D_1)$ 。已知 $D_1=k$ 后，第二枚的平均仍为 $7/2$ ，于是

\mathbb E[X\mid\mathcal G] =D_1+\frac72.

结果仍是随机变量：它随已知的第一枚骰子变化，只把第二枚骰子的细节平均掉。再取一次期望， $\mathbb E[D_1+7/2]=7$ ，与两枚点数之和的无条件期望一致。

若 $X$ 本身对 $\mathcal G$ 可测，则 $\mathbb E[X\mid\mathcal G]=X$ 几乎处处，因为信息已经足以知道 $X$ ；若 $X$ 与 $\mathcal G$ 独立，则

\mathbb E[X\mid\mathcal G]=\mathbb EX

几乎处处，因为现有信息没有改变其平均。两端分别对应“全部知道”和“所知毫无相关信息”。

条件期望版本可以在零概率集合上不同。因而从 $\mathbb E[X\mid Z]$ 直接询问某个满足 $\mathbb P(Z=z)=0$ 的点值，通常没有唯一答案；要获得逐点条件规律，需要选择正则条件分布或一个具有额外连续性的版本。

推论与应用

条件期望保持线性、单调性和常数。若 $H$ 是有界且 $\mathcal G$ -可测，则“已知量可以提出”：

\mathbb E[HX\mid\mathcal G] =H\,\mathbb E[X\mid\mathcal G].

先对简单函数验证，再用逼近和支配收敛推广，即可得到这一性质。条件 Jensen 不等式则表明，对合适的凸函数 $\varphi$ ，

\varphi(\mathbb E[X\mid\mathcal G]) \le\mathbb E[\varphi(X)\mid\mathcal G]

几乎处处。

塔式性质需要信息包含关系。若 $\mathcal H\subseteq\mathcal G$ ，则

\mathbb E[\mathbb E[X\mid\mathcal G]\mid\mathcal H] =\mathbb E[X\mid\mathcal H].

特别地，对平凡 $\sigma$ -代数再条件化，得到全期望公式 $\mathbb E[\mathbb E(X\mid\mathcal G)]=\mathbb EX$ 。如果两个 $\sigma$ -代数不嵌套，不能无条件交换或消去两次条件化。

给定信息后的方差与条件均值共同构成全方差公式。Rao–Blackwell 定理据此把估计量替换为其在充分统计量下的条件期望，从而在保持均值的同时不增加凸损失风险。若统计量不充分，条件期望的函数形式仍可能依赖未知参数，降方差并不自动产生可实施估计量。

当信息随滤过 $(\mathcal F_n)$ 增长时， $M_n=\mathbb E[X\mid\mathcal F_n]$ 构成Doob 鞅。在线学习和随机优化中的条件无偏性也使用同一语言，例如 $\mathbb E[\widehat\ell_t\mid\mathcal F_{t-1}]=\ell_t$ ：它声明估计误差在全部历史信息下平均为零，普通事件内的数值平均无法表达这层含义。

参考资料

Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019, Chapter 4.
Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Springer, 2021, Chapter 8.
David Williams, Probability with Martingales, Cambridge University Press, 1991, Chapters 9–10.

形式陈述 ​

反向链接

形式陈述