定义Definition

条件期望

Conditional expectation

以信息分组的加权平均建立条件期望直觉，再连接测度定义、最小均方预测、塔式性质和可计算反例。

条件期望回答一个预测问题：只允许利用已经掌握的信息，对随机量 $X$ 应怎样给出平均预测？信息越粗，我们就把越多可能结果合并求平均；信息越细，预测就能随观察结果作出更多区分。

因此 $E[X\mid\mathcal G]$ 一般是随机变量，而不是一个数。 $\mathcal G$ 表示允许使用的信息；条件期望给每种可辨认的情况分配一个预测值。普通期望是完全不区分情况时的特例。[1][2]

形式陈述

一般定义：可见性与积分守恒

设实值随机变量 $X$ 绝对可积，即 $E|X|<\infty$ ， $\mathcal G\subseteq\mathcal F$ 是一个子 $\sigma$ -代数。实值随机变量 $Y$ 称为 $X$ 关于 $\mathcal G$ 的条件期望，如果

Y\text{ 可积且为 }\mathcal G\text{-可测}, \qquad \int_A Y\,dP=\int_A X\,dP \quad\text{对每个 }A\in\mathcal G.

第一条让预测只随可辨认的信息变化。下文的四结果例子中， $Y$ 必须在 $A$ 内取相同值，在 $B$ 内也取相同值。第二条再决定各组该取多少：若在正概率组 $A$ 上恒取 $c$ ，就必须有 $cP(A)=E[X\mathbf1_A]$ ，因而 $c$ 等于组内的条件加权平均。仅要求 $E[Y]=E[X]$ 只能固定所有组加起来的总量，仍允许把一组的预测人为调高、另一组调低；逐个可见事件的积分等式排除了这种错误补偿。

满足条件的 $Y$ 存在，并且在几乎处处意义下唯一。存在性可由 Radon–Nikodym 定理得到：对非负可积 $X$ ，在 $\mathcal G$ 上定义测度 $\nu(A)=\int_A X\,dP$ ，它关于 $P$ 绝对连续，其密度就是所求 $Y$ ；一般 $X$ 再分解成正部与负部。

唯一性的理由也直接体现了定义。若 $Y,Z$ 都满足条件，事件 $A=\{Y>Z\}$ 属于 $\mathcal G$ ，而

\int_A(Y-Z)\,dP=0.

非负函数积分为零意味着它几乎处处为零，因此 $P(Y>Z)=0$ ；交换二者可得 $Y=Z$ 几乎处处。“条件期望”通常指这一等价类，具体选出的随机变量称为一个版本。

复值可积变量 $X=U+iV$ 的条件期望按实部与虚部分别定义为 $E[U\mid\mathcal G]+iE[V\mid\mathcal G]$ ；事件积分等式与唯一性逐分量成立。下文涉及大小关系、正负部分、平方误差和实凸函数的结论均采用实值变量。

两个端点有助于定位概念： $\mathcal G=\{\varnothing,\Omega\}$ 时，条件期望是常数 $E[X]$ ； $X$ 已经 $\mathcal G$ -可测时， $E[X\mid\mathcal G]=X$ 几乎处处。后一种情形中，答案本身已经包含在允许使用的信息里。

同组对象获得相同预测，但平均按原概率加权。A 组的条件均值是 2/3，而不是两个取值的算术平均 1。

非负变量允许无穷期望

若 $X:\Omega\to[0,\infty]$ 可测，仍可定义扩展值条件期望。令 $X_n=X\wedge n$ ，先按可积情形取 $Y_n=E[X_n\mid\mathcal G]$ 。保序性给出 $0\le Y_n\le Y_{n+1}$ 几乎处处；把这些可数例外并入同一个 $\mathcal G$ -可测零测集，并在其上把所有 $Y_n$ 置零，就可选到处处单调的版本。定义

E[X\mid\mathcal G]=\lim_{n\to\infty}Y_n\in[0,\infty].

它为 $\mathcal G$ -可测，而且对每个 $A\in\mathcal G$ ，在等式两边使用单调收敛定理得到

\int_A\lim_nY_n\,dP =\lim_n\int_A Y_n\,dP =\lim_n\int_A(X\wedge n)\,dP =\int_A X\,dP.

两边可以同时为无穷。这个非负版本仍唯一到几乎处处相等：若 $Y,Z$ 都满足事件积分等式，先限制到 $\{Y\le k,\ Z\ge Y+1/j\}$ ，其中 $k,j\ge1$ 为整数。该集合上 $Y$ 的积分有限，等式便迫使集合概率为零；对 $k,j$ 取可数并，再交换 $Y,Z$ 即得唯一性。可积 $X$ 时此定义与前文相同。它不允许把正负两部分的无穷条件期望直接相减。

给定一个变量，和给定它的一个数值

记号

E[X\mid Z]:=E[X\mid\sigma(Z)]

表示只根据 $Z$ 预测 $X$ 。对实值 $Z$ ，可以把一个版本写成 $g(Z)$ 。其中 $g$ 是预测规则， $g(Z)$ 是随观察结果变化的随机变量， $g(z)$ 才是观察到具体 $z$ 后采用的数值。

若 $Z$ 离散且 $P(Z=z)>0$ ，公式是熟悉的条件加权平均：

g(z)=\frac{E[X\mathbf1_{\{Z=z\}}]}{P(Z=z)}.

连续分布的 $Z$ 在每个单点上满足 $P(Z=z)=0$ 。有联合密度时，可用条件密度积分求 $g(z)$ ；更一般的构造见正则条件概率。预测规则 $g$ 在 $Z$ 的分布意义下几乎处处确定：在一个 $P_Z$ -零测集上改变它的值，仍给出同一个条件期望版本等价类。

例如 $U,V$ 独立且均匀分布于 $[0,1]$ 。给定 $S=U+V$ 后， $U,V$ 的角色对称，又有二者之和等于 $S$ ，于是

E[U\mid S]=E[V\mid S]=S/2.

因此观察到总和后，两项的平均预测各占一半；推导使用的是对称性与线性，而无需先求出条件密度。

直觉

从四个结果看清“按信息分组”

设样本空间有四个结果，概率与 $X$ 的值如下。观察者无法区分前两个结果，也无法区分后两个结果，只知道自己落在哪一组。

结果	$\omega_1$	$\omega_2$	$\omega_3$	$\omega_4$
概率	$1/2$	$1/4$	$1/8$	$1/8$
$X$	0	2	4	8
可见组别	$A$	$A$	$B$	$B$

落在 $A$ 时，需要把组内概率重新归一化：两种结果的条件概率为 $2/3,1/3$ ，所以预测是 $2/3$ ；落在 $B$ 时，预测是 $6$ 。于是

E[X\mid\mathcal G] =\frac23\mathbf1_A+6\mathbf1_B, \qquad \mathcal G=\{\varnothing,A,B,\Omega\}.

A 组中的零值结果出现概率是另一结果的两倍，所以加权平均为 $2/3$ ；算术平均 $1$ 则对应两种结果等可能的另一种模型。

这两个预测还保留了每组的总量。例如

E[X\mathbf1_A]=\tfrac12 =E\!\left[\tfrac23\mathbf1_A\right].

对全部结果再取平均，也得到

E[E[X\mid\mathcal G]] =\tfrac34\cdot\tfrac23+\tfrac14\cdot6=2=E[X].

一般定义要保留的，正是“只按已知信息变化”和“每个可见事件上的总量不变”这两件事。

补充示意图

两枚骰子按第一枚点数分块取平均，以及 L² 中的正交投影示意 — 分块平均与平方误差投影

例子与边界

掷骰子的完整计算：信息解释了哪部分波动

独立掷两枚公平六面骰，点数为 $D_1,D_2$ ，总和为 $S=D_1+D_2$ 。未观察任何骰子时，预测为 $E[S]=7$ ；看到第一枚后，

E[S\mid D_1]=D_1+E[D_2]=D_1+\tfrac72.

实际残差为 $D_2-7/2$ ，所以剩余均方误差是 $35/12$ 。而原先用常数 $7$ 预测的误差为

\operatorname{Var}(S)=\tfrac{35}{6}.

信息把误差分成了两半：由第一枚骰子解释的波动，以及尚未观察的第二枚骰子留下的波动。一般地，对平方可积的 $X$ ，

\operatorname{Var}(X) =E[\operatorname{Var}(X\mid\mathcal G)] +\operatorname{Var}(E[X\mid\mathcal G]).

其中

\operatorname{Var}(X\mid\mathcal G) =E[(X-E[X\mid\mathcal G])^2\mid\mathcal G]

本身也是随机变量。第一项是平均剩余不确定性，第二项是不同可见情况之间的预测差异。

信息嵌套与独立性

塔式法则需要信息集合嵌套。取独立公平比特 $A,B$ ，令 $\mathcal H=\sigma(A)$ 、 $\mathcal G=\sigma(A\oplus B)$ 。由于 $A$ 与 $A\oplus B$ 独立，

E[E[A\mid\mathcal G]\mid\mathcal H]=\tfrac12, \qquad E[A\mid\mathcal H]=A.

观察 $A\oplus B$ 会把关于 $A$ 的预测平均成常数；随后再按 $A$ 分组，这个常数保持不变。信息集合嵌套时，塔式法则才给出下面所述的简化。

另一个边界是独立性。 $X$ 与 $\mathcal G$ 独立且可积，确实推出 $E[X\mid\mathcal G]=E[X]$ ；反方向对单个 $X$ 不成立。令 $X\sim\operatorname{Unif}[-1,1]$ ， $\mathcal G=\sigma(X^2)$ ，就有 $E[X\mid\mathcal G]=0$ ，但 $\mathcal G$ 显然包含关于 $|X|$ 的信息。若要刻画完整独立性，应对所有有界可测变换 $g(X)$ 都要求条件期望保持不变。

推论与应用

平方误差下，条件期望是正交投影

进一步假设 $E[X^2]<\infty$ 。所有平方可积且 $\mathcal G$ -可测的随机变量组成 $L^2$ 的一个闭子空间。设 $Y=E[X\mid\mathcal G]$ ，则对该子空间中的任意 $Z$ ，

E[(X-Y)Z]=0.

它先由定义对指标函数成立，再推广到简单函数、有界函数，最后经截断与 $L^2$ 极限扩展到任意这样的 $Z$ 。也就是说，预测残差 $X-Y$ 与每个可用信息构成的平方可积统计量都正交。

因而任何另一个允许的预测 $W$ 都满足

\begin{aligned} E[(X-W)^2] &=E[(X-Y+Y-W)^2]\\ &=E[(X-Y)^2]+E[(Y-W)^2]. \end{aligned}

交叉项为零，这就是概率空间中的勾股定理。第二项非负，所以 $Y$ 是唯一到几乎处处相等的最小均方误差预测。这一结论是正交投影在随机变量空间中的具体实例。[2]

可积性 $X\in L^1$ 支持积分定义；平方可积性 $X\in L^2$ 进一步支持残差正交和均方误差最小化。损失函数改变时，最优预测也随之改变：平方损失对应条件均值，绝对值损失对应条件中位数。

从定义推导常用运算

线性与保序。对可积 $X_1,X_2$ 和常数 $a,b$ ，条件期望保留线性组合；若 $X_1\le X_2$ 几乎处处，则相应条件期望也保持大小关系。因此可以先拆分随机量，再分别计算预测。

提出已知因子。若 $Z$ 为有界的 $\mathcal G$ -可测变量，则

E[ZX\mid\mathcal G]=Z E[X\mid\mathcal G].

在给定信息下， $Z$ 的值已经确定，因此可以提出。无界 $Z$ 的情形也适用，只要 $X$ 与 $ZX$ 均可积；对 $|Z|$ 逐级截断可得 $E[|Z|E[|X|\mid\mathcal G]]=E|ZX|<\infty$ ，再由 $|ZE[X\mid\mathcal G]|\le |Z|E[|X|\mid\mathcal G]$ 得到右侧的可积性。

塔式法则。若 $\mathcal H\subseteq\mathcal G$ ，则

E[E[X\mid\mathcal G]\mid\mathcal H]=E[X\mid\mathcal H].

先用细信息预测，再忘掉部分信息，与直接使用粗信息一致。反向嵌套也有

E[E[X\mid\mathcal H]\mid\mathcal G]=E[X\mid\mathcal H],

因为内层结果已经由粗信息决定，自然也能由细信息观察到。

条件 Jensen 不等式。若 $\phi$ 为凸函数， $X$ 与 $\phi(X)$ 可积，则

\phi(E[X\mid\mathcal G])\le E[\phi(X)\mid\mathcal G] \quad\text{几乎处处}.

取 $\phi(x)=|x|$ 可得 $L^1$ 收缩；取 $\phi(x)=x^2$ 可得平方可积情形的 $L^2$ 收缩。这些性质并非一组无关公式，它们都表达了同一件事：分组平均保留线性结构，却会平滑凸函数所衡量的波动。[1]

条件期望怎样进入统计与随机过程

对平方可积估计量 $T$ ，取 $E[T\mid\mathcal G]$ 保留其无条件期望，并使方差不增。Rao–Blackwell 方法选用充分统计量作为信息：给定它后的样本条件分布不依赖未知参数，于是条件平均可写成一条可实施的估计规则。

若信息随时间增长， $\mathcal F_s\subseteq\mathcal F_t$ ，那么对固定可积的最终量 $X$ ，过程 $M_t=E[X\mid\mathcal F_t]$ 满足

E[M_t\mid\mathcal F_s]=M_s\qquad(s\le t).

这就是塔式法则产生的鞅：每次得到新信息都更新预测，而站在过去的视角，未来更新的平均值仍等于当前预测。条件期望因而把分组平均、最优预测与动态信息更新连成了同一套语言。

参考资料

[1] Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019，Conditional Expectation 相关章节。作者公开稿。

[2] Steven P. Lalley, Conditional Expectation，University of Chicago 课程讲义。公开讲义，从条件期望的定义发展到 $L^2$ 投影与基本性质。

[3] David Williams, Probability with Martingales, Cambridge University Press, 1991，条件期望与鞅章节。适合进一步学习信息流、塔式法则和随机过程中的使用方法。

关系图谱81 个相邻概念 · 2 类关系

正在载入交互图谱…

前置三跳
前置二跳
前置一跳
当前条目
后续一跳
后续二跳
后续三跳

文字版关系按与当前条目的最短距离分组

类型化关系

使用的工具

被这些条目使用

Rao–Blackwell 定理

“设 $T$ 对模型 ${P \theta:\theta\in\Theta}$ 充分，行动空间是 $\mathbb R^d$ 中的凸集，$U=U(X)$ 是估计规则，且对每个 $\theta$…”

Radon–Nikodym 定理

“不能对任意非负 $X$ 直接跳过这一步：在 $(0,1]$ 的 Lebesgue 概率空间取 $X(u)=1/u$、$\mathcal G={\varnothing,\Omega}$，则 $…”

Girsanov 定理

“证明也体现这一抵消。Itô 乘积公式给出 $Z\widetilde W^i$ 的漂移为零：$Z\theta i,dt$ 与 $d[Z,W^i]= Z\theta i,dt$ 相消。换测度的条…”

Friedgut junta 定理

“对保留坐标作条件平均 $h(x J)=\mathbb E[f(X)\mid X J=x J]$，它恰保留 $S\subseteq J$ 的 Fourier 项。最后令 $g=\operato…”

因果调整公式

“均值版本另假设 $E Y(a) <\infty$，再利用条件期望写成”

全期望公式与全方差公式

“更一般地，若 $\mathcal H\subseteq\mathcal G$，则条件期望满足塔式性质”

马尔可夫链时间平均遍历定理

“从 $a$ 出发，记 $T=T a^+$，单周期占用量为 $$ \nu(j)=\mathbb E a\sum {k=0}^{T 1}\mathbf1 {{X k=j}}, \qquad \e…”

工具变量识别

“则由条件均值构成的 Wald 比率”

半参数效率与有效影响函数

“其第二项在 $R=0$ 时定义为零，不需要取得缺失的 $Y$。由条件期望，$Eg=0$。分别与三类得分配对可得”

随机共识与概率一终止

“令 $q=2^{ n}$。事件 $E 1^c\cap\cdots\cap E {k 1}^c$ 对 $\mathcal F {k 1}$ 可测，所以反复使用条件期望的塔式性质与提出已知因子规…”

期望最大化算法

“E 步：求当前后验 $q t(z)=p {\theta^{(t)}}(z\mid x)$，并形成条件期望 $$Q(\theta\mid\theta^{(t)})=E {q t}[\log…”

逆概率处理加权

“因此ATE 为 $\mu 1 \mu 0$。以处理臂为例，先用条件期望在每个 $X$ 层计算：”

离策略评价与逐步重要性采样

“这种处理来自条件期望。因为”

回归不连续设计

“识别的数学条件需逐项声明：处理规则与阈值已知；一致性及处理版本明确；$\mu a(r)=E{Y(a)\mid R=r}$ 对 $a=0,1$ 都在 $c$ 处连续；$R$ 在阈值两侧都有任意…”

Markov 链

“其中 $K$ 是概率核，左侧是指标变量关于历史信息的条件期望；对每个固定 $A$，等式按几乎处处理解。以下转移数组、状态可达性和返回时间术语均按有限或可数版本理解。”

直接显示机制

“为陈述贝叶斯激励相容性（BIC），本页另外限制各 $T i$ 有限，并给定共同先验 $\mu$，每个允许类型的边缘概率均为正。使用条件期望，BIC 要求对所有 $i,t i,r i$，”

线性回归统计模型

“其中 $\beta\in\mathbb R^p$ 未知，并以条件期望假设”

连续时间 Markov 链

“本页先讨论非空有限或可数状态空间 $S$（配备全体子集）上的非爆炸齐次纯跳随机过程 $X(t)$，路径右连续，在有限时间内只有有限次实际跳变。令 $\mathcal F t=\sigma(X…”

σ-代数

“把 $\sigma$ 代数理解为信息也很有用。$\mathcal G\subseteq\mathcal F$ 意味着 $\mathcal G$ 能回答的问题更少：样本点没有消失，只是某些点无…”

Score 与 Fisher 信息

“若只观察不依赖未知参数的统计量 $T(X)$，假设其诱导模型正则，且允许在每个 $\sigma(T)$ 事件的概率积分中把参数微分移入积分，则它自己的 score 是完整数据 score 的…”

Bayes 预测器与 Bayes 风险

“给定 $(X,Y)\sim D$ 与损失函数，条件分布 $Y\mid X=x$ 决定动作 $a$ 的条件期望损失 $r(a\mid x)=\mathbb E[\ell(a,Y)\mid X=…”

正则条件概率

“的一个版本，其中右侧是条件期望。等价地，对所有 $A\in\mathcal F$ 与 $G\in\mathcal G$，”

鞅

“则适应性、可积性和条件期望的塔式性质共同保证 $(M n)$ 为鞅。它表示随着信息增加，对同一个终端量 $X$ 作出的连续更新。”

条件平均处理效应

“设 $E Y(0) +E Y(1) <\infty$。给定处理前特征 $X$，潜在结果框架中的条件平均处理效应是条件期望”

条件概率

“当 $\mathbb P(B)=0$ 时，初等比值没有定义。连续随机变量仍可在 $X=x$ 下条件化，只是单个零概率纤维上的条件值无法由 $0/0$ 比值决定。此时需要正则条件分布或条件期望…”

条件分布

“对可积函数 $g$，核给出条件平均 $\int g(x)K(y,dx)$，连接到条件期望；对 $Y$ 再积分得到全期望公式。Bayes 定理在有密度或离散质量时重新加权该核，Markov 链…”

随机赌博机与伪遗憾

“在多臂赌博机模型上，臂 $i$ 每次拉取都独立产生 $\nu i$ 的奖励，均值 $\mu i$ 固定。令 $\mu^=\max i\mu i$、$\Delta i=\mu^ \mu i$，…”

倾向分数

“这里 $Y(a)$ 是同一单位接受处理 $a$ 时的潜在结果，$\perp$ 表示条件独立。第一项不需要结局模型。对任意协变量集合 $C$，迭代条件期望给出”

期望

“可积变量的条件期望 $\mathbb E[X\mid\mathcal G]$ 是只利用信息 $\mathcal G$ 表达的随机变量，而通常不是一个常数；再次取总体平均，仍有”

滤过与适应过程

“滤过使条件期望可以随时间更新：$\mathbb E[X\mid\mathcal F n]$ 是用时刻 $n$ 信息对 $X$ 作出的平均预测。适应且可积的过程若还满足公平的条件均值关系，就成…”

联合分布

“条件分布把一个坐标固定为信息后，描述另一个坐标的剩余规律；条件期望则对这种剩余规律取平均。二者都以联合结构为输入：同样的边缘配上不同耦合，会产生不同条件规律。”

可测函数

“实值可测函数对有限线性组合和有限乘积封闭。可数上确界、下确界、上极限与下极限则在扩展实数中仍可测，例如 $f n\equiv n$ 的上确界为 $+\infty$；处处存在且有限的逐点极限仍…”

概率校准与可靠度

“这里的条件期望按预测器自己的报告分组。若某个分数 $s$ 有正概率，上式就是”

赌博机重要性加权估计

“$\mathcal G t$ 是分析用信息，学习器并不观察整行 $\ell t$。若只条件于过去，塔式法则给出 $\mathbb E[\widehat\ell {t,i}\mid\mathc…”

独立性

2 处

“联合分布回答“变量怎样一起出现”；独立性要求它分解成边缘分布的乘积。条件概率处理事件筛选，条件期望则把“信息不改变规律”推广到可测函数。进入独立同分布样本与学习理论时，应保留独立性、同分…”

“实际上它甚至满足条件期望等式 $E[X\mid Y]=0=E[X]$，因为给定平方后正负号仍对称。这叫均值独立，仍弱于分布独立。完整的条件期望判据是：对所有有界可测 $g$，”

错误发现率与 Benjamini–Hochberg

“再由条件期望的塔式法则去掉条件，并对 $i\in I 0$ 求和，得到 $m 0q/m$。独立条件让随机分母变成给定其他 p 值后的固定数；PRDS 版本需要另外的正依赖论证，不能沿用这里的…”

布尔噪声算子

“这是一个条件平均。当 $0\le\rho\le1$ 时，也可等价地以概率 $\rho$ 保留原坐标、以概率 $1 \rho$ 重新抽一个独立均匀 bit；重采样不等于必定翻转。”

一阶矩方法

2 处

“在这个具体问题中，计算也很简单：尚未决定的邻居各贡献 $1/2$；已经决定的邻居中，把当前顶点放到数量更多者的对侧，就能最大化即时跨边贡献。每条边只需按邻接结构处理常数次。这是条件期望去随机…”

“最大割的论证还可以通过条件期望去随机化。固定一部分顶点的侧别后，考察把下一个顶点放左、放右这两种选择；它们对应的条件期望的平均值，正是当前条件期望。因此至少一个选择不会降低它。”

不确定性下的乐观原则

“在随机 bandit 中，可为臂 $i$ 使用 $\widehat\mu i(t)+r i(t)$。分析分两步：先利用并集界证明所有臂、时刻的真实均值都在区间内；再在该好事件上证明若次优臂仍…”

形式陈述 ​

一般定义：可见性与积分守恒 ​

非负变量允许无穷期望 ​

给定一个变量，和给定它的一个数值 ​

从四个结果看清“按信息分组” ​

掷骰子的完整计算：信息解释了哪部分波动 ​

信息嵌套与独立性 ​

平方误差下，条件期望是正交投影 ​

从定义推导常用运算 ​

条件期望怎样进入统计与随机过程 ​

反向链接