期望

Expectation · Expected value

实值或复值随机变量关于概率测度的 Lebesgue 积分，概括加权平均与总体质量平衡。

领域: 分析与概率
条目类型: 定义

形式陈述

设 $X$ 是概率空间 $(\Omega,\mathcal F,\mathbb P)$ 上的非负实随机变量。它的期望定义为Lebesgue 积分

\mathbb E[X]=\int_\Omega X\,d\mathbb P\in[0,\infty].

非负变量允许期望等于 $+\infty$ 。对一般实值 $X$ ，令

X^+=\max(X,0),\qquad X^-=\max(-X,0), \qquad X=X^+-X^-.

只要 $\mathbb E[X^+]$ 与 $\mathbb E[X^-]$ 不同时为无穷，就可定义扩展实期望

\mathbb E[X]=\mathbb E[X^+]-\mathbb E[X^-].

若

\mathbb E|X|=\mathbb E[X^+]+\mathbb E[X^-]<\infty,

则称 $X$ 可积，此时期望是有限实数。对复随机变量 $Z$ ，通常只在 $\mathbb E|Z|<\infty$ 时定义

\mathbb E Z=\mathbb E(\operatorname{Re}Z) +i\mathbb E(\operatorname{Im}Z).

若 $X$ 只取有限或至多可数个值，积分化为

\mathbb E[X]=\sum_x x\,\mathbb P(X=x).

有正负项时仍须分别检查正部与负部；只有绝对可积，级数才可任意重排。若 $X$ 的分布有密度 $f_X$ ，则相应写成 $\int x f_X(x)\,dx$ 。求和与密度积分都只是一般定义在特定参考测度下的展开。

直觉

期望是概率质量的重心，综合整个分布。它并不预测一次试验最可能出现什么：公平骰子的期望是 $3.5$ ，即使任何一次投掷都不可能得到半点。很小概率的远端质量还能显著拉动重心，因此描述“典型值”有时需要中位数或分位数配合。

指示变量把概率直接嵌入期望：

\mathbb E[\mathbf1_A]=\mathbb P(A).

若计数 $N$ 能逐点写成 $N=\sum_i\mathbf1_{A_i}$ ，那么期望线性性给出 $\mathbb EN=\sum_i\mathbb P(A_i)$ ，无须事件独立。许多随机计数与概率方法证明，都是先把复杂对象拆成局部指标，再把平均逐项相加。

期望的线性来自积分，不来自变量之间“互不影响”。独立性只在乘积 $XY$ 、联合矩或和的方差中发挥作用。把“线性期望不需要独立”记清楚，可以省去大量不必要的联合分布计算。

例子与边界

公平六面骰子点数 $X$ 的期望为

\mathbb E[X] =\sum_{k=1}^{6}k\cdot\frac16 =\frac72.

同一个分布也可写成测度 $\mu=\frac16\sum_{k=1}^{6}\delta_k$ ，于是 $\mathbb EX=\int x\,\mu(dx)$ 。两种写法数值一致，因为真正被积分的是 $X$ 的概率分布；离散求和只是这一积分的展开。

标准 Cauchy 随机变量展示了存在性边界。它的正尾与负尾对 $|x|$ 的积分都发散，因此

\mathbb E[X^+]=\mathbb E[X^-]=\infty.

表达式落入 $\infty-\infty$ ，期望未定义。对称截断 $\int_{-R}^{R}x f(x)\,dx=0$ 只能给出 Cauchy 主值；换一种不对称截断次序会得到不同结果，主值不能冒充 Lebesgue 期望。

对非负整数值随机变量，有逐点恒等式

X=\sum_{k=1}^{\infty}\mathbf1_{\{X\ge k\}}.

Tonelli 定理允许交换非负求和与期望，得到尾和公式

\mathbb EX=\sum_{k=1}^{\infty}\mathbb P(X\ge k),

等式允许两侧同时为 $+\infty$ 。若 $T$ 是独立 Bernoulli 试验中首次成功的轮次，则 $\mathbb P(T\ge k)=(1-p)^{k-1}$ ，所以 $\mathbb ET=1/p$ 。这个无穷级数由等待时间的层层尾事件自然产生，逐点质量公式并未被生硬套用。

对一般非负实变量，类似的层饼表示为

\mathbb EX=\int_0^\infty\mathbb P(X>t)\,dt.

它把期望解释为尾概率曲线下的面积，也清楚显示远尾为何能够主导平均值。

推论与应用

若 $X,Y$ 可积， $a,b$ 为常数，则

\mathbb E[aX+bY]=a\mathbb EX+b\mathbb EY, \qquad |\mathbb EX|\le\mathbb E|X|.

若 $X\le Y$ 几乎处处，则期望保持这一顺序；若 $X_n\uparrow X$ 且皆非负，单调收敛定理给出 $\mathbb EX_n\uparrow\mathbb EX$ 。有符号变量若要交换极限、无穷和与期望，则需要绝对可积、统一支配或其他明确条件，不能靠形式上的线性消去发散项。

推前积分公式，也称无意识统计学家法则，写成

\mathbb E[g(X)] =\int g(x)\,\mathcal L(X)(dx).

它说明单变量函数的期望只依赖 $X$ 的律，不依赖承载 $X$ 的具体样本空间。若有密度，再进一步变成 $\int g(x)f_X(x)\,dx$ ；若分布含原子或奇异部分，直接对测度积分仍然有效。

条件期望在给定信息下保留所有可观测事件上的积分，并满足

\mathbb E[\mathbb E(X\mid\mathcal G)]=\mathbb EX.

方差要求二阶矩有限；一阶期望存在并不保证方差存在。对凸函数，Jensen 不等式比较“先平均再变换”和“先变换再平均”，但两侧仍须满足相应存在性条件。

Monte Carlo 用样本均值估计确定的积分值。无偏只说明估计量的期望等于目标，不保证单次误差小；误差尺度还取决于方差、尾部和样本依赖。统计决策把损失取期望得到风险，概率方法则把计数期望转成存在性结论。两类应用都继承期望的线性，也都必须单独证明交换极限或控制波动的条件。

参考资料

Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995, Chapter 4.
Rick Durrett, Probability: Theory and Examples, 5th ed., Cambridge University Press, 2019, Chapter 1.
Sheldon Axler, Measure, Integration & Real Analysis, Springer, 2020, Chapters 10–12.

关系图谱133 个相邻概念 · 2 类关系

正在载入交互图谱…

前置三跳
前置二跳
前置一跳
当前条目
后续一跳
后续二跳
后续三跳

文字版关系按与当前条目的最短距离分组

类型化关系

使用的工具

概率分布定义

被这些条目使用

Markov 不等式

“其中 $\mathbb E[X]$ 为 $X$ 的期望。更一般地，对实值 $X$、单调不减的非负函数 $\phi$ 及满足 $\phi(a) 0$ 的阈值 $a$，有”

Jensen 不等式

“概率形式中，若可积随机向量 $X$ 几乎处处取值于 $C$，$f(X)$ 的期望有定义，且 $\mathbb EX\in C$，则”

Hoeffding 不等式

“不等式把独立性、期望和有界性组合成有限样本保证，并可视为大数律的定量强化。对有界 IID 被积函数，Monte Carlo 样本均值可直接使用这个非渐近界；它不同于中心极限定理给出的渐近正态…”

Chebyshev 不等式

“设随机变量 $X$ 的期望存在且方差有限（等价于 $\mathbb E[X^2] 0$，”

中心极限定理

“Lindeberg–Lévy 中心极限定理：设 $X 1,X 2,\ldots$ 独立同分布，期望 $\mu=\mathbb E[X 1]$ 有限，方差 $\sigma^2=\operato…”

强大数定律

“设 $X 1,X 2,\ldots$ 是同一概率空间上独立同分布的随机变量序列，且 $\mathbb E X 1 <\infty$。记共同期望为 $\mu=\mathbb E[X 1]$，样…”

偏差、方差与均方误差

“在模型 ${P \theta:\theta\in\Theta}$ 中，用实值估计量 $\widehat g=T(X)$ 估计目标 $g(\theta)$。对给定参数点假设二阶矩 $\math…”

控制收敛定理

“在概率论中它写作：若 $X n\to X$ 几乎必然，且 $ X n \le Y$、$\mathbb E[Y]<\infty$，则 $\mathbb E[X n]\to\mathbb E[X…”

单调收敛定理

“对部分和应用定理即得，这是逐项积分与 Tonelli 定理的雏形。在概率论中，它表现为期望对单调极限的连续性 $\mathbb E[X n]\uparrow\mathbb E[X]$（$0\…”

并集界

“两边取期望便得结论。由概率测度的可数次可加性，同样证明也给出 $\Pr(\cup {i\ge1}A i)\le\sum {i\ge1}\Pr(A i)$；这里索引必须可数。对任意不可数事件族…”

Goemans–Williamson Max-Cut 近似

“由期望线性性，不需要各边切割事件独立：”

Monte Carlo 积分

“设目标积分可写成随机变量的期望”

矩估计

“设模型参数 $\theta\in\Theta\subseteq\mathbb R^k$，选择 $k$ 个可积函数 $h 1,\ldots,h k$，用期望定义理论矩映射”

浮点求和：顺序、成对与补偿

“前缀和在精确结合运算下关注并行依赖结构，浮点输入还要同时说明每个前缀采用的加法树。点积、数值积分、统计均值、概率期望估计和快速 Fourier 变换都把大量局部结果归约为和，因此会继承本页的…”

自适应数据分析

“设隐藏样本 $S=(Z 1,\ldots,Z m)\sim D^m$。在第 $t$ 轮，分析者根据先前记录 $$ H {t 1}=(q 1,a 1,\ldots,q {t 1},a {t 1…”

线性探测

“在首页由理想完全随机函数给出、插入键集预先固定的经典分析中，成功查找与失败查找的近似期望探测数分别为”

统计查询模型

“统计查询学习器不访问单个样本，而向 oracle 提交有界函数 $\phi:\mathcal Z\to[ 1,1]$ 和容差 $\tau 0$。Oracle 返回某个 $v$，逼近期望并保证…”

Score 与 Fisher 信息

“若 score 二阶可积，单观测 Fisher 信息矩阵以期望定义为”

Rademacher 复杂度

“给定任意固定样本序列 $S=(Z 1,\ldots,Z m)$ 与实值函数类 $\mathcal F$，经验 Rademacher 复杂度定义为关于随机符号的期望 $$ \widehat{\…”

Lebesgue 积分

“概率论中的期望则是 $\mathbb E[X]=\int \Omega X,d\mathbb P$。离散求和与密度积分只是同一 Lebesgue 定义在计数测度或绝对连续分布下的坐标形式。样…”

状态值与动作值函数

“给定策略 $\pi$ 与折扣回报 $G t$，状态值和动作值定义为 $$ v \pi(s)=\mathbb E \pi[G t\mid S t=s], \qquad q \pi(s,a)=\…”

依概率收敛

“弱大数律与统计估计的一致性通常用依概率收敛表述。它位于几乎必然收敛和依分布收敛之间，并允许通过抽取子列恢复几乎必然收敛。要进一步控制均值或高阶矩，还需期望层面的统一可积性条件。”

协方差

“协方差建立在期望与方差之上，独立性在二阶矩有限时会使交叉项消失，但零协方差不能反推独立。对随机向量的坐标两两取协方差得到矩阵 $\Sigma$；任意 $a$ 都满足 $a^{\mathsf…”

完备统计量

“则称 $T$ 对分布族 ${Q \theta}$ 完备。可积性使零均值有定义；量词顺序则要求同一个 $g$ 在所有参数点都满足零期望，随后才推出它在每个 $Q \theta$ 下几乎处处为零。”

条件期望

“设 $X$ 是概率空间 $(\Omega,\mathcal F,\mathbb P)$ 上的可积随机变量，$\mathcal G\subseteq\mathcal F$ 是子 $\sigma…”

特征函数（概率）

“其中 $e^{itX}$ 取复数值，期望按实部与虚部分别定义；由 $ e^{itX} =1$，该期望对任何分布都存在。基本性质：$\varphi X(0)=1$，$ \varphi X(t)…”

损失函数与总体风险

“其中的平均是期望。若 $h$ 由随机训练样本选出，$R D(h)$ 在条件于 $h$ 后仍只对新观测取期望；学习定理再对训练样本的随机性作高概率陈述。定义要求损失可测且期望有意义。总体风险允…”

随机赌博机与伪遗憾

“伪遗憾先对奖励和策略随机性取期望，不等同于某次路径上“最优臂实际总奖励减算法奖励”的 realized regret。与最佳臂识别相比，本页评价整个交互过程的累计机会损失，而后者主要评价最…”

随机变量

“期望只依赖 $X$ 的分布，因此可在取值空间上积分；条件期望却还依赖 $X$ 与条件信息怎样共同出现。统计量也是随机变量，只是它从整份样本中提取数值。估计量这一函数、它在重复抽样下的分布和数…”

平均处理效应

“这里的平均由期望定义。这条等式是观测分布与潜在结果分布之间的桥。用样本均值、回归、逆概率处理加权或双重稳健估计逼近右端，才属于 estimation。”

率失真函数

“其中期望与互信息都按 $P XP {\widehat X\mid X}$ 形成的联合分布计算。对固定 $P X$ 和 $d$，$R(D)$ 随 $D$ 非增且为凸函数；改变源分布、重构字母表…”

均匀分布

“期望位于区间中点来自关于中点的对称性；方差则随区间长度的平方缩放。”

矩母函数

“定义域为使该期望有限的全体 $t\in\mathbb R$；由 $M X$ 的凸性，定义域是包含 $0$ 的区间，且 $M X(0)=1$。若 $M X$ 在 $0$ 的某个开邻域内有限，则…”

交叉熵

“在熵编码与概率模型评估中，熵给出无法消除的平均码长，KL 散度则量化使用错误分布造成的额外代价；语言模型与密度估计因此用交叉熵度量模型分布下的期望码长。当观测模型和支配测度已经指定时，样本交…”

级数绝对收敛

“函数项级数方面，Weierstrass M 判别法用一个绝对收敛的数值级数一举给出一致收敛；幂级数在收敛圆盘内部总是绝对收敛，这是逐项求导、逐项积分合法性的根源。在概率与测度论中，交换求和与…”

核均值嵌入

“令 $P$ 是 $\mathcal X$ 上的概率分布，$k$ 的 RKHS 为 $\mathcal H k$。若映射 $x\mapsto k x=k(\cdot,x)$ 强可测且 Boch…”

估计量、决策规则与风险

“点风险先固定真实参数，再对样本和规则内部随机性取期望：”

复杂性类 ZPP

“它由 RP、coRP 和期望共同刻画，并包含于 BPP。零错误范式常出现在哈希、几何与数论算法中；概率放大和重启分析则解释如何从单次成功下界推导期望运行时间。”

方差

“设实随机变量 $X$ 具有有限二阶矩 $\mathbb E[X^2]<\infty$。由 Cauchy–Schwarz 不等式，$\mathbb E X <\infty$，所以期望 $m=\…”

赌博机重要性加权估计

“在对抗赌博机中，学习器用历史可测的动作分布采样一个坐标，再以逆 propensity 构造关于本轮随机性的无偏估计。”

一阶矩方法

“概率方法用随机实验证明确定性对象存在，期望的线性性让一阶矩可拆成指标变量之和。Erdős–Rényi 模型中的边数、孤立点和固定子图计数都能直接使用这套分解；当仅有均值不足以证明 $X 0$…”

概率方法

“概率方法通过在有限或可测对象空间上定义随机对象，并证明某个目标事件 $E$ 的概率严格为正，推出至少存在一个确定对象满足该性质： $$ \Pr(E) 0\Longrightarrow E\n…”

对称化与 Ghost Sample

“总体期望 $Pf$ 看不见，样本均值 $P mf$ 看得见。对称化引入一份只存在于证明中的独立IID ghost sample $S'$，用它的经验均值代替总体期望；随后随机交换每对 $(Z…”

Kolmogorov 概率公理

“在这个框架上，条件概率重新规范正概率事件内的质量，随机变量把样本映射到可观察值，期望则对数值随机变量积分。离散、连续、混合与奇异分布都只是概率测度的不同形态，不需要各自建立一套公理。”

形式陈述 ​

反向链接

形式陈述