独立性

Statistical independence

若干事件、σ-代数或随机元素的所有有限联合概率都按边缘概率乘积分解。

领域: 分析与概率
条目类型: 定义

形式陈述

在满足Kolmogorov 概率公理的空间 $(\Omega,\mathcal F,\mathbb P)$ 中，事件族 $(A_i)_{i\in I}$ 称为相互独立，如果对任意互异的有限指标 $i_1,\ldots,i_k$ 都有

\mathbb P\!\left(\bigcap_{j=1}^{k}A_{i_j}\right) =\prod_{j=1}^{k}\mathbb P(A_{i_j}).

只检查 $k=2$ 得到的是两两独立；相互独立要求每个有限子族都满足乘积公式。量词中的“每个有限子族”不能由逐对检查替代。

子 $\sigma$ -代数族 $(\mathcal G_i)_{i\in I}$ 相互独立，是指从每个不同的 $\mathcal G_{i_j}$ 任取事件 $B_j$ 后，都有

\mathbb P\!\left(\bigcap_{j=1}^{k}B_j\right) =\prod_{j=1}^{k}\mathbb P(B_j).

随机元素 $X_i:(\Omega,\mathcal F)\to(S_i,\mathcal S_i)$ 相互独立，则定义为它们生成的 $\sigma$ -代数 $\sigma(X_i)$ 相互独立。对两个随机元素，这又等价于其联合分布满足

\mathcal L(X,Y)=\mathcal L(X)\otimes\mathcal L(Y).

若 $\mathbb P(B)>0$ ，两个事件独立也等价于条件概率不变： $\mathbb P(A\mid B)=\mathbb P(A)$ 。乘积公式仍是更稳健的定义，因为它对零概率事件同样有意义。

直觉

独立性说的是：知道一个对象的任何可测信息，都不会改变另一个对象的概率规律。“任何”这个量词把约束扩展到两个 $\sigma$ -代数中的所有事件；零协方差只检查一个乘积平均，某个条件概率只检查一对事件，都达不到同样强度。

从联合分布看，独立性选择了边缘分布所有可能耦合中的乘积耦合。边缘告诉每个坐标单独怎样变化，乘积测度规定它们组合时不再附加任何关联。它是精确的分布因子化性质，不等同于“没有明显关系”，也不直接表达因果上互不影响。

例子与边界

令 $X,Y$ 是两个独立公平比特，并令 $Z=X\oplus Y$ 。任意两者都独立：例如固定 $X$ 后， $Z$ 仍以相同概率取 $0$ 或 $1$ 。但三者恒满足

X\oplus Y\oplus Z=0,

所以

\mathbb P(X=0,Y=0,Z=0)=\frac14 \ne\frac18 =\mathbb P(X=0)\mathbb P(Y=0)\mathbb P(Z=0).

这里存在一个完全确定的三元约束，远非边缘上的细微差异；它说明两两独立为何不足以推出相互独立。

不相关也不足以推出独立。若 $U$ 关于零对称且有有限三阶矩，取 $X=U$ 、 $Y=U^2$ ，则 $\operatorname{Cov}(X,Y)=0$ ，但 $Y$ 完全由 $X$ 决定。联合正态向量中“不相关推出独立”成立，依靠的是正态分布的特殊结构；一般协方差定义无法给出这个结论。

条件化还可能破坏原有独立性。两个独立公平比特 $X,Y$ 在未观察时互不提供信息；一旦已知 $X+Y=1$ ，知道 $X=0$ 就能确定 $Y=1$ 。这类“共同结果已知后产生依赖”的现象说明，边缘独立与给定第三个变量后的条件独立是不同命题。

若 $X,Y$ 独立，任意可测函数 $f(X)$ 与 $g(Y)$ 仍独立，因为 $\sigma(f(X))\subseteq\sigma(X)$ 、 $\sigma(g(Y))\subseteq\sigma(Y)$ 。反方向通常不成立：把信息压缩后得到的两个函数独立，不能恢复原变量独立。

推论与应用

若 $X,Y$ 独立且乘积可积，则

\mathbb E[XY]=\mathbb E[X]\,\mathbb E[Y].

对于有限二阶矩变量，这进一步推出协方差为零；逻辑方向不能倒置。独立变量和的方差等于方差之和，也是先由乘积分解消去交叉项后得到的结论。

IID 样本在相互独立之外还要求同分布。相同边缘分布不能排除共同冲击、时间依赖或重复观测；而只有两两独立时，一些弱大数律仍可能成立，但依赖完整联合结构的乘积公式、集中界或极限定理未必保留。

概率图模型用条件独立编码结构，大数律和集中不等式则用独立性控制累积波动。实际应用应明确需要的是相互独立、两两独立、给定信息后的条件独立，还是某种混合或鞅差条件。把所有弱依赖笼统称作“近似独立”，会隐藏定理真正使用的量词。

参考资料

Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995, §4.
Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Springer, 2021, Chapters 1 and 8.
Joseph K. Blitzstein and Jessica Hwang, Introduction to Probability, 2nd ed., CRC Press, 2019, Chapter 3.

关系图谱63 个相邻概念 · 2 类关系

正在载入交互图谱…

前置三跳
前置二跳
前置一跳
当前条目
后续一跳
后续二跳
后续三跳

文字版关系按与当前条目的最短距离分组

类型化关系

使用的工具

贝叶斯诊断推断

“在这一模型层次内，Bayes 定理给出后验更新公式，条件概率则澄清灵敏度 $P(+\mid D)$ 与预测值 $P(D\mid+)$ 的方向差别；同一套基率校正远不止用于医学筛查。垃圾邮件过…”

Lovász 局部引理

“概率方法借独立性结构超越简单并集界，依赖图编码局部相互作用。超图染色、无重复词和 SAT 可满足性是典型应用；在变量模型中，Moser–Tardos 重抽样还把存在性证明变成构造算法。若坏事…”

Hoeffding 不等式

“不等式把独立性、期望和有界性组合成有限样本保证，并可视为大数律的定量强化。对有界 IID 被积函数，Monte Carlo 样本均值可直接使用这个非渐近界；它不同于中心极限定理给出的渐近正态…”

Borel–Cantelli 引理

“不需要任何独立性假设。第二 Borel–Cantelli 引理：若事件列相互独立且 $\sum {n}\mathbb P(A n)=\infty$，则”

中心极限定理

“Lindeberg–Lévy 中心极限定理：设 $X 1,X 2,\ldots$ 独立同分布，期望 $\mu=\mathbb E[X 1]$ 有限，方差 $\sigma^2=\operato…”

有界差分不等式

“设 $X 1,\ldots,X m$ 相互独立，$f:\mathcal X 1\times\cdots\times\mathcal X m\to\mathbb R$ 满足坐标有界差分条件：对…”

弱大数定律

“独立性给出 $\operatorname{Var}(\overline X n)=\sigma^2/n$，所以对每个 $\varepsilon 0$，Chebyshev 不等式给出”

强大数定律

“设 $X 1,X 2,\ldots$ 是同一概率空间上独立同分布的随机变量序列，且 $\mathbb E X 1 <\infty$。记共同期望为 $\mu=\mathbb E[X 1]$，样…”

并集界

“它与独立性的乘法规则解决不同问题：独立性帮助计算交集，并集界控制“至少一个失败”。需要更精细地利用局部依赖时，可转向容斥、Bonferroni 界或 Lovász 局部引理，而不能把独立性硬…”

Markov 链

“还应把 Markov 性与独立性分开：随机游走中 $X {n+1}$ 与 $X n$ 高度相关，Markov 性只约束"给定现在后过去失效"，而相邻变量独立反倒是"转移分布与当前状态无关"的…”

Erdős–Rényi 随机图

“固定标号顶点集 $[n]={1,\ldots,n}$，共有 $N=\binom n2$ 条候选无向边。模型 $G(n,p)$ 为每条候选边 $e$ 取相互独立、服从Bernoulli 分布的…”

Brownian 运动

“对 $0\le s<t$，$W t W s\sim N(0,t s)$，并且该增量与 $\mathcal F s$ 独立；”

Bernoulli 随机变量

“两个常见的边界误区。其一，取值 ${ 1,1}$ 的 Rademacher 变量不是同一参数化：虽然 $R=2X 1$ 只差一个仿射变换，矩的公式却不同（如 $\operatorname{V…”

秘密共享

“秘密共享方案把随机秘密 $S$ 编码为由参与者集合 $[n]$ 索引的份额 $(S 1,\ldots,S n)$。访问结构 $\mathcal A$ 指定获授权集合：每个 $A\in\mat…”

独立同分布样本

“设 ((\mathcal Z,\mathcal A)) 是可测空间，(D) 是其上的概率分布。随机变量 (Z 1,\ldots,Z m) 若相互独立且每个都服从 (D)，就称为来自 (D)…”

Student t 分布

“设 $Z$ 服从标准正态分布，$V$ 服从卡方分布 $\chi \nu^2$，且 $Z$ 与 $V$ 独立。随机变量”

F 分布

“设 $U,V$ 分别服从卡方分布 $U\sim\chi {d 1}^2$、$V\sim\chi {d 2}^2$，且二者独立。随机变量”

置换检验

“在统计检验中，设有限群 $G$ 作用于数据 $x$，零假设通过交换性或随机化独立性保证 $X\overset d=gX$ 对每个 $g\in G$ 成立。给定大值不利的统计量 $T$，置换…”

有种子随机性提取器

“若对每个满足 $H \infty(X)\ge k$ 的 $n$ bit 随机变量 $X$，以及按独立性定义与 $X$ 独立的均匀种子 $S\leftarrow U d$，都有”

因果 Markov 条件

“设结构因果模型的内生变量 $V=(V 1,\ldots,V k)$ 由一个有向无环图 $G$ 索引。以下符号使用条件独立语义。局部因果 Markov 条件要求每个节点在给定其父节点后，与其非…”

协方差

“协方差建立在期望与方差之上，独立性在二阶矩有限时会使交叉项消失，但零协方差不能反推独立。对随机向量的坐标两两取协方差得到矩阵 $\Sigma$；任意 $a$ 都满足 $a^{\mathsf…”

完美保密

“在密钥、消息与密文共同定义的概率空间中，设密钥 $K$ 与消息 $M$ 按独立性要求相互独立，密文 $C=\operatorname{Enc} K(M)$，并把加密算法的内部随机性计入该联合…”

条件交换性

“对二元处理，强条件交换性使用条件独立，通常写为”

条件概率

“这个条件式刻画很直观，但独立性的乘积定义更基本，因为它在 $\mathbb P(B)=0$ 时仍有意义，也能自然推广到事件族和 $\sigma$ 代数族。”

特征函数（概率）

“其中 $e^{itX}$ 取复数值，期望按实部与虚部分别定义；由 $ e^{itX} =1$，该期望对任何分布都存在。基本性质：$\varphi X(0)=1$，$ \varphi X(t)…”

随机变量

“有限个实随机变量合成随机向量，按时间索引的一族随机变量形成随机过程。联合分布记录多个坐标怎样同现，独立性则比较它们生成的 $\sigma$ 代数。单变量分布、联合规律和信息结构由此被放在同一…”

卡方分布

“若随机向量 $Z=(Z 1,\ldots,Z \nu)$ 的各分量相互独立，且分别服从标准正态分布 $N(0,1)$，则”

矩母函数

“此时 $M X$ 唯一确定 $X$ 的分布。若 $X$ 与 $Y$ 独立且矩母函数在公共区间上有限，则 $M {X+Y}=M X,M Y$。累积量母函数定义为 $K X(t)=\log M…”

几何分布

“几何分布是一类离散概率分布，专门描述独立同分布 Bernoulli 试验中首次成功前的等待长度；从零还是从一开始计数必须随定义固定。”

公共币与私有币协议

“私有币协议则让 Alice 持有 $R A$、Bob 持有 $R B$，两条随机带彼此独立并对另一方隐藏。任何想让双方共同使用的随机选择都必须通过实际消息协调。私有币不是“双方共享猜测”：A…”

二项分布

“取 $n\in\mathbb N 0$、$p\in[0,1]$，令 $B 1,\ldots,B n$ 是相互独立且都服从 Bernoulli$(p)$ 的随机变量。成功总数”

动作独立与交换

“这里的“独立”描述转移之间的语义干扰，与概率论中随机事件满足 $P(A\cap B)=P(A)P(B)$ 的概率独立性无关。前者问执行次序能否安全交换，后者问联合分布能否分解；名称相同不意味…”

乘积测度

“测度与 $\sigma$ 代数经笛卡尔积形成联合空间，Tonelli 定理和Fubini 定理随后允许按坐标积分。独立随机变量的联合分布等于边缘分布的乘积测度；固定边缘后，其他联合分布构成不…”

概率放大

“放大同样出现在PCP 定理的参数调整中，但不能只把“重复”当成免费操作：证明 oracle 必须在随机选择前固定，重复验证还会增加随机位和查询次数。交互协议的并行重复也可能需要专门定理；只有…”

形式陈述 ​

反向链接

形式陈述