独立性

期望的乘积分解，以及它不能反推什么 ​

先把观察值 $X,Y$ 分别变成两个数值评分 $g(X),h(Y)$。这里 $g,h$ 是可测函数，“有界”保证这些评分有有限期望公理库期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分，概括加权平均与总体质量平衡。。独立性等价于对所有这样的 $g,h$ 都有

“独立推出等式”可先对指标函数验证，再推广到简单函数和有界函数；反方向只需选 $g={\mathbf{1}}_A,h={\mathbf{1}}_B$。这也说明，判别独立性需要检验一整类函数，而不只是 $g(x)=x,h(y)=y$。

当 $g(X),h(Y)$ 分别绝对可积时，上式仍成立，且独立性保证

这里非负部分可以使用 Tonelli 定理公理库Tonelli 定理Tonelli's theorem非负可测函数的二重积分与两种迭代积分相等，允许共同取无穷。，有符号积分再用 Fubini 定理公理库Fubini 定理Fubini's theorem在适当可积条件下，多重积分等于任意次序的迭代积分。。可积性保障公式有定义；不能先出现 $\mathrm{\infty }-\mathrm{\infty }$，再谈“期望公理库期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分，概括加权平均与总体质量平衡。相乘”。

若 $X,Y$ 有有限二阶矩，独立性推出 $\mathrm{Cov}(X,Y)=0$，进而使和的方差相加。但是零协方差只排除了线性关联。例如令 $X$ 在 $[-1,1]$ 上均匀分布，$Y=X^2$，则

然而 $Y$ 完全由 $X$ 决定，而且事件 $\{|X|\le 1/2\}$ 与 $\{Y\le 1/4\}$ 是同一个概率为 $1/2$ 的事件，不可能独立。这是“非线性依赖逃过协方差检查”的直接例子。

实际上它甚至满足条件期望公理库条件期望Conditional expectation以信息分组的加权平均建立条件期望直觉，再连接测度定义、最小均方预测、塔式性质和可计算反例。等式 $E[X\mid Y]=0=E[X]$，因为给定平方后正负号仍对称。这叫均值独立，仍弱于分布独立。完整的条件期望判据是：对所有有界可测 $g$，

多个事件：两两检查为什么不够 ​

事件 $A_1,\dots ,A_n$ 相互独立，要求每个非空指标集合 $J\subseteq \{1,\dots ,n\}$ 都满足

只检查 $|J|=2$ 得到的是两两独立；只检查包含全部事件的那个等式，也不足以得到相互独立。无限事件族的定义同样只要求：任意有限子族满足上述条件。无须另加一个未经定义的“无限乘积等式”。

一个能直接看出差异的例子是：独立抛掷两枚公平硬币，用 $X,Y\in \{0,1\}$ 表示结果，再令 $Z=X\oplus Y$，其中 $\oplus$ 表示异或：两个比特不同时取 $1$，相同时取 $0$。

任取两列，四种取值组合都以概率 $1/4$ 出现，因此任意两个变量独立。但前两列完全决定第三列；尤其

这里的依赖藏在三者共同满足的约束中，任何两列都看不见它。具体地，知道 $X$ 一列时，$Z$ 仍有一半机会为零；同时知道 $X,Y$ 时，$Z$ 却已确定。因此“分别看不提供信息”不能替代“合起来看也不提供信息”。这正是相互独立要求检验每个有限子族的原因，也说明只证明两两乘积等式，不能把结论升级为相互独立。

条件独立：信息增加，依赖也会改变 ​

条件独立研究的是“给定一份背景信息之后”是否独立。给定随机变量 $Z$，可用下式定义 $X\perp Y\mid Z$：对所有有界可测 $g,h$，

这与无条件独立没有单向的包含关系。看两种机制不同的例子。[2]

共同原因会制造无条件相关。先以相同概率选择硬币类型 $Z$：一种正面概率为 $0.1$，另一种为 $0.9$；再用选中的硬币独立抛两次，记正面指标为 $X,Y$。给定类型，两次结果独立。但隐藏类型后，

由于 $0.41\ne 0.25$，两次结果不独立。观察第一次正面，会让我们更相信手中是偏向正面的硬币，从而改变对第二次的预测。具体说，$P(Y=1\mid X=1)=0.41/0.5=0.82$，从原来的 $0.5$ 升到了 $0.82$；变化来自对隐藏类型的学习，两次抛掷在类型固定后仍独立。

共同筛选也会制造相关。独立抛两枚公平硬币后，条件化在“恰有一枚正面”这个事件上。筛选前两次独立；筛选后知道第一枚正面，就确定第二枚反面。即使原变量完全独立，增加一个同时依赖它们的条件，也可能破坏独立性。

因此在概率图模型或随机算法中，应写清“相对于哪份信息独立”。一个过程的后续随机数可以独立于过去，但过去与未来的统计量在条件化某个共同结果后未必仍独立。

独立与同分布是两个不同假设 ​

“独立同分布”同时提出两项要求：各变量彼此独立，并且边缘分布相同。不断重复同一个公平比特，得到的序列每项都服从 Bernoulli$(1/2)$，却高度依赖；分别抛掷不同偏置的独立硬币，则独立但不同分布。

这一拆分在定理中很有用。求和的方差可在两两独立与有限方差下分解；经典独立样本的浓缩论证通常需要更强的联合结构；有些大数定律又允许适当的弱依赖。正确的使用方式是检查所用定理需要哪一级独立性，而不是把所有随机量都笼统称为 i.i.d.。

一个重要闭包性质：各自加工不会凭空制造依赖 ​

若 $X,Y$ 独立，$g,h$ 为可测函数，则 $g(X),h(Y)$ 仍然独立。因为

它仍属于关于 $X$ 的信息；同理，关于 $h(Y)$ 的事件仍属于关于 $Y$ 的信息。

更一般地，相互独立的一族变量可以分成不相交的组，再分别对每组作可测运算。例如独立的 $X_1,X_2,X_3,X_4$ 给出独立的 $X_1+X_2$ 与 $max(X_3,X_4)$。不相交的组很重要：$X_1+X_2$ 与 $X_2+X_3$ 共享 $X_2$，上述结论就不适用。例如三个变量是独立公平比特时，两项和的协方差为 $\mathrm{Var}(X_2)=1/4$；展开协方差后，不同下标之间的项全为零，只剩共享比特自身的波动，所以两项和确实不独立。

这个性质解释了独立性的真正力量：它不仅适用于原始读数，还适用于所有分别计算出来的统计量。另一方面，$X$ 与 $g(X)$ 一般不独立；对于实值 $g(X)$，若二者确实独立，那么 $g(X)$ 必须几乎处处为常数。直观上，一个已经完全知道的量，不可能同时保留与这份知识无关的非退化随机性。

阅读连接 ​

联合分布公理库联合分布Joint distribution · 联合概率分布多个随机元素组成的向量所推出的概率测度，完整记录边缘与依赖结构。回答“变量怎样一起出现”；独立性要求它分解成边缘分布的乘积。条件概率公理库条件概率Conditional probability在已知正概率事件发生后，把交集概率重新规范到该事件内部。处理事件筛选，条件期望公理库条件期望Conditional expectation以信息分组的加权平均建立条件期望直觉，再连接测度定义、最小均方预测、塔式性质和可计算反例。则把“信息不改变规律”推广到可测函数。进入 独立同分布样本公理库独立同分布样本IID sample · Independent and identically distributed sample以乘积分布描述来自同一总体的独立重复观测。 与学习理论时，应保留独立性、同分布性和条件化对象这三项区分。

概率公理约束每个事件如何获得概率；独立性则额外约束多个事件的联合概率。建模时应说明这个额外假设来自怎样的抽样或随机化机制。

对两条具体无限比特序列，van Lambalgen 定理公理库van Lambalgen 定理Van Lambalgen theorem交错序列联合随机当且仅当第一条随机、第二条相对第一条随机；用截面预算解释定理并用重复序列反驳边际随机即联合随机。把联合算法随机性刻画为一条随机、另一条相对于它随机。两边各自随机仍不够：交错同一条随机序列会使每对相邻比特相同。这是有效检验层面的关系，不能据一对有限样本直接断言随机变量独立。