掷两枚互不影响的公平硬币,知道第一枚正面朝上,不会改变第二枚出现正面的概率。独立性把这幅图像写成一个精确条件:关于一个对象得到的信息,不改变另一个对象的概率规律。它描述的是一个联合概率模型,而不是“看起来没有关系”,也不是两个事件不能同时发生。
学习独立性最有效的顺序,是先看概率怎样相乘,再看这一要求如何扩展到多个事件、随机变量与信息集合。许多误用恰好发生在这些层次之间。[1]
形式陈述
两个事件:为什么是乘法
在满足Kolmogorov 概率公理理路Kolmogorov 概率公理Kolmogorov axioms · Probability axioms把概率定义为样本空间上总质量为一的可数可加测度。的空间 上,事件 独立,当且仅当
当 时,这等价于条件概率理路条件概率Conditional probability在已知正概率事件发生后,把交集概率重新规范到该事件内部。等式 :筛选出发生了 的试验后, 的发生比例保持不变。乘法定义还适用于 ,因此比用条件概率作定义更完整。
设 。独立性其实确定了整张二乘二概率表,而不只确定一个交集:
|
|
|
合计 |
|
|
|
|
|
|
|
|
| 合计 |
|
|
|
例如 。所以把任一事件换成补事件,独立性仍然成立。它不是四个需要分开检查的假设。
互斥描述不能共现,独立描述概率不变。若 互斥且二者概率均为正,那么 ,它们一定不独立。反过来,概率为零或一的事件与任意事件独立;这是概率意义上的结论,不要求该事件在集合意义上就是空集或全集。
随机变量:要求整套分布都能分解
随机变量 独立,指对其取值空间中的任意可测集合 ,
对于实随机变量,检验所有半无限区间已经足够,即联合分布理路联合分布Joint distribution · 联合概率分布多个随机元素组成的向量所推出的概率测度,完整记录边缘与依赖结构。的分布函数满足
这是因为这类区间生成实数上的 Borel 集合;从生成集合扩展到全部可测集合,需要测度唯一性,而不是再增加一种独立性假设。[1]
在离散情形,它等价于联合概率质量函数的分解:
在联合密度存在时,对应条件是 几乎处处成立。只把一个密度公式改动在零测集上,不会改变分布,也不会改变独立性。若联合分布本身没有密度,就应回到事件或分布函数定义,不能强行使用密度判据。
更统一的说法是: 独立,当且仅当它们产生的两个信息集合 独立。两个 -代数 独立,表示每个 与每个 独立。这里 收集了“只观察 就能判断”的全部事件。对有限族 ,相互独立要求对每组可测 都有
令未选坐标的 为整个取值空间,即包含全部子族的条件。对应地,-代数族相互独立要求对每个 有 ;无限族只要求每个有限子族满足它。
若 是各坐标的律,那么独立性等价于联合律为乘积测度 ,定义在乘积 -代数上。证明是两种概率测度在每个可测矩形 上相等;矩形对有限交封闭并生成该 -代数,有限测度唯一性将等式推广到全部可测集。反方向只需把联合乘积律应用于矩形。这个证明对一般可测取值空间的有限乘积也成立,不必假设密度存在。[1,Theorem 2.1.11]
直觉
期望的乘积分解,以及它不能反推什么
先把观察值 分别变成两个数值评分 。这里 是可测函数,“有界”保证这些评分有有限期望理路期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分,概括加权平均与总体质量平衡。。独立性等价于对所有这样的 都有
“独立推出等式”可先对指标函数验证,再推广到简单函数和有界函数;反方向只需选 。这也说明,判别独立性需要检验一整类函数,而不只是 。
当 分别绝对可积时,上式仍成立,且独立性保证
这里非负部分可以使用 Tonelli 定理理路Tonelli 定理Tonelli's theorem非负可测函数的二重积分与两种迭代积分相等,允许共同取无穷。,有符号积分再用 Fubini 定理理路Fubini 定理Fubini's theorem在适当可积条件下,多重积分等于任意次序的迭代积分。。可积性保障公式有定义;不能先出现 ,再谈“期望理路期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分,概括加权平均与总体质量平衡。相乘”。
若 有有限二阶矩,独立性推出 ,进而使和的方差相加。但是零协方差只排除了线性关联。例如令 在 上均匀分布,,则
然而 完全由 决定,而且事件 与 是同一个概率为 的事件,不可能独立。这是“非线性依赖逃过协方差检查”的直接例子。
实际上它甚至满足条件期望理路条件期望Conditional expectation以信息分组的加权平均建立条件期望直觉,再连接测度定义、最小均方预测、塔式性质和可计算反例。等式 ,因为给定平方后正负号仍对称。这叫均值独立,仍弱于分布独立。完整的条件期望判据是:对所有有界可测 ,
这里对每个固定 分别断言几乎处处相等,不能未经论证就说存在一个同时适用于所有不可数多个 的零例外集。证明可直接检验条件期望定义:若独立,对任意 ,有 ,故右边的常数是条件期望的一个版本;反过来取 ,再对 积分,就恢复 。这也不需要给零概率事件 强行赋一个条件概率。
例子与边界
多个事件:两两检查为什么不够
事件 相互独立,要求每个非空指标集合 都满足
只检查 得到的是两两独立;只检查包含全部事件的那个等式,也不足以得到相互独立。无限事件族的定义同样只要求:任意有限子族满足上述条件。无须另加一个未经定义的“无限乘积等式”。
一个能直接看出差异的例子是:独立抛掷两枚公平硬币,用 表示结果,再令 ,其中 表示异或:两个比特不同时取 ,相同时取 。
|
|
|
概率 |
| 0 |
0 |
0 |
|
| 0 |
1 |
1 |
|
| 1 |
0 |
1 |
|
| 1 |
1 |
0 |
|
任取两列,四种取值组合都以概率 出现,因此任意两个变量独立。但前两列完全决定第三列;尤其
这里的依赖藏在三者共同满足的约束中,任何两列都看不见它。具体地,知道 一列时, 仍有一半机会为零;同时知道 时, 却已确定。因此“分别看不提供信息”不能替代“合起来看也不提供信息”。这正是相互独立要求检验每个有限子族的原因,也说明只证明两两乘积等式,不能把结论升级为相互独立。
条件独立:信息增加,依赖也会改变
条件独立研究的是“给定一份背景信息之后”是否独立。给定随机变量 ,可用下式定义 :对所有有界可测 ,
其中 表示对 取条件期望,每个固定的函数对 各自有一个几乎处处等式。这样不必先假设条件密度或正概率条件化单点存在。
这与无条件独立没有单向的包含关系。看两种机制不同的例子。[2]
共同原因会制造无条件相关。先以相同概率选择硬币类型 :一种正面概率为 ,另一种为 ;再用选中的硬币独立抛两次,记正面指标为 。给定类型,两次结果独立。但隐藏类型后,
由于 ,两次结果不独立。观察第一次正面,会让我们更相信手中是偏向正面的硬币,从而改变对第二次的预测。具体说,,从原来的 升到了 ;变化来自对隐藏类型的学习,两次抛掷在类型固定后仍独立。
共同筛选也会制造相关。独立抛两枚公平硬币后,条件化在“恰有一枚正面”这个事件上。筛选前两次独立;筛选后知道第一枚正面,就确定第二枚反面。即使原变量完全独立,增加一个同时依赖它们的条件,也可能破坏独立性。
因此在概率图模型或随机算法中,应写清“相对于哪份信息独立”。一个过程的后续随机数可以独立于过去,但过去与未来的统计量在条件化某个共同结果后未必仍独立。
独立与同分布是两个不同假设
“独立同分布”同时提出两项要求:各变量彼此独立,并且边缘分布相同。不断重复同一个公平比特,得到的序列每项都服从 Bernoulli,却高度依赖;分别抛掷不同偏置的独立硬币,则独立但不同分布。
这一拆分在定理中很有用。求和的方差可在两两独立与有限方差下分解;经典独立样本的浓缩论证通常需要更强的联合结构;有些大数定律又允许适当的弱依赖。正确的使用方式是检查所用定理需要哪一级独立性,而不是把所有随机量都笼统称为 i.i.d.。
推论与应用
一个重要闭包性质:各自加工不会凭空制造依赖
若 独立, 为可测函数,则 仍然独立。因为
它仍属于关于 的信息;同理,关于 的事件仍属于关于 的信息。
更一般地,相互独立的一族变量可以分成不相交的组,再分别对每组作可测运算。证明需要把原始坐标事件扩展到整组信息:对每个指标组 ,取所有只限制其中有限多个坐标的柱事件,构成包含 、对有限交封闭的生成族 。不相交性使不同组各取一个柱事件时,乘积等式由原坐标的相互独立得到。
固定其他组的柱事件之交为 ,则 与 是总质量同为 的两个有限测度,在 上相等。生成族唯一性把等式扩展到 ;再依次对其他组作同样扩展,便得到任意有限多个组的信息 -代数相互独立。对每组作可测函数,其输出事件仍属于该组信息,故输出也独立。这个有限子族论证也覆盖无限指标组。[1,Theorems 2.1.7、2.1.9–2.1.10]
例如独立的 给出独立的 与 。不相交的组很重要: 与 共享 ,上述结论就不适用。例如三个变量是独立公平比特时,两项和的协方差为 ;展开协方差后,不同下标之间的项全为零,只剩共享比特自身的波动,所以两项和确实不独立。
这个性质解释了独立性的真正力量:它不仅适用于原始读数,还适用于所有分别计算出来的统计量。另一方面, 与 一般不独立;对于实值 ,若二者确实独立,那么 必须几乎处处为常数。证明令 ,则 ,所以任何事件 都与自身独立,。特别地, 的 CDF 只能为 或 。因 有限实值,CDF 的两端极限给出有限切点 ;从右连续性和从左极限得到 、,故 。这里有限实值及实 Borel 结构不可省略。直观上,一个已经完全知道的量,不可能同时保留与这份知识无关的非退化随机性。
阅读连接
联合分布理路联合分布Joint distribution · 联合概率分布多个随机元素组成的向量所推出的概率测度,完整记录边缘与依赖结构。回答“变量怎样一起出现”;独立性要求它分解成边缘分布的乘积。条件概率理路条件概率Conditional probability在已知正概率事件发生后,把交集概率重新规范到该事件内部。处理事件筛选,条件期望理路条件期望Conditional expectation以信息分组的加权平均建立条件期望直觉,再连接测度定义、最小均方预测、塔式性质和可计算反例。则把“信息不改变规律”推广到可测函数。进入 独立同分布样本理路独立同分布样本IID sample · Independent and identically distributed sample以乘积分布描述来自同一总体的独立重复观测。 与学习理论时,应保留独立性、同分布性和条件化对象这三项区分。
概率公理约束每个事件如何获得概率;独立性则额外约束多个事件的联合概率。建模时应说明这个额外假设来自怎样的抽样或随机化机制。
对两条具体无限比特序列,van Lambalgen 定理理路van Lambalgen 定理Van Lambalgen theorem交错序列联合随机当且仅当第一条随机、第二条相对第一条随机;用截面预算解释定理并用重复序列反驳边际随机即联合随机。把联合算法随机性刻画为一条随机、另一条相对于它随机。两边各自随机仍不够:交错同一条随机序列会使每对相邻比特相同。这是有效检验层面的关系,不能据一对有限样本直接断言随机变量独立。
参考资料
- Hossein Pishro-Nik, Introduction to Probability, Statistics, and Random Processes, 作者开放网络教材,§1.4.1 Independence,访问于 2026-10-14;事件乘积定义、补事件与相互独立。
[1] Rick Durrett, Probability: Theory and Examples, 第 5 版作者稿,2019-01-11,§2.1,Theorems 2.1.7–2.1.13,印刷 pp.46–49;Appendix A.1 的 Theorems A.1.4–A.1.5,pp.456–458;Example 4.1.7,pp.209–210。分别核对生成族扩展、不相交分组、乘积律与积分以及条件期望检验。作者公开稿。
[2] Robin J. Evans, Graphical Models,Conditional Independence 一章。作者在线教材,§§2.1–2.2,Definition 2.1、Theorem 2.1 及其后关于几乎处处版本的 Remark;讨论条件独立与条件化后的变化。文中密度的逐点写法须按其脚注理解为几乎处处,本页使用条件期望形式。
[3] Joseph K. Blitzstein and Jessica Hwang, Introduction to Probability, 2nd ed., CRC Press, 2019,条件概率、联合分布与条件期望章节,适合配合离散例子阅读。