形式陈述
在满足Kolmogorov 概率公理 公理库 Kolmogorov 概率公理 Kolmogorov axioms · Probability axioms 把概率定义为样本空间上总质量为一的可数可加测度。 的空间 ( Ω , F , P ) 中,设 A , B ∈ F 且 P ( B ) > 0 。事件 A 在条件 B 下的概率定义为
P ( A ∣ B ) = P ( A ∩ B ) P ( B ) . 固定 B 后,A ↦ P ( A ∣ B ) 本身是 F 上的概率测度:非负性来自分子;P ( Ω ∣ B ) = 1 ;而对两两不交的 A n ,集合 A n ∩ B 仍两两不交,因此可数可加性由原测度继承。条件化由此在 B 内建立一套完整的新概率,三条概率公理依然成立。
将定义移项得到乘法公式
P ( A ∩ B ) = P ( B ) P ( A ∣ B ) . 反复使用它可把联合事件按顺序展开。只要每一步的条件事件具有正概率,
P ( ⋂ k = 1 n A k ) = P ( A 1 ) ∏ k = 2 n P ( A k | ⋂ j < k A j ) . 同一个交集还可以从另一方向分解;比较两种分解便得到Bayes 定理 公理库 Bayes 定理 Bayes' theorem · Bayes' rule 用先验与证据在各假设下的可能性反转条件方向,得到归一化后验。 。
直觉
条件化保留事件 A 的样本点组成,只更换比较所用的总体。已知 B 发生后,B c 中的样本被排除,剩余质量再除以 P ( B ) 归一化。于是 P ( A ∣ B ) 测量 A ∩ B 在 B 内所占的比例;A 在整个 Ω 中的大小由 P ( A ) 描述。
这也解释了条件概率的方向性。P ( A ∣ B ) 的分母是 B ,P ( B ∣ A ) 的分母是 A ;两者描述不同问题,通常不会相等。条件化还可能制造、消除或反转关联,因为删去样本空间的一部分会改变余下各组的比例。它只是一条概率更新规则,本身不提供因果方向。
例子与边界
从一副标准扑克牌中不放回地抽两张。令 A 表示“第二张是 A”,B 表示“第一张是 A”。对称性给出 P ( A ) = 4 / 52 ,但已知第一张占用了一张 A 后,剩余 51 张中只有 3 张 A,所以
P ( A ∣ B ) = 3 51 < 4 52 . 若改令 C 表示“第一张不是 A”,则
P ( A ∣ C ) = 4 51 . 同一个目标事件因已知信息不同而得到不同概率;不放回抽样改变了剩余牌堆的组成,第二张牌本身并没有在事后被改写。
再看方向错误。单抽一张牌,令 D 表示“抽到 A”、S 表示“抽到黑桃”,则
P ( D ∣ S ) = 1 13 , P ( S ∣ D ) = 1 4 . 两式使用同一个交集“黑桃 A”,却以不同事件归一化。知道交集概率并不足以判断条件概率,还必须知道条件事件的概率。
当 P ( B ) = 0 时,初等比值没有定义。连续随机变量仍可在 X = x 下条件化,只是单个零概率纤维上的条件值无法由 0 / 0 比值决定。此时需要正则条件分布 公理库 条件分布 Conditional distribution · Regular conditional distribution 给定观测值后随机量的概率律,以及它与原联合分布相容的核表示。 或条件期望 公理库 条件期望 Conditional expectation 给定子 σ-代数后可测、并在所有已知事件上保持原积分的随机变量。 ;所得版本通常也只在条件变量分布的几乎处处意义下唯一。
条件事件概率很小时,P ( A ∣ B ) 仍然可以稳定地位于 [ 0 , 1 ] ,但从数据估计它会困难得多:有效样本只剩落在 B 中的部分。这个统计困难不改变定义,却提醒人们不要把数学上可定义与有限数据下可精确估计混为一谈。
推论与应用
若 P ( B ) > 0 ,事件 A 与 B 独立当且仅当
P ( A ∣ B ) = P ( A ) . 这个条件式刻画很直观,但独立性 公理库 独立性 Statistical independence 若干事件、σ-代数或随机元素的所有有限联合概率都按边缘概率乘积分解。 的乘积定义更基本,因为它在 P ( B ) = 0 时仍有意义,也能自然推广到事件族和 σ -代数族。
若 ( B i ) 构成可数可测划分,全概率公式 公理库 全概率公式 Law of total probability 沿有限或可数可测划分分解事件,并按各分块概率加权合并。 先在每个 B i 内计算,再按 P ( B i ) 混合。Bayes 定理随后反转条件方向。乘法公式、全概率与 Bayes 依次完成“交集分解—加总—重新归一化”,构成同一条推导链。
马尔可夫链用条件概率描述给定当前状态后的下一步;诊断与分类问题比较给定观测后的类别概率;序贯决策则不断把新信息加入条件集合。应用时必须写清条件位于竖线哪一侧,以及条件对象是正概率事件、随机变量生成的信息,还是需要概率核处理的逐点条件。
参考资料
Dimitri P. Bertsekas and John N. Tsitsiklis, Introduction to Probability , 2nd ed., Athena Scientific, 2008, §1.4.
Joseph K. Blitzstein and Jessica Hwang, Introduction to Probability , 2nd ed., CRC Press, 2019, Chapters 2–3.
Patrick Billingsley, Probability and Measure , 3rd ed., Wiley, 1995, §4.