形式陈述
取满足Kolmogorov 概率公理 理路 Kolmogorov 概率公理 Kolmogorov axioms · Probability axioms 把概率定义为样本空间上总质量为一的可数可加测度。 的空间 ( Ω , F , P ) 。其中 Ω 收集可能结果,F 收集模型赋予概率的事件,P 指定这些概率。设 A , B ∈ F 且 P ( B ) > 0 。事件 A 在条件 B 下的概率定义为
P ( A ∣ B ) = P ( A ∩ B ) P ( B ) . 固定 B 后,A ↦ P ( A ∣ B ) 本身是 F 上的概率测度:非负性来自分子;P ( Ω ∣ B ) = 1 ;而对两两不交的 A n ,集合 A n ∩ B 仍两两不交,因此可数可加性由原测度继承。这里的新概率可以仍写在原来的事件集合 F 上,只是 B 外的部分全部获得零质量。例如 P ( B ∣ B ) = 1 、P ( B c ∣ B ) = 0 。这说明“缩小样本空间”是一种便于理解的说法,不必真的另建一个试验。
由于 A ∩ B ⊆ B ,分子不会大于分母,故条件概率仍在 [ 0 , 1 ] 内。将定义移项得到乘法公式
P ( A ∩ B ) = P ( B ) P ( A ∣ B ) . 反复使用它可把联合事件按顺序展开。对整数 n ≥ 1 ,只要每一步的条件事件具有正概率,
P ( ⋂ k = 1 n A k ) = P ( A 1 ) ∏ k = 2 n P ( A k | ⋂ j < k A j ) . 同一个交集还可以从另一方向分解;比较两种分解便得到Bayes 定理 理路 Bayes 定理 Bayes' theorem · Bayes' rule 用先验与证据在各假设下的可能性反转条件方向,得到归一化后验。 。
直觉
条件化保留事件 A 的样本点组成,只更换比较所用的总体。已知 B 发生后,B c 中的样本被排除,剩余质量再除以 P ( B ) 归一化。于是 P ( A ∣ B ) 测量 A ∩ B 在 B 内所占的比例;A 在整个 Ω 中的大小由 P ( A ) 描述。
条件还可能让原本独立的事件相关。独立抛两枚公平硬币,已知“恰有一枚正面”后,只剩 HT 与 TH 两个等可能结果;第一枚为正面时,第二枚为正面的条件概率变成 0 。依赖来自筛选留下的联合结果,而不是硬币之间产生了物理作用。
筛选后还必须保留原来的相对权重,不能把留下的结果一律当成等可能。例如一个三结果试验中,P ( { a } ) = 1 / 2 、P ( { b } ) = 1 / 3 、P ( { c } ) = 1 / 6 ;已知结果属于 B = { a , b } 后,结果为 a 的概率是 ( 1 / 2 ) / ( 5 / 6 ) = 3 / 5 ,而非 1 / 2 。只有原来等可能的有限样本,才可以直接用结果个数相除。
归一化的分母也解释了条件概率的方向性。P ( A ∣ B ) 的分母是 B ,P ( B ∣ A ) 的分母是 A ;两者描述不同问题,通常不会相等。条件化还可能制造、消除或反转关联,因为删去样本空间的一部分会改变余下各组的比例。它只是一条概率更新规则,本身不提供因果方向。
例子与边界
从一副标准扑克牌中不放回地抽两张。令 A 表示“第二张是 A”,B 表示“第一张是 A”。对称性给出 P ( A ) = 4 / 52 ,但已知第一张占用了一张 A 后,剩余 51 张中只有 3 张 A,所以
P ( A ∣ B ) = 3 51 < 4 52 . 若改令 C 表示“第一张不是 A”,则
P ( A ∣ C ) = 4 51 . 同一个目标事件因已知信息不同而得到不同概率;不放回抽样改变了剩余牌堆的组成,第二张牌本身并没有在事后被改写。把两种信息重新混合,就恢复无条件概率:
4 52 3 51 + 48 52 4 51 = 4 52 . 权重是第一张牌属于两类的概率;不能对 3 / 51 与 4 / 51 直接取算术平均,因为两类并不等可能。
再看方向错误。单抽一张牌,令 D 表示“抽到 A”、S 表示“抽到黑桃”,则
P ( D ∣ S ) = 1 13 , P ( S ∣ D ) = 1 4 . 两式使用同一个交集“黑桃 A”,却以不同事件归一化。知道交集概率并不足以判断条件概率,还必须知道条件事件的概率。
当 P ( B ) = 0 时,初等比值没有定义。连续随机变量仍可在 X = x 下条件化,只是单个零概率纤维上的条件值无法由 0 / 0 比值决定。此时需要正则条件分布 理路 条件分布 Conditional distribution · Regular conditional distribution 给定观测值后随机量的概率律,以及它与原联合分布相容的核表示。 或条件期望 理路 条件期望 Conditional expectation 以信息分组的加权平均建立条件期望直觉,再连接测度定义、最小均方预测、塔式性质和可计算反例。 ;所得版本通常也只在条件变量分布的几乎处处意义下唯一。
条件事件概率很小时,P ( A ∣ B ) 仍然可以稳定地位于 [ 0 , 1 ] ,但从数据估计它会困难得多:有效样本只剩落在 B 中的部分。这个统计困难不改变定义,却提醒人们不要把数学上可定义与有限数据下可精确估计混为一谈。
推论与应用
若 P ( B ) > 0 ,事件 A 与 B 独立当且仅当
P ( A ∣ B ) = P ( A ) . 这个条件式刻画很直观,但独立性 理路 独立性 Statistical independence 从概率表理解独立性,区分两两、相互和条件独立,并用可计算反例澄清零协方差与条件均值的限度。 的乘积定义更基本,因为它在 P ( B ) = 0 时仍有意义,也能自然推广到事件族和 σ -代数族。
若 ( B i ) 构成可数可测划分,全概率公式 理路 全概率公式 Law of total probability 沿有限或可数可测划分分解事件,并按各分块概率加权合并。 先在每个 B i 内计算,再按 P ( B i ) 混合。Bayes 定理随后反转条件方向。乘法公式、全概率与 Bayes 依次完成“交集分解—加总—重新归一化”,构成同一条推导链。
马尔可夫链用条件概率描述给定当前状态后的下一步;诊断与分类问题比较给定观测后的类别概率;序贯决策则不断把新信息加入条件集合。应用时必须写清条件位于竖线哪一侧,以及条件对象是正概率事件、随机变量生成的信息,还是需要概率核处理的逐点条件。
参考资料
Hossein Pishro-Nik, Introduction to Probability, Statistics, and Random Processes , 作者开放网络教材,§1.4.0 Conditional Probability ,访问于 2026-10-03。
Rick Durrett, Probability: Theory and Examples , 5th ed. author manuscript, 2019,§4.1;条件化与信息。
Dimitri P. Bertsekas and John N. Tsitsiklis, Introduction to Probability , 2nd ed., Athena Scientific, 2008, §1.4.
Joseph K. Blitzstein and Jessica Hwang, Introduction to Probability , 2nd ed., CRC Press, 2019, Chapters 2–3.
Patrick Billingsley, Probability and Measure , 3rd ed., Wiley, 1995, §4.