Skip to content

全概率公式

Law of total probability

沿可数可测划分分解事件,再按各情形概率加权合并的公式。

形式陈述

(Bi)iI 是样本空间 Ω 的有限或可数可测划分:各 Bi 两两不交,且 iIBi=Ω。若保留的每个分块都满足 Pr(Bi)>0,则对任意事件 A

Pr(A)=iIPr(ABi)=iIPr(ABi)Pr(Bi).

第一步来自可列可加性,第二步来自条件概率定义。概率为零的分块对第一项没有贡献,可以从求和中删去;不能用初等比值为它擅自指定 Pr(ABi)。当条件对象是连续随机变量时,对应形式应写成关于其分布的积分,或用条件期望表示为

Pr(A)=E[Pr(AY)],

但逐点条件概率版本需要条件分布框架,本页不把未经说明的求和套到连续情形。

直觉

先问“世界落在哪一种互斥情形”,再问“在这种情形下目标事件有多可能”。每个条件概率只在自己的分块内部度量 A,最后用该分块本身出现的概率加权。由于划分既不重叠又覆盖整个样本空间,所有贡献恰好拼回 A,不会漏算或重复。这种按隐藏来源混合的视角,也解释了为何观察到结果后可以借 Bayes 定理反推来源。

例子与边界

某零件由机器甲、乙分别生产 60%40%,两台机器的不良率分别为 1%3%。令 D 表示不良,B1,B2 表示来源,则

Pr(D)=0.01×0.6+0.03×0.4=0.018.

这里来源事件互斥且覆盖全部零件,却不要求 D 与来源独立;恰恰是不同来源下的不良率不同,分情形计算才有意义。

若只按“来自甲”和“来自乙的白班”拆分,而遗漏乙的夜班,所得事件族没有覆盖样本空间,求和会漏掉概率质量。若分块相互重叠,例如同时按“甲生产”和“白班生产”直接相加,又会重复计算交集。零概率分块则暴露另一边界:Pr(AB)/Pr(B)0/0,不能把它当作普通条件概率;连续情形中的逐点条件化必须通过额外的测度论结构处理。

推论与应用

全概率公式是Bayes 定理分母的来源:把 Pr(A) 展开后,便能归一化各个 Pr(ABi)Pr(Bi)。把事件指示变量换成一般可积随机变量,会得到全期望公式;所以“先在每个信息块中计算,再按块的权重混合”不只适用于概率,也是一切条件平均的共同骨架。诊断试验、混合模型、分层抽样和随机算法按输入类型分情况分析,都在使用同一分解,但前提始终是情形构成真正的划分。

参考资料
  • Dimitri P. Bertsekas and John N. Tsitsiklis, Introduction to Probability, 2nd ed., Athena Scientific, 2008,§1.4, conditioning and the total probability theorem。
  • Joseph K. Blitzstein and Jessica Hwang, Introduction to Probability, 2nd ed., CRC Press, 2019,Ch. 2, law of total probability and Bayes' rule。