形式陈述
概率空间 是三元组 ( Ω , F , P ) 。其中 Ω 是样本空间,F 是其上的 σ -代数:包含 Ω ,对补集和可数并封闭;F 中的集合称为事件。概率赋值 P : F → [ 0 , ∞ ] 满足
P ( Ω ) = 1 , 以及对任意两两不交的事件列 ( A n ) ,
P ( ⨆ n ≥ 1 A n ) = ∑ n ≥ 1 P ( A n ) . 连同非负性,这就是通常所说的 Kolmogorov 概率公理:概率是总质量为 1 的测度 理路 测度 Measure 在可测集合上取非负扩展实值、并对不交可数并保持可加性的函数。 。它使 Ω 必须非空,并保证每个事件的概率实际上落在 [ 0 , 1 ] 中。
样本点 ω ∈ Ω 是一次完整结果,事件 A ∈ F 是关于结果的一个集合问题。“A 发生”指 ω ∈ A ;P ( A ) 是模型给这个问题分配的质量,而不是结果本身。
直觉
概率模型要同时说清三件事:结果有哪些,可以询问哪些事件,以及质量怎样分配。只说“随机选择”没有完成最后一步;只写一串权重,也没有说明这些权重属于什么事件。
例如在单位圆盘中选点,可以令半径 R 均匀,也可以让平面面积均匀。前者有 P ( R ≤ 1 / 2 ) = 1 / 2 ,后者因小圆面积为大圆的四分之一,得到 1 / 4 。
若从独立均匀变量 U , V ∈ [ 0 , 1 ] 实际生成点,令角度 Θ = 2 π V ;半径取 R = U 就得到前一种模型,取 R = U 才得到面积均匀模型,因为 Pr ( R ≤ r ) = r 2 。后者给外侧圆环更多概率,恰好补偿圆环面积随半径增加的变化。两者都符合公理,区别是模型不同。“随机选一条弦”之类的 Bertrand 问题也应先明确抽样机制,再讨论概率值。
可数可加性不只是把有限加法写得更长。它约束事件逼近时概率怎样变化,从而让“永远”“最终”“无穷多次”等无限过程中的问题仍可计算。有限可加只处理有限拆分,单凭它不能推出这些极限规律。
例子与边界
有限模型:等可能结果不等于等可能事件
公平骰子可以建模为
Ω = { 1 , 2 , 3 , 4 , 5 , 6 } , F = P ( Ω ) , P ( A ) = | A | / 6. 六个单点等概率,但 { 2 , 4 , 6 } 的概率为 1 / 2 ,{ 6 } 的概率为 1 / 6 。事件包含不同数量的基本结果,不会因为都是“一个事件”便拥有相同概率。
事件族也可以更粗。例如只观察奇偶性时,可用
G = { ∅ , Ω , { 1 , 3 , 5 } , { 2 , 4 , 6 } } . 在这套信息中能询问是否为偶数,却不能单独询问是否掷出 6 。较粗事件族表示较少可分辨的信息,并不声称骰子失去了具体点数。
可数无限模型:不存在整数上的等概率分配
在 N > 0 上,若每个单点都分配相同质量 c ,可数可加会要求
1 = ∑ n ≥ 1 c . c = 0 时右边为 0 ,c > 0 时发散,因此不存在这种均匀概率。可数无限本身没有问题:取 P ( { n } ) = 2 − n 就得到合法分布,任意事件的概率是对应点质量的和。
零概率与空事件不同
在 [ 0 , 1 ] 的均匀模型中,每个指定点都有概率 0 ,整个区间却有概率 1 。区间是不可数多个单点的并,而公理中的右侧是可数级数 ,不能对不可数并直接逐点相加。
在无限次独立公平抛硬币模型中,令 A n 表示前 n 次全反面。则 P ( A n ) = 2 − n ,而 A n 递减到“永远全反面”的事件 A 。由从上连续性,
P ( A ) = lim n 2 − n = 0. A 含有全反面这条序列,所以并不为空。概率为 1 的性质称为几乎必然成立;它允许一个非空的零概率例外集。
推论与应用
从不交拆分推出有限计算规则
用 Ω = Ω ⊔ ∅ 得到 P ( ∅ ) = 0 。若 A ⊆ B ,拆成 B = A ⊔ ( B ∖ A ) ,便有单调性及差集公式
P ( A ) ≤ P ( B ) , P ( B ∖ A ) = P ( B ) − P ( A ) . 取 B = Ω 得补集公式。再把 A ∪ B 拆成 A ∖ B 、B ∖ A 、A ∩ B 三块,得到
P ( A ∪ B ) = P ( A ) + P ( B ) − P ( A ∩ B ) . 这些公式来自同一个拆分机制;有重叠时直接相加,会重复计算交集的质量。
可数可加怎样传递到极限
若 A n ↑ A ,令 B 1 = A 1 、B n = A n ∖ A n − 1 。这些新增加的部分两两不交,于是
P ( A n ) = ∑ k ≤ n P ( B k ) ⟶ ∑ k ≥ 1 P ( B k ) = P ( A ) . 这证明从下连续性。对递减事件列取补集,再用总质量为 1 ,就得到 A n ↓ A ⇒ P ( A n ) ↓ P ( A ) 。一般测度的从上连续性需要某一项测度有限;在概率空间中该条件自动满足。
对任意可数事件族,把每一项中已被之前事件覆盖的部分剔除,再用单调性,可得并集界 理路 并集界 Union bound · Boole 不等式 多个坏事件中至少一个发生的概率,不超过各事件概率之和。
P ( ⋃ n ≥ 1 A n ) ≤ ∑ n ≥ 1 P ( A n ) . 它不需要独立性。控制一串失败概率,便能控制“至少一次失败”,这是许多高概率保证的起点。
无限期要求也可以逐层写成事件。例如 A n 表示第 n 次失败,“从第 N 次开始再无失败”是 ⋂ n ≥ N A n c ,“最终不再失败”则是 ⋃ N ≥ 1 ⋂ n ≥ N A n c 。σ -代数的可数封闭性保证它们确实属于模型,而可数可加性及连续性才允许继续计算其概率。这区分了事件合法性与概率赋值两个职责。
公理并不自动宣称试验独立、等可能或服从某种分布;这些是额外模型假设。随机变量 理路 随机变量 Random variable · Random element 从概率空间到可测取值空间的可测映射;实值情形承载数值概率运算。 把结果映到观察值,条件概率 理路 条件概率 Conditional probability 在已知正概率事件发生后,把交集概率重新规范到该事件内部。 在正概率事件内重新规范质量,期望 理路 期望 Expectation · Expected value 实值或复值随机变量关于概率测度的 Lebesgue 积分,概括加权平均与总体质量平衡。 对数值变量积分。长期频率接近概率则是大数律 理路 强大数定律 Law of large numbers · Strong law of large numbers · SLLN 独立同分布且可积时,样本均值沿几乎每条无限样本路径收敛到共同期望。 在相应抽样条件下的结论,而不是概率公理的另一种写法。
参考资料
Eric Lehman, F. Thomson Leighton, Albert R. Meyer, Mathematics for Computer Science , 2015,Chapter 16:概率空间与事件运算。
Sheldon Axler, Measure, Integration & Real Analysis , 2020,§2C:测度、可数可加性及上下连续性。
Andrey N. Kolmogorov, Foundations of the Theory of Probability , 2nd English ed., 1956:公理化概率论的原始文献。