形式陈述
设 A 1 , A 2 , … 是同一概率空间中的事件。定义
lim sup n → ∞ A n = ⋂ N = 1 ∞ ⋃ n ≥ N A n . 一个样本点属于这个事件,当且仅当无论从多晚开始,后面总还有事件发生;也就是有无限多个 A n 发生。常记为 { A n i . o . } ,其中 i.o. 是 infinitely often 的缩写。
第一 Borel–Cantelli 引理: 若非负级数 理路 级数 Infinite series 序列各项的有限部分和所组成的序列及其极限。 ∑ n P ( A n ) 收敛,则
P ( A n i . o . ) = 0. 这一方向不要求独立。第二 Borel–Cantelli 引理: 若事件列相互独立 理路 独立性 Statistical independence 从概率表理解独立性,区分两两、相互和条件独立,并用可计算反例澄清零协方差与条件均值的限度。 ,且 ∑ n P ( A n ) = ∞ ,则
P ( A n i . o . ) = 1. 相互独立还可以放宽为两两独立,不过相应证明不再直接使用所有补事件概率的乘积。[1,2]
直觉
用指示变量记录每次是否命中,N ( ω ) = ∑ n 1 A n ( ω ) 就是总发生次数,允许取 ∞ 。非负项的积分交换给出
E N = ∑ n P ( A n ) . 所以第一引理也可以理解为:一个非负计数若期望 理路 期望 Expectation · Expected value 实值或复值随机变量关于概率测度的 Lebesgue 积分,概括加权平均与总体质量平衡。 有限,就不可能以正概率取无穷大。第二引理却不能只从期望发散推出;无限期望可能由稀少但很大的计数造成,不代表每条样本路径都发生无限次。
独立性补充的不是“每次概率都很大”,而是多次都没命中的概率可以相乘。只要尾部累计的机会量无界,每一段无限长的尾部都几乎不可能永远错过。
第一引理:把无限重现放进每一个尾并集
对任意 N ,可数次并集界 理路 并集界 Union bound · Boole 不等式 多个坏事件中至少一个发生的概率,不超过各事件概率之和。 给出
P ( A n i . o . ) ≤ P ( ⋃ n ≥ N A n ) ≤ ∑ n ≥ N P ( A n ) . 收敛级数的尾和趋零,所以左边只能是零。整个证明没有把任何联合概率写成乘积,因而不需要独立性。
第二引理:无限尾部不可能永远落空
固定 N 。相互独立时,对 M ≥ N ,
P ( ⋂ n = N M A n c ) = ∏ n = N M ( 1 − P ( A n ) ) ≤ exp ( − ∑ n = N M P ( A n ) ) . 尾部概率和也发散,故令 M → ∞ ,由概率从上连续性得到“从 N 起再不发生”的概率为零。最后对所有正整数 N 作可数并,便排除了“从某时刻起永远不再发生”;其补事件就是无限多次发生。
例子与边界
同样的单次概率,不同的依赖结构
取一个在 ( 0 , 1 ) 上均匀分布的 U ,令 A n = { U < 1 / n } 。每个事件的概率都是 1 / n ,总和发散;但对每个固定 U > 0 ,只要 n > 1 / U ,事件便永远不再发生。因此这里的无限重现概率为零。
在共同 U 的模型中,总次数处处有限,期望却为 ∑ n 1 / n = ∞ ;U 越接近零,可能发生的次数越多。因此第一引理的逆命题不成立,“几乎必然有限次”也不保证存在一个适用于所有样本的固定次数上界。
改用相互独立的 U n ∼ Unif ( 0 , 1 ) ,令 B n = { U n < 1 / n } 。边缘概率仍为 1 / n ,但第二引理现在给出 P ( B n i . o . ) = 1 。两组事件的差别完全在依赖结构,而不是单次概率。
若阈值换成 1 / n 2 ,概率和收敛,第一引理保证只发生有限次;无论这些均匀变量彼此独立还是全部相同,这个结论都成立。
“无限次”不同于“最终每次”
“从某个时刻起每次都发生”对应
lim inf n A n = ⋃ N = 1 ∞ ⋂ n ≥ N A n , 比 lim sup 更强。独立掷公平硬币时,正面事件会无限次发生,反面事件也会无限次发生,因此不可能最终只出现正面。Borel–Cantelli 本身也不提供命中的正密度或平均频率。
完全重复同一个概率介于零和一的事件,则 lim sup A n = A 。这说明没有依赖限制时,即使概率和发散,无限重现的概率也可以落在 ( 0 , 1 ) ,并非自动服从零一结论。
两两独立为何也够
设 S N , M = ∑ n = N M 1 A n ,其均值为 m N , M 。两两独立使不同指示变量的协方差为零,故 Var ( S N , M ) ≤ m N , M 。当 m N , M > 0 时,由 Chebyshev 不等式,
P ( S N , M = 0 ) ≤ P ( | S N , M − m N , M | ≥ m N , M ) ≤ 1 m N , M . 发散时右边趋零,再沿用上面的尾部论证即可。这一扩展使用Chebyshev 不等式 理路 Chebyshev 不等式 Chebyshev's inequality 随机变量偏离均值至少给定距离的概率由方差除以距离平方控制。 ;不能在只给两两独立的情况下继续把所有补事件概率相乘。
推论与应用
从可求和的偏差得到几乎必然收敛
用第一引理证明 X n → X 几乎必然 理路 几乎必然收敛 Almost sure convergence 除去一个零概率事件后,随机变量序列逐样本收敛。 的一条常用充分条件是:对每个 ε > 0 验证
∑ n = 1 ∞ P ( | X n − X | > ε ) < ∞ . 实际上只需验证 ε = 1 , 1 / 2 , 1 / 3 , … 。对每个正整数 m ,第一引理给出一个概率一事件,使误差大于 1 / m 的情况只发生有限次;这些概率一事件的可数交仍有概率一。在交集上,任给精度都能选足够大的 m ,然后越过对应的有限异常前缀。
仅为一个固定的 ε 证明可求和,只能保证最终进入这一宽度的误差带,不能推出误差趋零。这里的量词是收敛结论不可省略的一部分。
依概率收敛为什么能选出更好的子列
若 X n → X 依概率 理路 依概率收敛 Convergence in probability 随机变量偏离极限超过任意正阈值的概率趋于零。 ,依次选取严格递增的 n k ,使
P ( | X n k − X | > 1 / k ) ≤ 2 − k . 第一引理保证这些偏差事件只发生有限次,于是在概率一的样本路径上,最终 | X n k − X | ≤ 1 / k ,故子列几乎必然收敛。这证明的是可以选出这样的子列,并未把原序列的依概率收敛升级为几乎必然收敛。
强大数律 理路 强大数定律 Law of large numbers · Strong law of large numbers · SLLN 独立同分布且可积时,样本均值沿几乎每条无限样本路径收敛到共同期望。 证明中的一类常见策略,正是先用偏差估计得到可求和的尾概率,再用第一引理控制样本路径;需要无限重现时,则寻找独立的尝试或可使用上述二阶矩估计的结构。
独立公平抛硬币中的固定有限模式也可用第二引理处理:把时间切成与模式等长的不重叠块,每块恰好匹配的概率是同一个正数,且各块独立。因此模式几乎必然出现无穷多次。重叠窗口本身可能依赖,改用不重叠块便避开了这一障碍。
参考资料
[1] Rick Durrett, Probability: Theory and Examples , 5th ed., Cambridge University Press, 2019;作者 2019-01-11 版,§2.3“Borel-Cantelli Lemmas”。
[2] Sheldon Axler, Measure, Integration & Real Analysis , Springer, 2020,Chapter 12,尤其 12.6 与 12.10;事件概率和、概率一结论与测度连续性。
[3] Patrick Billingsley, Probability and Measure , 3rd ed., Wiley, 1995;独立事件与 Borel–Cantelli 引理部分。