Skip to content

定义Definition

可交换随机变量

施工中 · 内容逐步修订

Exchangeable random variables · Exchangeability · 可交换性

从有限坐标置换对称性走到无限 Bernoulli 序列的唯一混合表示,并用矩判断无限延拓的边界。

形式陈述 ​

设整数 n≥1,Z1,…,Zn 取值于同一可测空间。若对指标集 {1,…,n} 的任意置换 π,都有联合分布相等

(Z1,…,Zn)=d(Zπ(1),…,Zπ(n)),

则称它们可交换。等价地,对任意可测集合 A1,…,An,置换前后落入 A1×⋯×An 的概率相同。这里置换的是坐标位置,不是随机变量内部的数值。

无限序列可交换,是指其每个有限前缀都满足该性质;这比“手中这 n 个变量可交换”多了一项无限延拓要求。可交换必然推出边缘分布相同:用交换第 i,j 个坐标的置换即可。反方向不成立。

Bernoulli 序列的 de Finetti 表示 ​

设 X1,X2,… 是取值于 {0,1} 的无限可交换序列。存在唯一的 [0,1] 上 Borel 概率测度 μ,使每个 k≥1 和每个二进制向量 (x1,…,xk) 都满足

P(X1=x1,…,Xk=xk)=∫[0,1]θs(1−θ)k−sμ(dθ),s=∑i=1kxi.

零次幂按常数函数 1 理解,包括区间端点。被积函数正是参数为 θ 的独立Bernoulli 随机变量产生该向量的概率。反过来,任何具有此表示的序列都可交换,因为交换坐标不会改变成功总数 s。测度 μ 称为混合测度;它可以有原子,也可以没有密度,不必属于 Beta 分布族。

这个结论首先是联合分布的表示。若希望给出生成过程,可在新的概率空间中先抽取 Θ∼μ,再给定 Θ=θ 生成无限 IID Bernoulli(θ) 序列;所生成序列的所有有限维分布与原序列一致。这不把“条件独立”变成“无条件独立”,也不需要事先在原概率空间上找出一个隐含参数。

从经验频率的矩构造混合测度 ​

记

m0=1,mr=E[X1⋯Xr] (r≥1),AN=1N∑i=1NXi.

固定整数 r≥1,取整数 N≥r。展开 ANr 后,共有 Nr 个有序指标组,其中 (N)r=N(N−1)⋯(N−r+1) 个指标两两不同。可交换性保证每个不同指标组的乘积期望都是 mr;其余乘积仍在 [0,1] 内。因此存在余项 RN,r 使

E[ANr]=(N)rNrmr+RN,r,0≤RN,r≤1−(N)rNr.

由于 0≤mr≤1,得到

|E[ANr]−mr|≤1−(N)rNr≤r(r−1)2N⟶0.

最后一个不等式可以直接数碰撞:独立均匀抽取 r 个 {1,…,N} 中的指标,任意指定一对相等的概率为 1/N;对 (r2) 对使用并集界,便控制了至少一次重复的概率。这里独立的是辅助抽取的指标,不是原来的 Xi。

现在把 AN 的分布记为 μN。所有 μN 都支撑在紧区间 [0,1],因而一致紧。调用 Prokhorov 定理在这个紧 Polish 空间上的序列形式,可抽出子列 μNj⇒μ,其中 μ 仍是 [0,1] 上的概率测度。对每个固定 r,函数 θ↦θr 在该区间上有界连续;按弱收敛定义,

∫[0,1]θrμ(dθ)=limj→∞E[ANjr]=mr.

一个弱收敛子列已经同时给出所有阶矩,无须为每阶矩另选子列。以上用到的是分布的紧性与弱收敛,并未声称经验频率在原概率空间上逐条样本路径收敛。

从全成功事件恢复任意向量,并证明唯一性 ​

先用可交换性把任意向量的 s 个成功移到前面。事件指示函数的乘积给出

P(X1=1,…,Xs=1,Xs+1=0,…,Xk=0)=E[∏i=1sXi∏i=s+1k(1−Xi)]=∑j=0k−s(−1)j(k−sj)ms+j=∫[0,1]θs(1−θ)k−sμ(dθ).

空乘积取 1,所以 s=0 或 s=k 也在证明内。第二行把失败因子展开;选中任意 j 个失败位置后,其与成功位置组成的乘积有 s+j 个不同坐标,期望就是 ms+j。第三行代入刚构造的矩,再用二项式定理展开合并,便完成存在性证明。

若 μ,ν 都能表示同一序列,考察前 r 项全部成功的事件可知它们的所有矩相同,从而对每个多项式 p 都有 ∫pdμ=∫pdν。这里调用Bernstein 多项式的一致逼近定理:每个 f∈C([0,1]) 都可被多项式在整个闭区间上一致逼近。两份测度的支撑都已经限定在 [0,1],不需要从矩重新推断未知测度的支撑。选取 ‖f−p‖∞<ε,则

|∫fdμ−∫fdν|≤∫|f−p|dμ+∫|p−f|dν<2ε.

令 ε↓0,得到所有连续探针的积分相等。最后一步也可具体完成:对 t∈[0,1]、整数 m≥1,取连续函数

ft,m(x)={1,x≤t,max{1−m(x−t),0},x>t.

它们在 [0,1] 上介于 0,1,并逐点趋于 1[0,t],在 x=t 处仍取 1,所以原子也被保留。分别对两份概率测度用控制收敛定理,得到 μ([0,t])=ν([0,t])。区间外的CDF由支撑和总质量确定,再由CDF唯一确定实Borel概率测度得到 μ=ν。Kirsch 的 Proposition 3 提供紧支撑矩方法的证明概要;这里把一致逼近后的测度识别步骤完整写出,而不把概要当作已经给出全部桥梁。仅有均值和协方差通常不足以确定混合规律。

在新空间实现共享参数 ​

为落实前述生成解释,对 [0,1] 的 Borel 集 B 和 x=(x1,…,xk)∈{0,1}k 定义

Qk(B×{x})=∫Bθ∑ixi(1−θ)k−∑ixiμ(dθ).

固定 θ,这些有限个非负权重和为 (θ+(1−θ))k=1;每个权重又是 θ 的连续函数。因此它们构成从 [0,1] 到有限二元向量空间的概率核,与边缘 μ 积分得到真正的联合概率 Qk,并非只写一张未经归一化的表。

令 Q0=μ。对最后一个坐标的两种值求和,因子相加为 θ+(1−θ)=1,恰好得到 Qk−1;对任意有限子集同理。连同参数坐标的边缘 μ,这些有限维律一致。参数空间 [0,1] 与各二元空间都是标准Borel空间,故可用Kolmogorov扩张定理的不同坐标空间版本,在 [0,1]×{0,1}N 上构造概率测度。坐标映射记为 Θ,Y1,Y2,…。

按照条件分布的核相容性定义,上面的矩形恒等式恰好说:给定 Θ,每个固定有限前缀的条件概率为 Θ∑xi(1−Θ)k−∑xi。有限二元向量与前缀的总数可数,可选一个共同满测集保留全部这些等式;这就是给定参数后的无限 IID 合同。积分掉参数后,(Yi) 与原 (Xi) 的全部有限维律相同,从而在二元序列的乘积可测空间上同分布。这一步构造的是一个同律实现,没有宣称已在原空间找到了 Θ,也没有把原经验频率的路径收敛作为未证明的前提。

直觉

可交换性说,位置编号没有被生成机制赋予不同角色;看到一份无序数据后,不应偏爱它的某个排列。它允许共享随机环境、总数约束或其他依赖。独立性则说一个坐标的信息不改变另一个坐标的分布,这是与可交换性不同的性质,单有独立性也不推出可交换性:相互独立但边缘分布不同的坐标就不满足置换对称。

IID 样本一定可交换,因为联合概率是同一边缘概率的乘积,交换因子不会改变乘积。但可交换数据不一定能当作独立重复实验来计算均值方差或套用独立样本集中界。

在无限 Bernoulli 情形,混合表示把这种对称性解释为“所有位置共享同一个成功率,但成功率本身可以随机”。证明中的经验频率负责寻找这个共同环境的分布:展开高阶矩时,重复指标只占越来越小的一部分,而不同指标的乘积由可交换性统一起来。无限性让 N 能任意增大,正是在这一步排除了某些只对有限个位置成立的总数约束。

例子与边界

不放回抽样:对称且负相关 ​

盒中仅有标为 0,1 的两个球,随机不放回取出两次。联合结果 (0,1) 和 (1,0) 各以 1/2 出现;交换两个坐标只是互换两项,因此可交换。

两个边缘都服从 Bernoulli(1/2),但 Z1+Z2=1 恒成立。按协方差定义,

Cov(Z1,Z2)=E[Z1Z2]−E[Z1]E[Z2]=0−14=−14.

这当然不独立:P(Z1=1,Z2=1)=0,边缘概率乘积却是 1/4。两个数的平均恒为 1/2,方差为零;若误用 IID 公式,会得到 1/42=1/8。

同边缘仍可能保留方向 ​

令 (Z1,Z2) 在 (0,1),(1,2),(2,0) 三个点上等概率。两个边缘都在 {0,1,2} 上均匀,但

P(Z1=0,Z2=1)=1/3,P(Z1=1,Z2=0)=0.

联合分布记住了一个循环方向,所以不可交换。只画每列直方图,无法判断联合可交换性。

有限与无限的分界 ​

对无限 Bernoulli 可交换序列,表示公式分别在一项和两项全成功事件上给出 E[X1]=∫θdμ、E[X1X2]=∫θ2dμ。因此在混合构造中取 Θ∼μ,便有

Cov(X1,X2)=E[Θ2]−E[Θ]2=Var(Θ)≥0.

前面的不放回二元向量协方差为负,故不可能是某个无限 Bernoulli 可交换序列的前两项。它是有限可交换的,却不是 IID 分布的混合。不能把无限序列的表示定理无条件套在任意有限可交换向量上。

正协方差仍不足以保证无限延拓 ​

考虑下面这个三维二进制分布,未列出的向量概率均为零。

向量 (X1,X2,X3) 概率
(0,0,0) 1/2
(1,1,0) 1/6
(1,0,1) 1/6
(0,1,1) 1/6

概率和为一;任意置换固定全零向量,并只在后三个等概率向量之间交换,因此它可交换。直接计算得

E[X1]=13,E[X1X2]=16,Cov(X1,X2)=16−19=118>0.

然而 E[X1X2X3]=0。如果它能延拓为无限可交换序列,表示测度必须满足 ∫θ3μ(dθ)=0。被积函数非负,并在每个 θ>0 处严格为正,故 μ((0,1])=0,只能有 μ=δ0。这又强迫 E[X1]=∫θdμ=0,与 1/3 矛盾。于是非负协方差只是无限延拓的必要条件;更高阶的全成功概率仍能否决延拓。

推论与应用

Bayesian 统计模型中的共享 Bernoulli 参数提供了混合表示的一种具体实现;该页的 Beta 更新与两次未来成功概率展示了积分掉参数后为何仍有依赖。de Finetti 定理则从无限可交换性出发反推某个唯一混合测度的存在,并不替建模者选定一个 Beta 先验。对这种无限序列,两个不同坐标的协方差为零当且仅当 μ 是单点质量,此时整个序列才退化为固定成功率的 IID 样本。

可交换性常通过“秩”而非均值进入有限样本推断。若 n+1 个实值分数可交换且几乎必然互不相等,各坐标占据任一秩的概率相同;每个秩恰有一个坐标,故指定坐标的秩均匀分布于 1,…,n+1。有并列时,可为各坐标加入 IID 连续辅助变量 Ui,要求整组辅助变量与全部分数独立,并按 (Si,Ui) 的字典序排名。增广向量仍可交换,且辅助变量相等的概率为零,故再次得到均匀秩。只说“独立随机数”还不够:退化或离散辅助变量可能留下并列;直接保留分数并列则常得到保守界。

条件随机化检验让原评分与若干条件重抽样评分组成这样的有限可交换向量。Model-X替身则使用另一种指定对称群:只交换每个原变量和自己的替身,不要求不同变量编号任意互换。复制向量与原向量边缘同分布,仍不足以保证这种逐对联合交换;必须检查实际采用的变换。

分割共形预测正是将新观测与校准观测的分数放在同一可交换序列中,用秩校准覆盖率。应用前须检查数据生成和评分过程是否对这些位置对称;把训练内残差和训练外残差混在一起,通常会破坏这种对称。

全共形预测则把候选点一起用于拟合:在真实候选处,排列不变的拟合与统一评分把数据的可交换性传给全部分数,因此无须预留独立校准集也能用秩证明边际覆盖。

自测 ​

令 Z1=Z2=U,其中 U∼Bernoulli(1/2)。它是否可交换、是否独立,能否无限延拓?答案依次是是、否、能:令全部 Zi=U 即可。其 de Finetti 混合变量可取 Θ=U,协方差为 1/4。

参考资料
  • Werner Kirsch, An elementary proof of de Finetti’s Theorem, arXiv:1809.00882v1, 2018,§2 Proposition 3(pp. 2–3)的证明概要;§3 Theorem 5 及 Theorem 2 的证明(pp. 3–6):经验频率矩与 Bernoulli 混合表示。本文用明确的紧性、连续斜坡和一致有限维构造补齐相应桥梁。
  • 延伸阅读:Patrick Billingsley, Convergence of Probability Measures, 2nd ed., Wiley, 1999,§1 Theorem 1.2 与 §5 Theorem 5.1。
  • 延伸阅读:Steffen Lauritzen, Exchangeability and de Finetti's Theorem, University of Oxford 课程讲义,2007。
  • John K. Hunter、Bruno Nachtergaele, Applied Analysis, Chapter 2,§2.3 Theorem 2.9(印刷 pp. 40–43):Bernstein 多项式一致逼近的完整证明。
  • Jon A. Wellner, Convergence in Distribution, Chapter 11,§3(pp. 19–21),Theorems 3.2、3.4 的紧性与弱子列合同;子列证明另借 Theorem 3.3 的泛函对应结果。
  • Rick Durrett, Probability: Theory and Examples, 5th edition 作者稿,2019-01-11,Theorem 2.1.21(p. 53)与 Appendix A.3(pp. 464–466):一致有限维律的可数乘积扩张。
  • 延伸阅读:Anastasios N. Angelopoulos, Rina Foygel Barber, and Stephen Bates, Theoretical Foundations of Conformal Prediction, arXiv:2411.11824v5, 2026,Ch. 2,有限可交换性、置换与秩。
关系图谱37 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系