可交换随机变量 | Codeboy's Blog

形式陈述

设 $Z_1,\ldots,Z_n$ 取值于同一可测空间。若对指标集 $\{1,\ldots,n\}$ 的任意置换 $\pi$ ，都有联合分布相等

(Z_1,\ldots,Z_n)\overset d=(Z_{\pi(1)},\ldots,Z_{\pi(n)}),

则称它们可交换。等价地，对任意可测集合 $A_1,\ldots,A_n$ ，置换前后落入 $A_1\times\cdots\times A_n$ 的概率相同。这里置换的是坐标位置，不是随机变量内部的数值。

无限序列可交换，是指其每个有限前缀都满足该性质；这比“手中这 $n$ 个变量可交换”多了一项无限延拓要求。可交换必然推出边缘分布相同：用交换第 $i,j$ 个坐标的置换即可。反方向不成立。

Bernoulli 序列的 de Finetti 表示

设 $X_1,X_2,\ldots$ 是取值于 $\{0,1\}$ 的无限可交换序列。存在唯一的 $[0,1]$ 上 Borel 概率测度 $\mu$ ，使每个 $k\ge1$ 和每个二进制向量 $(x_1,\ldots,x_k)$ 都满足

P(X_1=x_1,\ldots,X_k=x_k) =\int_{[0,1]}\theta^s(1-\theta)^{k-s}\,\mu(d\theta), \qquad s=\sum_{i=1}^k x_i.

零次幂按常数函数 $1$ 理解，包括区间端点。被积函数正是参数为 $\theta$ 的独立Bernoulli 随机变量产生该向量的概率。反过来，任何具有此表示的序列都可交换，因为交换坐标不会改变成功总数 $s$ 。测度 $\mu$ 称为混合测度；它可以有原子，也可以没有密度，不必属于 Beta 分布族。

这个结论首先是联合分布的表示。若希望给出生成过程，可在新的概率空间中先抽取 $\Theta\sim\mu$ ，再给定 $\Theta=\theta$ 生成无限 IID Bernoulli $(\theta)$ 序列；所生成序列的所有有限维分布与原序列一致。这不把“条件独立”变成“无条件独立”，也不需要事先在原概率空间上找出一个隐含参数。

从经验频率的矩构造混合测度

记

m_0=1,\qquad m_r=E[X_1\cdots X_r]\ (r\ge1), \qquad A_N=\frac1N\sum_{i=1}^N X_i.

固定 $r$ ，取 $N\ge r$ 。展开 $A_N^r$ 后，共有 $N^r$ 个有序指标组，其中 $(N)_r=N(N-1)\cdots(N-r+1)$ 个指标两两不同。可交换性保证每个不同指标组的乘积期望都是 $m_r$ ；其余乘积仍在 $[0,1]$ 内。因此存在余项 $R_{N,r}$ 使

E[A_N^r]=\frac{(N)_r}{N^r}m_r+R_{N,r}, \qquad 0\le R_{N,r}\le1-\frac{(N)_r}{N^r}.

由于 $0\le m_r\le1$ ，得到

\left|E[A_N^r]-m_r\right| \le1-\frac{(N)_r}{N^r} \le\frac{r(r-1)}{2N}\longrightarrow0.

最后一个不等式可以直接数碰撞：独立均匀抽取 $r$ 个 $\{1,\ldots,N\}$ 中的指标，任意指定一对相等的概率为 $1/N$ ；对 $\binom r2$ 对使用并集界，便控制了至少一次重复的概率。这里独立的是辅助抽取的指标，不是原来的 $X_i$ 。

现在把 $A_N$ 的分布记为 $\mu_N$ 。所有 $\mu_N$ 都支撑在紧区间 $[0,1]$ ，因而一致紧。调用 Prokhorov 定理在这个紧 Polish 空间上的序列形式，可抽出子列 $\mu_{N_j}\Rightarrow\mu$ ，其中 $\mu$ 仍是 $[0,1]$ 上的概率测度。对每个固定 $r$ ，函数 $\theta\mapsto\theta^r$ 在该区间上有界连续；按弱收敛定义，

\int_{[0,1]}\theta^r\,\mu(d\theta) =\lim_{j\to\infty}E[A_{N_j}^r]=m_r.

一个弱收敛子列已经同时给出所有阶矩，无须为每阶矩另选子列。以上用到的是分布的紧性与弱收敛，并未声称经验频率在原概率空间上逐条样本路径收敛。

从全成功事件恢复任意向量，并证明唯一性

先用可交换性把任意向量的 $s$ 个成功移到前面。事件指示函数的乘积给出

\begin{aligned} P(X_1=1,\ldots,X_s=1,X_{s+1}=0,\ldots,X_k=0) &=E\!\left[\prod_{i=1}^sX_i\prod_{i=s+1}^k(1-X_i)\right]\\ &=\sum_{j=0}^{k-s}(-1)^j\binom{k-s}{j}m_{s+j}\\ &=\int_{[0,1]}\theta^s(1-\theta)^{k-s}\,\mu(d\theta). \end{aligned}

空乘积取 $1$ ，所以 $s=0$ 或 $s=k$ 也在证明内。第二行把失败因子展开；选中任意 $j$ 个失败位置后，其与成功位置组成的乘积有 $s+j$ 个不同坐标，期望就是 $m_{s+j}$ 。第三行代入刚构造的矩，再用二项式定理展开合并，便完成存在性证明。

若 $\mu,\nu$ 都能表示同一序列，考察前 $r$ 项全部成功的事件可知它们的所有矩相同，从而对每个多项式 $p$ 都有 $\int p\,d\mu=\int p\,d\nu$ 。这里调用 Weierstrass 一致逼近定理：每个 $f\in C([0,1])$ 都可被多项式在整个区间上一致逼近。选取 $\|f-p\|_\infty<\varepsilon$ ，则

\left|\int f\,d\mu-\int f\,d\nu\right| \le\int|f-p|\,d\mu+\int|p-f|\,d\nu <2\varepsilon.

令 $\varepsilon\downarrow0$ ，再调用紧度量空间上的 Borel 概率测度由连续函数积分唯一确定这一事实，得到 $\mu=\nu$ 。一致多项式逼近与连续测试函数确定测度是此处明确使用的分析事实；Kirsch 的 Proposition 3 给出了这条紧支撑矩唯一性的论证。它们说明为何必须知道全部阶矩，而仅有均值和协方差通常不足以确定混合规律。

直觉

可交换性说，位置编号没有被生成机制赋予不同角色；看到一份无序数据后，不应偏爱它的某个排列。它允许共享随机环境、总数约束或其他依赖。独立性则说一个坐标的信息不改变另一个坐标的分布，这是与可交换性不同的性质，单有独立性也不推出可交换性：相互独立但边缘分布不同的坐标就不满足置换对称。

IID 样本一定可交换，因为联合概率是同一边缘概率的乘积，交换因子不会改变乘积。但可交换数据不一定能当作独立重复实验来计算均值方差或套用独立样本集中界。

在无限 Bernoulli 情形，混合表示把这种对称性解释为“所有位置共享同一个成功率，但成功率本身可以随机”。证明中的经验频率负责寻找这个共同环境的分布：展开高阶矩时，重复指标只占越来越小的一部分，而不同指标的乘积由可交换性统一起来。无限性让 $N$ 能任意增大，正是在这一步排除了某些只对有限个位置成立的总数约束。

例子与边界

不放回抽样：对称且负相关

盒中仅有标为 $0,1$ 的两个球，随机不放回取出两次。联合结果 $(0,1)$ 和 $(1,0)$ 各以 $1/2$ 出现；交换两个坐标只是互换两项，因此可交换。

两个边缘都服从 Bernoulli $(1/2)$ ，但 $Z_1+Z_2=1$ 恒成立。按协方差定义，

\operatorname{Cov}(Z_1,Z_2) =E[Z_1Z_2]-E[Z_1]E[Z_2]=0-\tfrac14=-\tfrac14.

这当然不独立： $P(Z_1=1,Z_2=1)=0$ ，边缘概率乘积却是 $1/4$ 。两个数的平均恒为 $1/2$ ，方差为零；若误用 IID 公式，会得到 $\frac{1/4}{2}=1/8$ 。

同边缘仍可能保留方向

令 $(Z_1,Z_2)$ 在 $(0,1),(1,2),(2,0)$ 三个点上等概率。两个边缘都在 $\{0,1,2\}$ 上均匀，但

P(Z_1=0,Z_2=1)=1/3,\qquad P(Z_1=1,Z_2=0)=0.

联合分布记住了一个循环方向，所以不可交换。只画每列直方图，无法判断联合可交换性。

有限与无限的分界

对无限 Bernoulli 可交换序列，表示公式分别在一项和两项全成功事件上给出 $E[X_1]=\int\theta\,d\mu$ 、 $E[X_1X_2]=\int\theta^2\,d\mu$ 。因此在混合构造中取 $\Theta\sim\mu$ ，便有

\operatorname{Cov}(X_1,X_2) =E[\Theta^2]-E[\Theta]^2=\operatorname{Var}(\Theta)\ge0.

前面的不放回二元向量协方差为负，故不可能是某个无限 Bernoulli 可交换序列的前两项。它是有限可交换的，却不是 IID 分布的混合。不能把无限序列的表示定理无条件套在任意有限可交换向量上。

正协方差仍不足以保证无限延拓

考虑下面这个三维二进制分布，未列出的向量概率均为零。

向量 $(X_1,X_2,X_3)$	概率
$(0,0,0)$	$1/2$
$(1,1,0)$	$1/6$
$(1,0,1)$	$1/6$
$(0,1,1)$	$1/6$

概率和为一；任意置换固定全零向量，并只在后三个等概率向量之间交换，因此它可交换。直接计算得

E[X_1]=\frac13,\qquad E[X_1X_2]=\frac16, \qquad \operatorname{Cov}(X_1,X_2)=\frac16-\frac19=\frac1{18}>0.

然而 $E[X_1X_2X_3]=0$ 。如果它能延拓为无限可交换序列，表示测度必须满足 $\int\theta^3\,\mu(d\theta)=0$ 。被积函数非负，并在每个 $\theta>0$ 处严格为正，故 $\mu((0,1])=0$ ，只能有 $\mu=\delta_0$ 。这又强迫 $E[X_1]=\int\theta\,d\mu=0$ ，与 $1/3$ 矛盾。于是非负协方差只是无限延拓的必要条件；更高阶的全成功概率仍能否决延拓。

推论与应用

Bayesian 统计模型中的共享 Bernoulli 参数提供了混合表示的一种具体实现；该页的 Beta 更新与两次未来成功概率展示了积分掉参数后为何仍有依赖。de Finetti 定理则从无限可交换性出发反推某个唯一混合测度的存在，并不替建模者选定一个 Beta 先验。对这种无限序列，两个不同坐标的协方差为零当且仅当 $\mu$ 是单点质量，此时整个序列才退化为固定成功率的 IID 样本。

可交换性常通过“秩”而非均值进入有限样本推断。若 $n+1$ 个实值分数可交换且几乎必然互不相等，各坐标占据任一秩的概率相同；每个秩恰有一个坐标，故指定坐标的秩均匀分布于 $1,\ldots,n+1$ 。有并列时，可引入独立随机数打破并列以恢复均匀秩；直接保留并列则常得到保守界。

分割共形预测正是将新观测与校准观测的分数放在同一可交换序列中，用秩校准覆盖率。应用前须检查数据生成和评分过程是否对这些位置对称；把训练内残差和训练外残差混在一起，通常会破坏这种对称。

全共形预测则把候选点一起用于拟合：在真实候选处，排列不变的拟合与统一评分把数据的可交换性传给全部分数，因此无须预留独立校准集也能用秩证明边际覆盖。

自测

令 $Z_1=Z_2=U$ ，其中 $U\sim\mathrm{Bernoulli}(1/2)$ 。它是否可交换、是否独立，能否无限延拓？答案依次是是、否、能：令全部 $Z_i=U$ 即可。其 de Finetti 混合变量可取 $\Theta=U$ ，协方差为 $1/4$ 。

参考资料

Werner Kirsch, An elementary proof of de Finetti’s Theorem, arXiv:1809.00882v1, 2018，§2 Proposition 3：一致多项式逼近与紧支撑矩的唯一性；§3 Theorem 5 及 Theorem 2 的证明：经验频率矩与 Bernoulli 混合表示。
Patrick Billingsley, Convergence of Probability Measures, 2nd ed., Wiley, 1999，§1 Theorem 1.2（p. 8）：连续测试函数确定概率测度；§5 Theorem 5.1（p. 59）：紧性推出弱相对紧性。
Steffen Lauritzen, Exchangeability and de Finetti's Theorem, University of Oxford 课程讲义，2007，可交换性及 Bernoulli 序列的表示定理。
Anastasios N. Angelopoulos, Rina Foygel Barber, and Stephen Bates, Theoretical Foundations of Conformal Prediction, arXiv:2411.11824v5, 2026，Ch. 2，有限可交换性、置换与秩。

形式陈述 ​

Bernoulli 序列的 de Finetti 表示 ​

从经验频率的矩构造混合测度 ​

从全成功事件恢复任意向量，并证明唯一性 ​

不放回抽样：对称且负相关 ​

同边缘仍可能保留方向 ​

有限与无限的分界 ​

正协方差仍不足以保证无限延拓 ​

自测 ​

反向链接