形式陈述
设整数 , 取值于同一可测空间。若对指标集 的任意置换理路排列Permutation有限集合到自身的双射,或其元素的有序排列。 ,都有联合分布理路联合分布Joint distribution · 联合概率分布多个随机元素组成的向量所推出的概率测度,完整记录边缘与依赖结构。相等
则称它们可交换。等价地,对任意可测集合 ,置换前后落入 的概率相同。这里置换的是坐标位置,不是随机变量内部的数值。
无限序列可交换,是指其每个有限前缀都满足该性质;这比“手中这 个变量可交换”多了一项无限延拓要求。可交换必然推出边缘分布相同:用交换第 个坐标的置换即可。反方向不成立。
Bernoulli 序列的 de Finetti 表示
设 是取值于 的无限可交换序列。存在唯一的 上 Borel 概率测度 ,使每个 和每个二进制向量 都满足
零次幂按常数函数 理解,包括区间端点。被积函数正是参数为 的独立Bernoulli 随机变量理路Bernoulli 随机变量Bernoulli random variable只取 0 与 1 且成功概率为 p 的基本随机变量。产生该向量的概率。反过来,任何具有此表示的序列都可交换,因为交换坐标不会改变成功总数 。测度 称为混合测度;它可以有原子,也可以没有密度,不必属于 Beta 分布族。
这个结论首先是联合分布的表示。若希望给出生成过程,可在新的概率空间中先抽取 ,再给定 生成无限 IID Bernoulli 序列;所生成序列的所有有限维分布与原序列一致。这不把“条件独立”变成“无条件独立”,也不需要事先在原概率空间上找出一个隐含参数。
从经验频率的矩构造混合测度
记
固定整数 ,取整数 。展开 后,共有 个有序指标组,其中 个指标两两不同。可交换性保证每个不同指标组的乘积期望都是 ;其余乘积仍在 内。因此存在余项 使
由于 ,得到
最后一个不等式可以直接数碰撞:独立均匀抽取 个 中的指标,任意指定一对相等的概率为 ;对 对使用并集界理路并集界Union bound · Boole 不等式多个坏事件中至少一个发生的概率,不超过各事件概率之和。,便控制了至少一次重复的概率。这里独立的是辅助抽取的指标,不是原来的 。
现在把 的分布记为 。所有 都支撑在紧区间 ,因而一致紧。调用 Prokhorov 定理理路Prokhorov 定理Prokhorov theorem · Prokhorov's theorem · 普罗霍罗夫定理在 Polish 空间上把概率测度族的一致紧性等价为弱拓扑中的相对紧性。在这个紧 Polish 空间上的序列形式,可抽出子列 ,其中 仍是 上的概率测度。对每个固定 ,函数 在该区间上有界连续;按弱收敛理路测度的弱收敛Weak convergence of measures · Weak convergence of probability measures以所有有界连续测试函数的积分收敛来定义有限 Borel 测度的拓扑收敛。定义,
一个弱收敛子列已经同时给出所有阶矩,无须为每阶矩另选子列。以上用到的是分布的紧性与弱收敛,并未声称经验频率在原概率空间上逐条样本路径收敛。
从全成功事件恢复任意向量,并证明唯一性
先用可交换性把任意向量的 个成功移到前面。事件指示函数的乘积给出
空乘积取 ,所以 或 也在证明内。第二行把失败因子展开;选中任意 个失败位置后,其与成功位置组成的乘积有 个不同坐标,期望就是 。第三行代入刚构造的矩,再用二项式定理理路二项式定理Binomial theorem(x+y)^n 按二项式系数展开为各次幂项之和。展开合并,便完成存在性证明。
若 都能表示同一序列,考察前 项全部成功的事件可知它们的所有矩相同,从而对每个多项式 都有 。这里调用Bernstein 多项式的一致逼近定理理路Bernstein 多项式与构造型 Weierstrass 逼近Bernstein polynomial approximation · Bernstein polynomials · Weierstrass approximation theorem · Weierstrass 逼近定理用非负二项式权重构造连续函数的多项式逼近,并给出连续模、Lipschitz及二阶光滑情形的一致误差证书。:每个 都可被多项式在整个闭区间上一致逼近。两份测度的支撑都已经限定在 ,不需要从矩重新推断未知测度的支撑。选取 ,则
令 ,得到所有连续探针的积分相等。最后一步也可具体完成:对 、整数 ,取连续函数
它们在 上介于 ,并逐点趋于 ,在 处仍取 ,所以原子也被保留。分别对两份概率测度用控制收敛定理理路控制收敛定理Dominated convergence theorem几乎处处收敛且被同一可积函数控制时,可以交换极限与积分。,得到 。区间外的CDF由支撑和总质量确定,再由CDF唯一确定实Borel概率测度理路分布函数Cumulative distribution function · CDF实值分布在每个阈值左侧累积的概率,是非降右连续且端点极限为零和一的函数。得到 。Kirsch 的 Proposition 3 提供紧支撑矩方法的证明概要;这里把一致逼近后的测度识别步骤完整写出,而不把概要当作已经给出全部桥梁。仅有均值和协方差通常不足以确定混合规律。
在新空间实现共享参数
为落实前述生成解释,对 的 Borel 集 和 定义
固定 ,这些有限个非负权重和为 ;每个权重又是 的连续函数。因此它们构成从 到有限二元向量空间的概率核理路概率核(Markov 核)Probability kernel · Markov kernel · 转移核从每个输入状态可测地指定一个输出概率分布的映射。,与边缘 积分得到真正的联合概率 ,并非只写一张未经归一化的表。
令 。对最后一个坐标的两种值求和,因子相加为 ,恰好得到 ;对任意有限子集同理。连同参数坐标的边缘 ,这些有限维律一致。参数空间 与各二元空间都是标准Borel空间,故可用Kolmogorov扩张定理的不同坐标空间版本理路Kolmogorov 扩张定理Kolmogorov extension theorem · Daniell–Kolmogorov theorem · Kolmogorov consistency theorem从一族彼此相容的有限维分布构造乘积空间上唯一的概率测度与坐标随机过程。,在 上构造概率测度。坐标映射记为 。
按照条件分布的核相容性定义理路条件分布Conditional distribution · Regular conditional distribution给定观测值后随机量的概率律,以及它与原联合分布相容的核表示。,上面的矩形恒等式恰好说:给定 ,每个固定有限前缀的条件概率为 。有限二元向量与前缀的总数可数,可选一个共同满测集保留全部这些等式;这就是给定参数后的无限 IID 合同。积分掉参数后, 与原 的全部有限维律相同,从而在二元序列的乘积可测空间上同分布。这一步构造的是一个同律实现,没有宣称已在原空间找到了 ,也没有把原经验频率的路径收敛作为未证明的前提。
例子与边界
不放回抽样:对称且负相关
盒中仅有标为 的两个球,随机不放回取出两次。联合结果 和 各以 出现;交换两个坐标只是互换两项,因此可交换。
两个边缘都服从 Bernoulli,但 恒成立。按协方差理路协方差Covariance两个随机变量中心化乘积的期望,衡量线性共同变化。定义,
这当然不独立:,边缘概率乘积却是 。两个数的平均恒为 ,方差为零;若误用 IID 公式,会得到 。
同边缘仍可能保留方向
令 在 三个点上等概率。两个边缘都在 上均匀,但
联合分布记住了一个循环方向,所以不可交换。只画每列直方图,无法判断联合可交换性。
有限与无限的分界
对无限 Bernoulli 可交换序列,表示公式分别在一项和两项全成功事件上给出 、。因此在混合构造中取 ,便有
前面的不放回二元向量协方差为负,故不可能是某个无限 Bernoulli 可交换序列的前两项。它是有限可交换的,却不是 IID 分布的混合。不能把无限序列的表示定理无条件套在任意有限可交换向量上。
正协方差仍不足以保证无限延拓
考虑下面这个三维二进制分布,未列出的向量概率均为零。
| 向量 |
概率 |
|
|
|
|
|
|
|
|
概率和为一;任意置换固定全零向量,并只在后三个等概率向量之间交换,因此它可交换。直接计算得
然而 。如果它能延拓为无限可交换序列,表示测度必须满足 。被积函数非负,并在每个 处严格为正,故 ,只能有 。这又强迫 ,与 矛盾。于是非负协方差只是无限延拓的必要条件;更高阶的全成功概率仍能否决延拓。
推论与应用
Bayesian 统计模型理路Bayesian 统计模型Bayesian statistical model以参数先验和条件抽样模型共同定义参数与数据的联合分布,并由观测条件化得到后验。中的共享 Bernoulli 参数提供了混合表示的一种具体实现;该页的 Beta 更新与两次未来成功概率展示了积分掉参数后为何仍有依赖。de Finetti 定理则从无限可交换性出发反推某个唯一混合测度的存在,并不替建模者选定一个 Beta 先验。对这种无限序列,两个不同坐标的协方差为零当且仅当 是单点质量,此时整个序列才退化为固定成功率的 IID 样本。
可交换性常通过“秩”而非均值进入有限样本推断。若 个实值分数可交换且几乎必然互不相等,各坐标占据任一秩的概率相同;每个秩恰有一个坐标,故指定坐标的秩均匀分布于 。有并列时,可为各坐标加入 IID 连续辅助变量 ,要求整组辅助变量与全部分数独立,并按 的字典序排名。增广向量仍可交换,且辅助变量相等的概率为零,故再次得到均匀秩。只说“独立随机数”还不够:退化或离散辅助变量可能留下并列;直接保留分数并列则常得到保守界。
条件随机化检验理路条件随机化检验Conditional randomization test · CRT for conditional independence · 条件协变量重抽样检验从已知协变量条件律重抽样单列,以统一评分和有限加一秩检验条件独立,并分清均匀洗牌、冻结拟合及随意停机的失效边界。让原评分与若干条件重抽样评分组成这样的有限可交换向量。Model-X替身理路Model-X Knockoff 构造Model-X knockoffs · Model X knockoff · 模型X替身变量 · Gaussian knockoffs由已知协变量联合律构造逐对可交换的替身,在任意响应核下检验条件关联,并给高斯生成及独立复制失效的完整反例。则使用另一种指定对称群:只交换每个原变量和自己的替身,不要求不同变量编号任意互换。复制向量与原向量边缘同分布,仍不足以保证这种逐对联合交换;必须检查实际采用的变换。
分割共形预测理路分割共形预测Split conformal prediction · 分割保形预测用冻结评分规则的校准秩构造预测集合,并在预先固定群组内分别校准,以获得边际或群组覆盖保证。正是将新观测与校准观测的分数放在同一可交换序列中,用秩校准覆盖率。应用前须检查数据生成和评分过程是否对这些位置对称;把训练内残差和训练外残差混在一起,通常会破坏这种对称。
全共形预测理路全共形预测Full conformal prediction · Transductive conformal prediction · 全保形预测把候选响应加入数据后对称地重新拟合,以全部分数的秩检验候选值,在可交换性下构造有限样本预测集合。则把候选点一起用于拟合:在真实候选处,排列不变的拟合与统一评分把数据的可交换性传给全部分数,因此无须预留独立校准集也能用秩证明边际覆盖。
自测
令 ,其中 。它是否可交换、是否独立,能否无限延拓?答案依次是是、否、能:令全部 即可。其 de Finetti 混合变量可取 ,协方差为 。