共轭先验 | Codeboy's Blog

形式陈述

对似然族 $\{p_\theta(x):\theta\in\Theta\}$ ，若先验族 $\{\Pi_\lambda:\lambda\in\Lambda\}$ 满足：对每个先验预测下允许的数据 $x$ 和超参数 $\lambda$ （相应后验归一化常数须有限且严格为正），由

\Pi_\lambda(d\theta\mid x) \propto p_\theta(x)\Pi_\lambda(d\theta)

得到的后验属于同一家族 $\Pi_{u(\lambda,x)}$ ，则称该先验族与似然共轭。更新映射 $u$ 将旧超参数和数据摘要变成新超参数。

共轭性是“分布族在 Bayes 更新下封闭”的代数性质。它不要求先验与似然同名，也不表示后验等于先验；变化被压缩到超参数状态更新。

直觉

共轭性的价值不是让先验“更正确”，而是让一次 Bayes 更新保持在同一分布族中：数据只修改有限个超参数，归一化、预测与下一批更新都能继续复用同一代数接口。它是计算闭包性质，不替代先验敏感性和模型检查。

例子与边界

Beta–Binomial 轨迹

若 $S\mid p\sim\operatorname{Binomial}(n,p)$ ，先验 $p\sim\operatorname{Beta}(a,b)$ ，其中 $a,b>0$ ，则

\pi(p)L(p;s) \propto p^{a-1}(1-p)^{b-1} p^s(1-p)^{n-s},

所以

p\mid s\sim\operatorname{Beta}(a+s,b+n-s).

相乘后 $p$ 的指数从 $a-1$ 增至 $a+s-1$ ， $(1-p)$ 的指数从 $b-1$ 增至 $b+n-s-1$ ，这正是新 Beta 密度的形式。于是状态 $(a,b)$ 分别增加成功数和失败数。取先验 $\operatorname{Beta}(2,3)$ ，观察十次试验中的八次成功，后验为 $\operatorname{Beta}(10,5)$ ，均值 $2/3$ 处于先验均值 $2/5$ 与样本比例 $4/5$ 之间。具体地， $2/3=(5/15)(2/5)+(10/15)(4/5)$ ；这里 $a+b$ 才是在后验均值加权表达中的先验权重。

若分批观察 $(s_1,n_1)$ 、 $(s_2,n_2)$ ，两次更新得到

(a,b)\mapsto(a+s_1,b+n_1-s_1) \mapsto(a+s_1+s_2,b+n_1+n_2-s_1-s_2),

与一次合并数据更新相同，反映给定同一 $p$ 后条件独立的似然因子可交换相乘。把 $p$ 积分掉以后，两批数据通常并非边际独立。

Gamma–Poisson 轨迹

采用 $a,b>0$ 的 Gamma 形状—率参数化

\pi(\lambda)\propto \lambda^{a-1}e^{-b\lambda},

若 $X_i\mid\lambda\sim\operatorname{Poisson}(\lambda)$ 独立，则似然核为

L(\lambda;x)\propto \lambda^{\sum_i x_i}e^{-n\lambda},

故

\lambda\mid x \sim\operatorname{Gamma} \left(a+\sum_i x_i,b+n\right).

后验均值为 $(a+\sum_i x_i)/(b+n)$ 。若文献使用尺度而非率，第二超参数更新公式必须取倒数转换，不能沿用 $b+n$ 。

正态—正态是连续参数例子。若给定 $\mu$ 后 $X_i$ 独立同分布于 $N(\mu,\sigma^2)$ 且 $\sigma^2>0$ 已知，先验 $\mu\sim N(m_0,s_0^2)$ 、 $s_0^2>0$ ，则后验精度与精度加权均值为

s_n^{-2}=s_0^{-2}+n\sigma^{-2}, \qquad m_n=s_n^2(s_0^{-2}m_0+n\sigma^{-2}\bar x).

更新把先验精度与数据精度相加。若方差也未知，单独正态先验不再封闭，需要 normal-inverse-gamma 等联合共轭族。

指数族的一般形式

对采用自然参数的指数族

p_\eta(x)=h(x)e^{\langle\eta,T(x)\rangle-A(\eta)},

形式共轭先验可写为

\pi(\eta\mid\xi,\kappa) \propto \exp\{\langle\eta,\xi\rangle-\kappa A(\eta)\}.

$n$ 个独立样本后更新为 $\xi+\sum_iT(x_i)$ 与 $\kappa+n$ ，前提是先验归一化常数有限且自然参数空间处理正确。

边界与失败情形

共轭只提供计算便利，不保证先验科学合理。把超参数称为伪样本量有助直觉，却不等于它真的来自同样的历史抽样机制。

共轭族可能不够灵活，无法表达多峰、厚尾或结构性先验知识。有限个共轭分量的混合先验也可解析更新：每个分量更新超参数，再以各自的边际似然调整混合权重。固定混合先验的分量数并不会因一次更新自动增长，但计算量会随所保留的分量数增加；数值方法则允许离开共轭族。

后验留在同一家族仍需 proper。某些超参数使先验不可归一化，数据不足时后验也可能 improper。形式上指数相加不能替代积分检查。

共轭性依赖所选似然与先验族。若对参数做一一变换，并把整个先验族和后验族一同推送过去，更新封闭性仍然成立。例如 Beta 族变到 logit 坐标后密度须带 Jacobian；它不再叫 Beta 密度，但变换后的族仍与变换后的模型共轭。不能把密度形式改变误认为共轭性消失。

数据若经过选择、删失或加权，实际似然核可能不再是原来的指数族乘积，超参数的简单加法随之失效。继续机械更新伪计数等于使用了错误观测模型。

推论与应用

统计指数族提供最系统的一类共轭构造：更新常把完整数据压成充分统计量和样本量，适合在线更新与预测分布解析积分；但共轭性的定义适用于任意似然族，不能把指数族反写成定义前提。Beta–Binomial 导出 beta-binomial 先验预测，Gamma–Poisson 导出负二项型预测。

负二项回归完整计算Gamma–Poisson积分。将Gamma分布解释为一个共同未知速率的先验，或解释为各对象独立抽取的异质性，会给出不同联合实验：前者的多个未来计数共享同一速率，后者才是独立NB边缘的乘积。单次预测质量相同，不能据此互换联合似然。

解析解可作为 MCMC、变分推断和软件实现的校验基准；它的存在不表示更复杂模型应该被强行改造成共轭形式。

参考资料

Brian Junker，36-463/663: Multilevel & Hierarchical Models — More on Bayes，Carnegie Mellon University，2010，幻灯片 9、11–14，Beta–Binomial 与正态精度更新。
José M. Bernardo and Adrian F. M. Smith, Bayesian Theory, Wiley, 1994，Ch. 5。
Andrew Gelman et al., Bayesian Data Analysis, 3rd ed., CRC Press, 2013，Ch. 2–3。
Peter Diaconis and Donald Ylvisaker, “Conjugate Priors for Exponential Families,” Annals of Statistics 7(2), 1979。

形式陈述 ​

Beta–Binomial 轨迹 ​

Gamma–Poisson 轨迹 ​

指数族的一般形式 ​

边界与失败情形 ​

反向链接

形式陈述

Beta–Binomial 轨迹

Gamma–Poisson 轨迹

指数族的一般形式

边界与失败情形