共轭先验

形式陈述 ​

对似然族公理库似然函数Likelihood function固定观测样本后，将共同支配密度视为参数函数所得的相对证据量。 $\{p_{\theta }(x):\theta \in \mathrm{\Theta }\}$，若先验族公理库Bayesian 统计模型Bayesian statistical model以参数先验和条件抽样模型共同定义参数与数据的联合分布，并由观测条件化得到后验。 $\{{\mathrm{\Pi }}_{\lambda }:\lambda \in \mathrm{\Lambda }\}$ 满足：对每个允许数据 $x$ 和超参数 $\lambda$，由

$${\mathrm{\Pi }}_{\lambda }(d\theta \mid x)\propto p_{\theta }(x){\mathrm{\Pi }}_{\lambda }(d\theta )$$

得到的后验属于同一家族 ${\mathrm{\Pi }}_{u(\lambda ,x)}$，则称该先验族与似然共轭。更新映射 $u$ 将旧超参数和数据摘要变成新超参数。

共轭性是“分布族在 Bayes 更新下封闭”的代数性质。它不要求先验与似然同名，也不表示后验等于先验；变化被压缩到超参数状态更新。

Beta–Binomial 轨迹 ​

若 $S\mid p\sim \mathrm{Binomial}(n,p)$，先验 $p\sim \mathrm{Beta}(a,b)$，则

$$\pi (p)L(p;s)\propto p^{a-1}(1-p{)}^{b-1}{p}^s(1-p{)}^{n-s},$$

所以

$$p\mid s\sim \mathrm{Beta}(a+s,b+n-s).$$

状态 $(a,b)$ 分别累积成功与失败的伪计数。若分批观察 $(s_1,n_1)$、$(s_2,n_2)$，两次更新得到

$$(a,b)\mapsto (a+s_1,b+n_1-s_1)\mapsto (a+s_1+s_2,b+n_1+n_2-s_1-s_2),$$

与一次合并数据更新相同，反映独立似然因子的可交换乘法。

Gamma–Poisson 轨迹 ​

采用 Gamma 形状—率参数化

$$\pi (\lambda )\propto {\lambda }^{a-1}{e}^{-b\lambda },$$

若 $X_i\mid \lambda \sim \mathrm{Poisson}(\lambda )$ 独立，则似然核为

$$L(\lambda ;x)\propto {\lambda }^{\sum _i{x}_i}{e}^{-n\lambda },$$

故

$$\lambda \mid x\sim \mathrm{Gamma}(a+\sum _i{x}_i,b+n).$$

后验均值为 $(a+\sum _i{x}_i)/(b+n)$。若文献使用尺度而非率，第二超参数更新公式必须取倒数转换，不能沿用 $b+n$。

正态—正态是连续参数例子。若 $X_i\mid \mu \sim N(\mu ,{\sigma }^2)$ 且 ${\sigma }^2$ 已知，先验 $\mu \sim N(m_0,s_0^2)$，则后验精度与精度加权均值为

$$s_n^{-2}=s_0^{-2}+n{\sigma }^{-2},m_n=s_n^2(s_0^{-2}{m}_0+n{\sigma }^{-2}\overline{x}).$$

更新把先验精度与数据精度相加。若方差也未知，单独正态先验不再封闭，需要 normal-inverse-gamma 等联合共轭族。

指数族的一般形式 ​

对自然指数族

$$p_{\eta }(x)=h(x)e^{⟨\eta ,T(x)⟩-A(\eta )},$$

形式共轭先验可写为

$$\pi (\eta \mid \xi ,\kappa )\propto \exp \{⟨\eta ,\xi ⟩-\kappa A(\eta )\}.$$

$n$ 个独立样本后更新为 $\xi +\sum _{i}T(x_i)$ 与 $\kappa +n$，前提是先验归一化常数有限且自然参数空间处理正确。

边界与失败情形 ​

共轭只提供计算便利，不保证先验科学合理。把超参数称为伪样本量有助直觉，却不等于它真的来自同样的历史抽样机制。

共轭族可能不够灵活，无法表达多峰、厚尾或结构性先验知识。混合共轭先验可保留解析更新但成分数与计算量增长；数值方法则允许离开共轭族。

后验留在同一家族仍需 proper。某些超参数使先验不可归一化，数据不足时后验也可能 improper。形式上指数相加不能替代积分检查。

共轭性依赖似然和参数化。对 $p$ 共轭的 Beta 先验变换到 logit 坐标后密度含 Jacobian，虽代表同一概率测度，却不再呈简单 Beta 公式。

数据若经过选择、删失或加权，实际似然核可能不再是原来的指数族乘积，超参数的简单加法随之失效。继续机械更新伪计数等于使用了错误观测模型。

推论与应用 ​

共轭更新把完整数据压成充分统计量和样本量，适合在线更新与预测分布解析积分。Beta–Binomial 导出 beta-binomial 先验预测，Gamma–Poisson 导出负二项型预测。

解析解可作为 MCMC、变分推断和软件实现的校验基准；它的存在不表示更复杂模型应该被强行改造成共轭形式。

参考资料

• José M. Bernardo and Adrian F. M. Smith, Bayesian Theory, Wiley, 1994，Ch. 5。
• Andrew Gelman et al., Bayesian Data Analysis, 3rd ed., CRC Press, 2013，Ch. 2–3。
• Peter Diaconis and Donald Ylvisaker, “Conjugate Priors for Exponential Families,” Annals of Statistics 7(2), 1979。