统计指数族

指数族把数据压缩成 $T(x)$，把参数压缩成对该统计量的线性权重。$A(\eta )$ 是为每个权重重新归一化所需的代价，同时编码统计量的全部累积量。

梯度映射把自然参数送到均值参数，Hessian 则记录该映射的局部敏感度和统计波动。这使似然优化、最大熵与凸共轭理路凸共轭与 Fenchel–Young 不等式Convex conjugate · Fenchel conjugate · Fenchel–Young inequality以线性函数的最佳配对代价定义共轭，并导出原变量与对偶变量间的基本不等式。在同一几何中相遇。

当 $0<p<1$ 时，Bernoulli$(p)$ 质量函数可写为

其中

于是

分别等于 Bernoulli 变量的均值和方差。$n$ 个样本的自然充分统计量是成功次数。

已知正方差 ${\sigma }^2>0$ 的正态位置族也属于指数族：$T(x)=x$、$\eta =\mu /{\sigma }^2$。若均值和正方差都未知，自然统计量扩为 $(x,x^2)$，自然参数空间受第二坐标为负的约束。

当 $\lambda >0$ 时，Poisson$(\lambda )$ 的自然参数是 $\eta =\log \lambda$，$T(x)=x$，$A(\eta )=e^{\eta }$。于是 $A^{\prime }(\eta )=e^{\eta }=\lambda$、$A^{″}(\eta )=\lambda$，同时恢复均值与方差。这个例子说明同一数值参数在原坐标和自然坐标中有不同曲率，不能把 $A^{″}$ 直接当作任意坐标下的方差公式。

边界与失败情形 ​

自然参数空间必须由积分有限性决定。只写形式 $e^{\eta T(x)}$ 而不检查 $A(\eta )<\mathrm{\infty }$，可能得到无法归一化的“密度”。在边界处微分与积分交换也可能失败。

术语需分开：采用全部可归一化自然参数 $\mathcal{N}$ 时称为 full；该参数空间为开集时称为 regular。参数集合包含非空开集是另一项“满维”条件，不应只凭这一点就称使用了完整自然参数空间。curved 则指 $\eta (\theta )$ 被限制在低维曲面。curved 指数族仍有指数表达，却可能失去完备性和标准信息几何结论。

minimal 表示自然统计量没有非零向量 $a$ 使 $⟨a,T(X)⟩$ 在 $h(x)\mu (dx)$ 下几乎处处为常数。它不是“统计量坐标数最少”的朴素说法；冗余表示会让 $A$ 的 Hessian 奇异。

混合分布、截断支持随参数变化的族通常不能直接塞进固定 $h$ 的正则指数形式。指数族标签也不自动保证 MLE 存在；观测充分统计量落在均值参数空间边界时，极大点可能逃向无穷。

对数似然理路似然函数Likelihood function固定可观测数据后，由共同支配密度定义、仅在参数间作相对比较的似然函数。为 $⟨\eta ,T(x)⟩-A(\eta )$ 加常数，得分方程把模型均值 $\mathrm{\nabla }A(\eta )$ 与观测统计量匹配。共轭先验理路共轭先验Conjugate prior与给定似然族结合后，后验仍留在同一参数化先验族中的先验分布族。则在 $\eta$ 与 $A(\eta )$ 上保留同一代数形式；广义线性模型理路广义线性模型Generalized linear model · GLM用链接函数把指数族响应的条件均值连接到协变量线性预测子。把指数族响应与线性预测子连接；${\mathrm{\nabla }}^{2}A$ 还直接给出Fisher 信息理路Score 与 Fisher 信息Score function · Fisher information对数似然的局部参数导数、其模型内二次平均，以及零均值和曲率等式成立的正则条件。的自然坐标表达。

$A$ 的 Legendre 共轭描述给定均值参数时的最大熵与大偏差率函数，但需要严格凸性和参数空间正则条件，不能只凭符号互换。

指数族还会从条件极限中自然出现。Gibbs 条件化原理理路Gibbs 条件原理Gibbs conditioning principle在稀有经验约束下，以最小相对熵分布描述固定少量样本的渐近条件规律。说明，在适当稀有经验约束和唯一最小相对熵条件下，固定少量样本渐近服从相应倾斜分布；全样本在有限规模下仍受约束，不能因此宣称完全独立。