Tweedie公式与正态后验矩

形式陈述

只知道观测密度，能否恢复去噪后的均值

观察 $Y$ 时，我们想估计噪声出现以前的 $\Theta$ 。假如已经知道大量同类观测形成的边缘密度 $m(y)$ ，是否仍必须显式求出整份先验，才能计算后验均值？在已知正态噪声下，答案是否定的：边缘密度的斜率已经包含所需信息。

固定 $\sigma^2>0$ ，设先验 $G$ 是 $\mathbb R$ 上的任意概率分布，并规定

\Theta\sim G,\qquad Y\mid\Theta=\theta\sim N(\theta,\sigma^2). \tag{1}

记正态密度为

\varphi_\sigma(y-\theta) =\frac1{\sqrt{2\pi}\sigma} \exp\left\{-\frac{(y-\theta)^2}{2\sigma^2}\right\}, \qquad m(y)=\int\varphi_\sigma(y-\theta)\,dG(\theta).

$m(y)>0$ 且光滑。令 $s(y)=(\log m)'(y)$ ，则对每个实数 $y$ ，

E(\Theta\mid Y=y)=y+\sigma^2s(y), \tag{2}

\operatorname{Var}(\Theta\mid Y=y) =\sigma^2+\sigma^4s'(y). \tag{3}

式(2)称为Tweedie公式。这里的 $s$ 对观测位置 $y$ 求导；它不是在把某个未知参数求导时得到的似然得分。

无需预先假定 $G$ 具有一阶或二阶矩。即使先验尾部很重，固定 $y$ 后正态似然仍会压住任意多项式增长，使这里的后验矩有限。 $G$ 可以离散、连续，或两者混合，但须是正常归一化的概率分布。

直觉

后验均值为什么沿着密度上升方向调整

正态密度满足

\frac{\partial}{\partial y}\varphi_\sigma(y-\theta) =\frac{\theta-y}{\sigma^2}\varphi_\sigma(y-\theta).

积分后除以 $m(y)$ ，正好把先验权重变成后验权重：

\frac{m'(y)}{m(y)} =\frac{E(\Theta\mid y)-y}{\sigma^2}.

所以在 $m$ 上升的地方，观察 $y$ 更可能是某个较大信号向下波动的结果，修正向右；在 $m$ 下降的地方，修正向左。这个方向解释来自完整模型，不能仅凭一张样本直方图就宣称已经完成去噪。

对二阶导数，

\frac{m''(y)}{m(y)} =\frac{E[(\Theta-y)^2\mid y]}{\sigma^4} -\frac1{\sigma^2}.

再用 $(\log m)''=m''/m-(m'/m)^2$ ，恰好扣掉后验偏移的平方，得到式(3)。均值需要斜率，方差还需要曲率。

换微分与积分需要什么

对任意固定的有限 $y$ 区间，正态密度的任意阶 $y$ 导数都是一个关于 $y-\theta$ 的多项式乘同一正态密度。这类函数在 $\theta\in\mathbb R$ 及该 $y$ 区间上有有限的统一上界。

因为 $G$ 总质量为一，这个常数就是可积控制函数。用控制收敛逐次交换微分与积分，便得到所用的 $m'$ 和 $m''$ 。同样， $\theta^k\varphi_\sigma(y-\theta)$ 在 $\theta$ 上有界，所以每个固定 $y$ 的后验绝对矩都有限。这样的论证不需要把“先验矩有限”偷偷加回假设。

后验均值必然单调

令 $\delta_G(y)=E(\Theta\mid y)$ ，对式(2)求导，再用式(3)：

\delta_G'(y) =1+\sigma^2(\log m)''(y) =\frac{\operatorname{Var}(\Theta\mid y)}{\sigma^2}\ge0. \tag{4}

较大的读数不会使这个固定模型的后验均值变小。这还给边缘密度一个必要限制：

(\log m)''(y)\ge-\frac1{\sigma^2}. \tag{5}

不是任何光滑正密度都能写成方差 $\sigma^2$ 的正态位置混合。式(5)是必要条件，本页没有声称它本身足以构造一个先验 $G$ 。

例子与边界

正态先验恢复熟悉的线性收缩

若 $G=N(\mu_0,\tau^2)$ 、 $\tau^2>0$ ，则 $m=N(\mu_0,\tau^2+\sigma^2)$ ，所以

s(y)=-\frac{y-\mu_0}{\tau^2+\sigma^2}.

代入得到

\delta_G(y) =\frac{\tau^2}{\tau^2+\sigma^2}y +\frac{\sigma^2}{\tau^2+\sigma^2}\mu_0, \qquad V_G(y)=\frac{\sigma^2\tau^2}{\tau^2+\sigma^2}.

这与直接配平方得到的后验一致。平方损失下，后验均值是Bayes行动；这里并没有因此证明它对每个固定 $\theta$ 都支配原始读数。

若 $G$ 退化在 $\mu_0$ ，则 $m=N(\mu_0,\sigma^2)$ ，式(2)恒给 $\mu_0$ 、式(3)恒给零。这也是允许的正常先验，不能因后验方差为零就宣布公式失效。

两个信号群体之间，可以向外拉而不是向零缩

取 $G=\tfrac12\delta_{-a}+\tfrac12\delta_a$ ， $a>0$ 。两种信号的后验赔率为

\frac{P(\Theta=a\mid y)}{P(\Theta=-a\mid y)} =\exp(2ay/\sigma^2).

因此

\delta_G(y)=a\tanh(ay/\sigma^2),\qquad V_G(y)=a^2\operatorname{sech}^2(ay/\sigma^2). \tag{6}

若 $a=2\sigma$ ，在 $y=0$ 处后验仍各占一半，方差为 $4\sigma^2$ ，大于噪声方差；后验均值在零附近的斜率为4。一个小的正读数可能被向正的信号群拉远，不能把Tweedie公式理解为“总是向零缩”。

后验方差大并不与观察有信息矛盾。某个特定数据处的条件方差可以很大；若先验二阶矩有限，全方差公式只保证平均的后验方差不超过先验方差，量词不同。

两点先验在两个信号群之间产生陡峭的后验均值与较大的后验方差；均值仍单调，但不必沿读数向零收缩。 — 单调后验均值不等于处处向零收缩

任意密度估计不能直接冒充合法边缘密度

假定真实噪声方差为1，却把一个过窄的密度估计 $\widehat m=N(0,1/4)$ 代入。其得分为 $-4y$ ，公式会给

\widehat\delta(y)=-3y,\qquad \widehat V(y)=-3.

负方差暴露的是代入密度不可能来自声明的噪声模型，不是后验可以有负方差。把 $\widehat V$ 截为零只能改变一个数，不能把整份错误边缘密度变成合法正态混合。

边缘密度值估计准确，也不自动保证斜率比 $\widehat m'/\widehat m$ 准确，尤其在 $m$ 很小的尾部；曲率估计还更敏感。密度拟合、导数误差与后验解释应分别核验。

推论与应用

固定拟合后的先验，与再拟合整条流程的导数

正态混合的非参数似然估计会从许多观测估计一个 $\widehat G$ 。把这份拟合结果固定后， $\widehat m(y)=\int\varphi_\sigma(y-\theta)d\widehat G(\theta)$ 仍是合法混合，式(2)–(4)对这个拟合模型成立。

但若每移动一次 $y$ 就重估 $\widehat G_y$ ，对 $y\mapsto\delta_{\widehat G_y}(y)$ 求的是另一条总导数，包含拟合变化。它不再等于冻结 $\widehat G$ 时的后验方差除以 $\sigma^2$ 。

最小例子是一份观测 $y$ 。其不受限制的混合似然由 $\widehat G=\delta_y$ 最大化。冻结它后，输入另一个位置 $z$ ，后验均值恒为 $y$ 、导数为零、后验方差也为零；每次随着新输入重新拟合，则输出恒为输入，整条映射是 $y\mapsto y$ ，导数为一。两个导数都算对了，只是固定的对象不同。

这份样本内拟合的零方差也不表示真实信号已被精确知道。它只是所选拟合模型的条件量；若要报告频率覆盖或真实抽样风险，还需分析估计 $\widehat G$ 的整套程序。

预测新的噪声读数要再加一层方差

若 $Y_{\rm new}\mid\Theta$ 仍为 $N(\Theta,\sigma^2)$ ，并与 $Y$ 在给定 $\Theta$ 后独立，则

E(Y_{\rm new}\mid Y=y)=\delta_G(y), \qquad \operatorname{Var}(Y_{\rm new}\mid Y=y)=V_G(y)+\sigma^2. \tag{7}

第一项来自信号的不确定性，第二项是新一次读数的噪声。用后验信号方差给未来观测画区间，会漏掉后一项。这里只计算均值和方差；两点先验的预测分布仍是正态混合，不能未经理由就当作单个正态分布。

自测。 令 $\sigma^2=1,a=2,y=(\log3)/4$ 。后验赔率为3，所以信号 $\pm2$ 的后验概率为 $3/4,1/4$ ，后验均值为1、方差为3。Tweedie得分应为 $1-y$ 、对数密度二阶导数应为2，新读数的预测方差为4。它们是同一模型的不同输出。

参考资料

Bradley Efron, “Tweedie’s Formula and Selection Bias”作者全文, Journal of the American Statistical Association106(496),1602–1614,2011，§2，式(2.5)–(2.8)：正态后验均值、方差与边缘对数密度导数。本文的换微分条件、两点先验和冻结拟合反例另行完整推导。
Roger Koenker and Ivan Mizera, “Convex Optimization, Shape Constraints, Compound Decisions, and Empirical Bayes Rules”作者稿,2013-11-20，§1：单调后验均值与合法正态混合的形状约束。不是把同名的Tweedie指数分布族当作本页对象。

形式陈述 ​

只知道观测密度，能否恢复去噪后的均值 ​

后验均值为什么沿着密度上升方向调整 ​

换微分与积分需要什么 ​

后验均值必然单调 ​

正态先验恢复熟悉的线性收缩 ​

两个信号群体之间，可以向外拉而不是向零缩 ​

任意密度估计不能直接冒充合法边缘密度 ​

固定拟合后的先验，与再拟合整条流程的导数 ​

预测新的噪声读数要再加一层方差 ​

反向链接