微分熵 | Codeboy's Blog

形式陈述

设实随机变量 $X$ 相对于 Lebesgue 测度 $dx$ 有概率密度 $f$ 。固定坐标单位，以 $2$ 为对数底，定义微分熵

h(X)=-\int_{\mathbb R}f(x)\log_2 f(x)\,dx, \qquad 0\log_2 0=0.

若 $f\log_2 f$ 的正部和负部积分不同时为无穷，该式是有定义的扩展实数；若

\int_{\mathbb R}f(x)|\log_2 f(x)|\,dx<\infty,

则 $h(X)$ 是有限实数。以下涉及有限数相减的恒等式均注明这一条件。微分熵可以为负，也依赖坐标单位；它与离散Shannon 熵的联系由量化给出。

具体地，令 $\Delta>0$ ，等宽量化索引为 $K_\Delta=\lfloor X/\Delta\rfloor$ 。若 $f$ 在某个有限区间 $[A,B]$ 外为零、有界，且在 $(A,B)$ 连续，则

\lim_{\Delta\downarrow0}\bigl[H(K_\Delta)+\log_2\Delta\bigr]=h(X),

即 $H(K_\Delta)=h(X)-\log_2\Delta+o(1)$ 。区间端点允许密度跳跃，因而均匀密度也在此范围内。这是一组足够条件，下面直接证明它。

直觉

在密度连续的位置，一个宽度为 $\Delta$ 的小格子约有概率 $f(x)\Delta$ ，落入该格子的自信息约为 $-\log_2 f(x)-\log_2\Delta$ 。按真实分布平均后，第一项成为 $h(X)$ ，第二项记录分辨率。格子宽度减半时，多出的约一 bit 用来分辨原来每格内的两个子格；即使 $h(X)$ 为负，量化索引的离散熵仍非负。无损编码在这里针对指定精度的格子索引， $h(X)$ 本身不表示精确记录一个实数所需的位数。

单位变换：密度与长度同时变化

设 $Y=aX+b$ ，其中 $a\ne0$ ，并假设 $X$ 的绝对熵积分有限。密度变换为

f_Y(y)=\frac1{|a|}f\!\left(\frac{y-b}{a}\right).

代入定义并换元 $y=ax+b$ ，得到

\begin{aligned} h(Y) &=-\int_{\mathbb R}f(x)\log_2\frac{f(x)}{|a|}\,dx\\ &=h(X)+\log_2|a|\int_{\mathbb R}f(x)\,dx\\ &=h(X)+\log_2|a|. \end{aligned}

变换后的绝对熵积分至多为原值加 $|\log_2|a||$ ，所以换元和拆项均合法。平移不改变微分熵，缩放则留下长度单位的对数。

量化极限：先构造真正的密度，再交换极限

记第 $k$ 个格子为 $I_{k,\Delta}=[k\Delta,(k+1)\Delta)$ ，令

p_{k,\Delta}=\int_{I_{k,\Delta}}f(x)\,dx, \qquad f_\Delta(x)=\frac{p_{k,\Delta}}{\Delta}\quad(x\in I_{k,\Delta}).

$f_\Delta$ 把每个格子的总质量均匀摊开，仍是概率密度。在有界支撑下，只有有限个格子有正质量，因此逐格积分精确给出

\begin{aligned} h(f_\Delta) &=-\sum_k\Delta\frac{p_{k,\Delta}}{\Delta} \log_2\frac{p_{k,\Delta}}{\Delta}\\ &=-\sum_kp_{k,\Delta}\log_2p_{k,\Delta} +\log_2\Delta\sum_kp_{k,\Delta}\\ &=H(K_\Delta)+\log_2\Delta. \end{aligned}

把 $f$ 在区间外补为零。在每个连续点 $x$ ，包含 $x$ 的格子中所有位置都与 $x$ 相距至多 $\Delta$ ，故

|f_\Delta(x)-f(x)| \le\sup_{|u-x|\le\Delta}|f(u)-f(x)|\longrightarrow0.

端点至多两个，因而 $f_\Delta\to f$ 几乎处处。若 $0\le f\le M$ ，则 $0\le f_\Delta\le M$ 。函数 $\phi(t)=-t\log_2t$ 在 $[0,M]$ 连续，令 $C=\max_{0\le t\le M}|\phi(t)|$ 。当 $\Delta\le1$ 时，所有 $f_\Delta$ 的支撑都包含于固定区间 $[A-1,B+1]$ ，从而

|\phi(f_\Delta(x))|\le C\mathbf1_{[A-1,B+1]}(x).

右端可积，控制收敛定理于是给出 $h(f_\Delta)\to h(f)$ 。与逐格恒等式合并，就证明了量化极限；这里有界性控制尖峰，固定有限支撑控制积分区域。

例子与边界

同一个测量，换单位还是换分辨率

取 $X\sim U[0,1/4]$ ，密度为 $4$ ，所以

h(X)=-\int_0^{1/4}4\log_2 4\,dx=-2.

令 $\Delta=1/1024$ ，支撑恰好分成 $256$ 个等概率格子，每格概率 $1/256$ ，故 $H(K_\Delta)=8$ bit。此处无需渐近误差： $8=-2-\log_2(1/1024)$ 精确成立。

现在令 $Y=100X$ ，则 $Y\sim U[0,25]$ ， $h(Y)=\log_2 25\approx4.643856$ 。两种量化方案的差异是：

量化对象与格宽	等概率格子数	索引熵（bit）
$X$ ，格宽 $1/1024$	$256$	$8$
$Y$ ，格宽 $100/1024$	$256$	$8$
$Y$ ，格宽 $1/1024$	$25{,}600$	$\log_2 25{,}600\approx14.643856$

第二行满足 $\lfloor Y/(100\Delta)\rfloor=\lfloor X/\Delta\rfloor$ ，记录的索引完全相同。第三行保持数值格宽，换回原坐标相当于把分辨率提高 $100$ 倍，所以多出 $\log_2 100$ bit。信息量的增加来自新的测量精度。

有限方差和有界支撑仍不保证有限微分熵

考虑有界区间上的密度

f(x)=\begin{cases} \dfrac1{x[\ln(1/x)]^2},&0<x<e^{-1},\\ 0,&\text{其他情形}. \end{cases}

令 $t=\ln(1/x)$ ，则 $x=e^{-t}$ 、 $|dx|=e^{-t}dt$ ，于是

\int_0^{e^{-1}}f(x)\,dx=\int_1^\infty\frac{dt}{t^2}=1.

其支撑有界，所以均值、方差有限；但 $\ln f(e^{-t})=t-2\ln t$ ，从而

\begin{aligned} \int f(x)\ln f(x)\,dx &=\int_1^\infty\frac{t-2\ln t}{t^2}\,dt\\ &=\lim_{R\to\infty}\left[\ln R-2+\frac{2(\ln R+1)}R\right] =+\infty. \end{aligned}

故 $h(X)=-\infty$ 。这里密度在零附近无界，不能套用前面的有界密度量化证明；有限方差也不能替代绝对熵可积条件。该例仍满足任何有限的高斯熵上界，只是不能再把熵差当作两个有限数之差。

微分熵还要求分布确有 Lebesgue 密度。非原子并不足够，例如 Cantor 分布没有这种密度；常量分布同样没有。对它们，不能直接使用本页的密度积分定义。即使密度存在，一般情形也可能同时出现积分正负部无穷，此时 $h$ 未定义。

推论与应用

高斯最大熵：KL 给出全局证书

设 $X$ 有密度 $f$ ， $\mathbb EX=\mu$ 、 $\operatorname{Var}(X)=\sigma^2\in(0,\infty)$ ，且 $\int f|\log_2 f|<\infty$ 。取具有相同均值、方差的正态分布密度

g(x)=\frac1{\sqrt{2\pi\sigma^2}} \exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right).

关键在于 $-\log_2g(x)$ 是一个常数加二次项。任何具有上述均值、方差的 $f$ 都有相同的交叉熵：

\begin{aligned} -\int f(x)\log_2g(x)\,dx &=\frac12\log_2(2\pi\sigma^2) +\frac{\mathbb E[(X-\mu)^2]}{2\sigma^2\ln2}\\ &=\frac12\log_2(2\pi e\sigma^2). \end{aligned}

有限二阶矩同时保证 $\int f|\log_2g|<\infty$ 。令 $f=g$ 便算出 $h(g)=\tfrac12\log_2(2\pi e\sigma^2)$ ；对一般 $f$ ，两项绝对可积，故KL 散度可以展开为

\begin{aligned} D(f\|g) &=\int f\log_2f-\int f\log_2g\\ &=\frac12\log_2(2\pi e\sigma^2)-h(X)\ge0. \end{aligned}

因此

h(X)\le\frac12\log_2(2\pi e\sigma^2),

且等号当且仅当 $f=g$ 几乎处处。这个证明比较了全部满足约束的密度，KL 还精确给出离最优值差多少。

例如 $X\sim U[-\sqrt3,\sqrt3]$ 的方差为 $(2\sqrt3)^2/12=1$ ，微分熵为 $\log_2(2\sqrt3)\approx1.792481$ ；标准正态的熵为 $\tfrac12\log_2(2\pi e)\approx2.047096$ 。两者相差

D\bigl(U[-\sqrt3,\sqrt3]\|N(0,1)\bigr) =\frac12\log_2\frac{\pi e}{6} \approx0.254614\ \text{bit}.

若约束改为 $\operatorname{Var}(X)\le v$ 、 $v>0$ ，在同样的有限熵条件下，先用实际方差的上界，再用对数单调性，可得 $h(X)\le\tfrac12\log_2(2\pi ev)$ 。取等要求方差用满且分布为高斯，均值可以任意。方差为零的分布集中在一点，不属于有 Lebesgue 密度的候选。若约束是 $\mathbb E[X^2]\le v$ ，则还须用 $\operatorname{Var}(X)=\mathbb E[X^2]-\mu^2$ ，取等进一步要求 $\mu=0$ 。

为什么互信息不随单位改变

若 $X,Y$ 有联合密度，且联合与两个边缘的绝对熵积分均有限，互信息的密度比可以拆开并边缘化，得到

\begin{aligned} I(X;Y) &=\iint f_{XY}(x,y) \log_2\frac{f_{XY}(x,y)}{f_X(x)f_Y(y)}\,dx\,dy\\ &=h(X)+h(Y)-h(X,Y). \end{aligned}

分别作 $U=aX+b$ 、 $V=cY+d$ ， $ac\ne0$ ，联合密度的换元给 $h(U,V)=h(X,Y)+\log_2|a|+\log_2|c|$ 。两个边缘各增加对应的一项，在上式中恰好抵消，所以 $I(U;V)=I(X;Y)$ 。更一般的可逆光滑变换也使 KL 密度比中的 Jacobian 抵消；互信息保留的是变量间的统计依赖。

若 $Y=X$ 且 $X$ 非原子，联合分布落在对角线上，没有二维密度；这时应回到互信息的 KL 定义，而不是套用三个微分熵的相减式。

参考资料

Yury Polyanskiy and Yihong Wu, Lecture Notes on Information Theory, MIT 6.441, Spring 2016：§1.3，印刷页 18，Definition/Theorem 1.5，讨论定义与有限性；§23.1.5，印刷页 241，式 (23.2)，给出高分辨率量化关系。本页在有界、有限支撑条件下补全其极限证明。
Muriel Médard, 6.441 Lecture 16, MIT, Spring 2010，slides 4–8：密度熵、尺度变换及 KL 最大熵论证。
Claude E. Shannon, “A Mathematical Theory of Communication”, 1948，§20，items 5–6、8–9：连续熵、固定二阶矩下的高斯极值与坐标依赖；其固定二阶矩约束对应本页最后说明的零均值取等情形。

形式陈述 ​

单位变换：密度与长度同时变化 ​

量化极限：先构造真正的密度，再交换极限 ​

同一个测量，换单位还是换分辨率 ​

有限方差和有界支撑仍不保证有限微分熵 ​

高斯最大熵：KL 给出全局证书 ​

为什么互信息不随单位改变 ​

反向链接