量子相对熵 | Codeboy's Blog

形式陈述

设 $\rho,\sigma$ 是同一非零有限维复内积空间 $\mathcal H$ 上的密度算子， $d=\dim\mathcal H$ 。半正定算子 $A$ 的支撑是其正特征值对应的子空间，等于 $\operatorname{supp}A=(\ker A)^\perp$ 。本页采用底为 $2$ 的对数，量纲为 bit。

由有限维谱定理，若 $A=\sum_j a_j|v_j\rangle\langle v_j|$ ，就在支撑上定义

\left.\log_2 A\right|_{\operatorname{supp}A} =\sum_{j:a_j>0}(\log_2a_j)|v_j\rangle\langle v_j|.

这是对特征值取对数，再变回原来的基，绝不是对矩阵元素逐项取对数。零特征值没有有限对数；记号 $\operatorname{Tr}(A\log_2A)$ 专指 $\sum_{a_j>0}a_j\log_2a_j$ ，符合 $0\log_20=0$ 的连续约定。

量子相对熵定义为

D(\rho\Vert\sigma)= \begin{cases} \operatorname{Tr}(\rho\log_2\rho) -\operatorname{Tr}(\rho\log_2\sigma), &\operatorname{supp}\rho\subseteq\operatorname{supp}\sigma,\\ +\infty,&\text{否则}. \end{cases}

有限值分支中的第二个迹在 $\operatorname{supp}\sigma$ 上计算。也可以把谱对数在 $\ker\sigma$ 上任意补成一个有限自伴算子，再在全空间取迹：支撑包含使 $\rho$ 在这个核上为零，因此补值不影响答案。这个计算约定没有给 $\log_20$ 指定有限值。一般非对易时，也不能把两个对数之差改写成 $\log_2(\rho\sigma^{-1})$ 。

本页将完整证明归一化状态的基本结论，包括秩亏情形：

D(\rho\Vert\sigma)\ge0, \qquad D(\rho\Vert\sigma)=0\iff\rho=\sigma.

证明只需把两个完整特征基之间的重叠展开成概率数组，再逐项应用标量不等式。它还能支持后面的熵差和系综恒等式；一般信道的数据处理不等式则作为明确引用的进一步定理介绍。

直觉

von Neumann 熵 $S(\rho)$ 描述一个状态的谱分布，量子相对熵则比较一个有顺序的状态对。若二者在同一正交基下对角，分别对应概率 $p_i,q_i$ ，就有

D(\rho\Vert\sigma)=\sum_i p_i\log_2\frac{p_i}{q_i} =D(p\Vert q),

右侧是经典 KL 散度，包含相同的零概率约定。非对易时， $\rho$ 的特征向量可能同时落在 $\sigma$ 的多个特征方向上；交叉项 $\operatorname{Tr}(\rho\log_2\sigma)$ 必须记录这种相对方向。分别列出两个谱，再直接比较谱分布，会丢失这部分信息。

为什么支撑不包含就记为无穷大？取 $\ker\sigma$ 的正交基 $\{v_j:q_j=0\}$ ，它们作为测量方向时，在 $\sigma$ 下的概率都为零。对 $\rho$ 而言，

\sum_{j:q_j=0}\langle v_j|\rho|v_j\rangle =\sum_{j:q_j=0}\|\rho^{1/2}v_j\|^2.

这和为零当且仅当整个 $\ker\sigma$ 都包含在 $\ker\rho$ 中，也就是支撑包含成立。因此，支撑不包含恰好使至少一个被参考态排除的方向具有正概率。若暂以 $\sigma+\varepsilon I$ 计算对数，对应项便是 $-\langle v_j|\rho|v_j\rangle\log_2\varepsilon$ ，在 $\varepsilon\downarrow0$ 时发散到正无穷；这里仅以正则化算子解释极限，无须把它视为归一化状态。

无穷大并不等同于“一次测量必能区分”。它表示参考态对某些可能事件给出了零概率，而非这类事件必然发生。相对熵也有方向性，所以它是散度，不是对称距离。

例子与边界

对易状态：复现经典计算

令

\rho=\begin{pmatrix}3/4&0\\0&1/4\end{pmatrix}, \qquad \sigma_c=\begin{pmatrix}1/4&0\\0&3/4\end{pmatrix}.

二者都满秩，已经在同一基下对角，故

D(\rho\Vert\sigma_c) =\frac34\log_23+\frac14\log_2\frac13 =\frac12\log_23 \approx0.792481\ \text{bit}.

更一般地，两个 Hermitian 算子对易时，一个算子的每个特征空间都在另一个算子作用下保持不变；在这些空间内继续对角化，就得到共同正交特征基。这正是对易情形退回经典 KL 的原因。

相同的谱，不同的特征方向

保持上述 $\rho$ ，取

H=\frac1{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}, \qquad \sigma_n=H\rho H^\dagger =\begin{pmatrix}1/2&1/4\\1/4&1/2\end{pmatrix}.

两态的谱都是 $(3/4,1/4)$ ，所以都有熵 $h_2(3/4)\approx0.811278$ bit，其中 $h_2(t)=-t\log_2t-(1-t)\log_2(1-t)$ 。但它们不对易：

\rho\sigma_n-\sigma_n\rho =\begin{pmatrix}0&1/8\\-1/8&0\end{pmatrix}\ne0.

\log_2\sigma_n =H\begin{pmatrix}a&0\\0&b\end{pmatrix}H^\dagger =\frac12\begin{pmatrix}a+b&a-b\\a-b&a+b\end{pmatrix}.

因为 $\rho$ 对角，求交叉迹只保留此矩阵的对角元；于是

\operatorname{Tr}(\rho\log_2\rho)=\frac34a+\frac14b, \qquad \operatorname{Tr}(\rho\log_2\sigma_n)=\frac12(a+b),

D(\rho\Vert\sigma_n) =\frac14(a-b)=\frac14\log_23 \approx0.396241\ \text{bit}.

如果直接对两份相同的特征值列表计算 KL，就会错误地得到零。这次计算说明，相同状态熵并不意味着相同状态，相对熵也不能由两份独立的谱列表决定。

对两态施加同一个去相位信道

令 $P_z=|z\rangle\langle z|$ ，对二者都施加计算基去相位

\Delta(A)=P_0AP_0+P_1AP_1.

它保留对角元、删除非对角元，因此 $\Delta(\rho)=\rho$ 、 $\Delta(\sigma_n)=I/2$ 。输出相对熵可以直接算出：

\begin{aligned} D\bigl(\Delta(\rho)\Vert\Delta(\sigma_n)\bigr) &=\frac34\log_2\frac32+\frac14\log_2\frac12\\ &=1-h_2(3/4)\\ &\approx0.188722\ \text{bit} <0.396241\ \text{bit}. \end{aligned}

这是一组输入经过指定量子信道后的完整计算。去相位抹去了两态差异的一部分，相对熵随之减小；这一个算例本身尚不能证明所有信道都满足相同方向的不等式。

核空间决定的无穷大

纯态与最大混态给出最直接的非对称例子：

D\!\left(|0\rangle\langle0|\,\middle\Vert\,I/2\right)=1, \qquad D\!\left(I/2\,\middle\Vert\,|0\rangle\langle0|\right)=+\infty.

第一式的参考态满秩，且 $\log_2(I/2)=-I$ ；第二式的输入在参考态的核方向 $|1\rangle$ 上具有概率 $1/2$ 。两个不同的纯态即使不正交，其一维支撑也互不包含，所以两个方向的相对熵都无穷大。例如 $|0\rangle$ 与 $|+\rangle$ 的内积非零，却已经触发这一支撑边界。

推论与应用

完整特征基展开：把非负性化为标量不等式

选取两个包含零特征值方向的完整正交特征基：

\rho=\sum_{i=1}^d p_i|u_i\rangle\langle u_i|, \qquad \sigma=\sum_{j=1}^d q_j|v_j\rangle\langle v_j|.

令 $w_{ij}=|\langle u_i|v_j\rangle|^2$ 。由两个基的完备性，对每个 $i,j$ 都有

\sum_jw_{ij}=\langle u_i|I|u_i\rangle=1, \qquad \sum_iw_{ij}=\langle v_j|I|v_j\rangle=1.

现在在成对指标 $(i,j)$ 上定义两个概率数组

P_{ij}=p_iw_{ij},\qquad Q_{ij}=q_jw_{ij}.

行和、列和分别保证 $\sum_{i,j}P_{ij}=\sum_i p_i=1$ 和 $\sum_{i,j}Q_{ij}=\sum_jq_j=1$ 。若 $P_{ij}>0$ 且 $q_j=0$ ，则 $\rho$ 在 $v_j$ 方向有正权重，支撑包含失败。反过来，支撑不包含时，前面的核空间求和保证至少存在这样一对指标；此时量子相对熵和 $D(P\Vert Q)$ 都为无穷大。

在支撑包含的有限情形，逐项展开迹得

\begin{aligned} D(\rho\Vert\sigma) &=\sum_{i:p_i>0}p_i\log_2p_i -\sum_{i:p_i>0}\sum_{j:q_j>0}p_iw_{ij}\log_2q_j\\ &=\sum_{\substack{i,j:\ p_i>0,\ q_j>0}} p_iw_{ij}\log_2\frac{p_i}{q_j}\\ &=\sum_{i,j:P_{ij}>0}P_{ij}\log_2\frac{P_{ij}}{Q_{ij}} =D(P\Vert Q). \end{aligned}

第二行使用每个正权重 $p_i$ 对应的 $\sum_{j:q_j>0}w_{ij}=1$ ；零特征方向上的重叠因支撑包含而消失。第三行只在 $w_{ij}>0$ 时约去它； $w_{ij}=0$ 的位置贡献为零。这一步没有要求 $\rho$ 和 $\sigma$ 对易。

还需证明经典数组的非负性和精确取等条件。对 $a,b>0$ ，标量不等式 $\ln t\le t-1$ 在 $t=b/a$ 处给出

g(a,b):=a\ln\frac ab-a+b\ge0,

且等号当且仅当 $a=b$ 。例如直接考察 $t-1-\ln t$ ，其导数 $1-1/t$ 在 $t<1$ 时为负、 $t>1$ 时为正，唯一最小值在 $t=1$ ，值为零。把零值边界也纳入： $g(0,b)=b$ 当 $b>0$ ； $g(0,0)=0$ ； $g(a,0)=+\infty$ 当 $a>0$ 。因此全部非负参数下， $g$ 为零的充要条件仍是 $a=b$ 。

将此式应用于每个 $(P_{ij},Q_{ij})$ 并求和，归一化恰好消去线性项：

(\ln2)D(P\Vert Q) =\sum_{i,j}g(P_{ij},Q_{ij}) +\sum_{i,j}P_{ij}-\sum_{i,j}Q_{ij} =\sum_{i,j}g(P_{ij},Q_{ij})\ge0.

所以 $D(\rho\Vert\sigma)\ge0$ ，等号恰好要求 $P_{ij}=Q_{ij}$ 对所有指标成立。这包含 $P_{ij}=0<Q_{ij}$ 的严格正贡献；若只保留 $P$ 的正支撑而忽略这些位置，就不能直接得到完整的取等结论。

最后把数组相等还原为算子相等。 $P=Q$ 给出 $(p_i-q_j)w_{ij}=0$ ，因此

\langle u_i|(\rho-\sigma)|v_j\rangle =(p_i-q_j)\langle u_i|v_j\rangle=0 \quad\text{对所有 }i,j.

若重叠为零，此等式自动成立；若重叠非零， $w_{ij}>0$ 强制 $p_i=q_j$ 。两个基都完整，故 $\rho-\sigma$ 的全部这些矩阵元为零，得到 $\rho=\sigma$ 。反向把同一状态代入定义即得零，证明结束。这个论证把核空间也包括在内，无须额外假设两个状态满秩。

这里的 $P,Q$ 是依赖于一对状态及其两个特征基的代数构造，不能把它们解释为对两态实施同一个物理测量所得的两个输出分布。等式 $D(\rho\Vert\sigma)=D(P\Vert Q)$ 服务于上述证明，并未实现保持全部相对熵的一次共同测量。

到最大混态的相对熵就是熵差

因为 $I/d$ 满秩， $\log_2(I/d)=-(\log_2d)I$ ，所以

\begin{aligned} D(\rho\Vert I/d) &=\operatorname{Tr}(\rho\log_2\rho) +(\log_2d)\operatorname{Tr}\rho\\ &=\log_2d-S(\rho). \end{aligned}

刚证明的非负性立即给出 $S(\rho)\le\log_2d$ ，且等号当且仅当 $\rho=I/d$ 。这使最大熵界具有一个明确的比较对象：熵离最大值还差多少，正好等于状态到最大混态的相对熵。上面的去相位输出计算正是 $d=2$ 的实例。

系综恒等式：混合增加的熵来自哪里

给定有限系综 $\{r_x,\rho_x\}$ ，其中 $r_x\ge0$ 、 $\sum_xr_x=1$ ，平均态为 $\bar\rho=\sum_xr_x\rho_x$ 。下面所有含 $x$ 的求和只取 $r_x>0$ ，从而避免无意义的 $0\cdot\infty$ 。对 $v\in\ker\bar\rho$ ，

0=\langle v|\bar\rho|v\rangle =\sum_xr_x\|\rho_x^{1/2}v\|^2

迫使每一项为零，故 $\ker\bar\rho\subseteq\ker\rho_x$ ，即 $\operatorname{supp}\rho_x\subseteq\operatorname{supp}\bar\rho$ 。所有需要的相对熵因而有限；可在共同支撑上展开：

\begin{aligned} \sum_xr_xD(\rho_x\Vert\bar\rho) &=\sum_xr_x\operatorname{Tr}(\rho_x\log_2\rho_x) -\operatorname{Tr}\!\left(\sum_xr_x\rho_x\log_2\bar\rho\right)\\ &=-\sum_xr_xS(\rho_x)-\operatorname{Tr}(\bar\rho\log_2\bar\rho)\\ &=S(\bar\rho)-\sum_xr_xS(\rho_x). \end{aligned}

右侧称为该系综的 Holevo 信息 $\chi$ 。由非负性，混合后的熵至少是各分量熵的加权平均；差值为零当且仅当全部正权重状态都等于平均态。这个恒等式度量的是系综中各态相对平均态的差异，不等于已经证明任何接收者都能从测量中读出 $\chi$ bit 的标签信息。

例如等概率制备 $|0\rangle$ 与 $|+\rangle$ ，平均态是 $\bar\rho=\frac14\begin{pmatrix}3&1\\1&1\end{pmatrix}$ ，谱为 $(2\pm\sqrt2)/4$ 。两分量均为纯态，故

\frac12D(|0\rangle\langle0|\Vert\bar\rho) +\frac12D(|+\rangle\langle+|\Vert\bar\rho) =\chi=h_2\!\left(\frac{2+\sqrt2}{4}\right) \approx0.600876\ \text{bit}.

制备标签是公平比特，但非正交状态的平均态熵小于一 bit；这一点也与 von Neumann 熵一页的直接谱计算一致。

继续对同一系综实施测量，Holevo 界将这个熵差变成经典标签互信息的上界。那里把计算基与旋转基的 Born 概率分别写成联合分布，再用下面的共同信道数据处理完成证明。

引用的进一步定理：共同信道下的数据处理

对于同一个有限维 CPTP 映射 $\Phi$ ，量子相对熵满足

D\bigl(\Phi(\rho)\Vert\Phi(\sigma)\bigr) \le D(\rho\Vert\sigma).

这是本页引用而未证明的数据处理不等式，精确出处为 Watrous 第 5 章 Theorem 5.35。它把去相位算例推广到所有量子信道；上面的标量非负性证明并没有提供这一推广。两态必须经过同一映射，不能为两个输入分别选择不同操作。

一个POVM $\{E_y\}$ 定义测量信道 $\mathcal M(A)=\sum_y\operatorname{Tr}(E_yA)|y\rangle\langle y|$ 。其两个输出在记录基中同时对角，概率分别为 $p_y=\operatorname{Tr}(E_y\rho)$ 和 $q_y=\operatorname{Tr}(E_y\sigma)$ ，所以引用上述定理即得

D(p\Vert q) =D\bigl(\mathcal M(\rho)\Vert\mathcal M(\sigma)\bigr) \le D(\rho\Vert\sigma).

此处才是同一个真实测量的输出比较，和证明中用两个特征基制造的数组有不同地位。若挑选某个测量分支后再归一化，条件态通常非线性依赖输入，不能直接沿用 CPTP 前提。本页也只讨论有限维归一化状态，不把上述证明延伸到无限维算子的定义域问题。

终点自测：将非对易例子的两个状态同时作酉共轭，相对熵是否改变？不会：共轭保持两个谱，并保持全部重叠 $|\langle u_i|v_j\rangle|^2$ ，所以展开式和支撑包含关系不变。能够同时解释这个不变性、去相位后的严格减小以及纯态参考下的无穷大，就掌握了相对方向、共同处理与支撑边界各自的作用。

参考资料

John Watrous, The Theory of Quantum Information, Chapter 5, Cambridge University Press, 2018：§5.2.1，Definition 5.18、式 (5.85)，p. 266，含支撑条件的相对熵定义；§5.2.2，Proposition 5.22、式 (5.100)–(5.101)，p. 269，谱重叠展开与非负性。本页以完整概率数组给出归一化状态的证明，显式保留零特征值方向及取等条件。
同书 Theorem 5.35、式 (5.174)，pp. 280–281，量子信道下的数据处理不等式；§5.3.3，Theorem 5.49，pp. 299–300，基于这一进一步定理的可获取信息上界。后者说明系综恒等式与测量信息界之间还需要哪一步。
Mary Beth Ruskai, Inequalities for Quantum Entropy: A Review with Conditions for Equality, 2002，v2，§3.1，Theorem 3、式 (16)，p. 8：严格正定算子的 Klein 不等式及取等条件。本页通过完整特征基另外处理秩亏密度算子，不把严格正定版本直接套用于核空间。

形式陈述 ​

对易状态：复现经典计算 ​

相同的谱，不同的特征方向 ​

对两态施加同一个去相位信道 ​

核空间决定的无穷大 ​

完整特征基展开：把非负性化为标量不等式 ​

到最大混态的相对熵就是熵差 ​

系综恒等式：混合增加的熵来自哪里 ​

引用的进一步定理：共同信道下的数据处理 ​

反向链接