高斯信道容量

功率限制了输入的平方幅度预算，噪声给接收者带来不可消除的不确定性。高斯输入把这个预算转成最难进一步压缩的输出分布，但“输出熵最大”需要处理熵存在性。直接比较输出与候选高斯分布，可以把容量损失精确分成两项：输出偏离候选分布的 KL，以及没有用完的功率。

同一个容量还可换算为有损传输的质量。图中固定信噪比 $P/N=3$，每次实信道使用能可靠承载至多一 bit。若源方差为 $4$，每个源符号分到的信道使用次数 $\alpha$ 决定最优渐近失真。

一条KL恒等式给出所有输入的上界 ​

记 $S=P+N$，$W_x=N(x,N)$，并选择参考输出分布 $Q=N(0,S)$。将两个高斯密度的对数比在 $W_x$ 下积分，得到

下标 $2$ 表示以 bit 计的KL散度公理库KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。。因为 $\mathbb{E}{X}^2<\mathrm{\infty }$，其平均值 $A={\mathbb{E}}_X{D}_2(W_X\Vert Q)$ 有限。KL链式法则先按 $X$ 条件化，再按输出边缘分解，给出

这一步不要求 $X$ 有密度；$W_x$ 的高斯密度已经定义了联合分布相对于 $P_X\otimes Q$ 的密度比。左边有限，保证右边两项均有限，因而没有无穷减无穷。整理后得到精确差额

高斯输入 $N(0,P)$ 用满功率，且与独立高斯噪声相加后输出为 $N(0,P+N)$，使两项同时为零。这证明了最大值及一个达成输入。

相关块输入仍不能突破总预算 ​

编码产生的各个 $X_i$ 通常相关，不能假定码字是IID。令 $P_i=\mathbb{E}{X}_i^2$、$Q_i=N(0,P_i+N)$。独立噪声与前面的KL分解给出

而乘积参考分布的密度比还能分解为

各项由有限的左端控制，故相减合法。因此

函数 $C(t)=\frac{1}{2}{\log }_2(1+t/N)$ 在 $t\ge 0$ 上递增且凹。由Jensen不等式公理库Jensen 不等式Jensen's inequality凸函数作用于平均值不超过函数值的相同加权平均。和 $\sum _i{P}_i\le nP$，右边至多为 $nC(P)$。结合Fano不等式公理库Fano 不等式Fano's inequality用估计错误概率上界条件熵，从而把信息不足转化为推断下界。与数据处理不等式公理库数据处理不等式Data processing inequality对 Markov 链 X→Y→Z，有 I(X;Z)≤I(X;Y)。，

除以 $n$ 并令错误概率趋零，即得 $\underset{n}{lim sup}{n}^{-1}{\log }_2{M}_n\le C(P)$。

信噪比与“实一次”的单位 ​

这些数值是可靠通信的渐近阈值；$C=1$ 不表示单次使用便能无误传一 bit。给定有限块长和具体码后，仍须分析其错误率。

复信道若写 $Y=X+Z$、$Z\sim \mathcal{CN}(0,N)$，且 $\mathbb{E}|X{|}^2\le P$，这里 $N$ 是复噪声的总方差，两个实分量各有方差 $N/2$。一次复使用含两个实维度，容量为 ${\log }_2(1+P/N)$ bit/复使用。不能在不改变“一次使用”的含义时删去实公式中的 $1/2$。

功率约束的量词不能互换 ​

每个码字都满足 $\Vert x^n(u){\Vert }^2\le nP$，比本页对均匀消息取平均的约束更强；逐坐标峰值限制 $|x_i|\le A$ 又是另一可行集，不能直接沿用高斯输入的达成论证。若完全不限制输入功率，让高斯输入方差趋于无穷便使互信息无界。

$P=0$ 时所有码字都为零，输出分布与消息无关，任意译码器的成功概率至多为 $1/M_n$。噪声必须满足 $N>0$；把无噪声实数信道代入有限容量公式并无意义。噪声若不是独立同分布高斯，方差相同也不足以保证这个等式。

从最优输入到真正的可靠编码 ​

当 $P>0$ 且 $R<C(P)$ 时，由连续性可取 $0<P^{\prime }<P$ 使 $R<C(P^{\prime })$。以 $N(0,P^{\prime })$ 为辅助输入，平均成本严格小于 $P$，信息密度与平方成本的IID平均满足大数律。带成本约束的编码定理于是给出确定性长块码：每个码字能量至多 $nP$，最大消息错误概率趋零，码率可趋近 $C(P^{\prime })$。这也满足本页较弱的平均功率、平均错误要求。

这里使用的是MIT讲义§17.2、Theorem17.3的可达性结论；上述KL计算本身只证明单字母互信息极值。逆界与编码定理合起来，才说明 $C(P)$ 是操作容量。

与有损源的预算对接 ​

若每 $n$ 个源符号允许 $m$ 次实信道使用，固定 $m/n\to \alpha \in (0,\mathrm{\infty })$，则每源符号可靠信息预算为 $\alpha C(P)$。方差 ${\sigma }^2$ 的IID高斯源配平方误差，其率失真函数公理库率失真函数Rate-distortion function允许平均失真D时的最小互信息，并以高斯平方误差证明下界、最优测试信道及源信道资源比例。为 $R(D)=\frac{1}{2}{\log }_2({\sigma }^2/D)$（$0<D<{\sigma }^2$）。该页证明

并说明渐近可达性及 $\alpha =1$ 时缩放传输的精确达成。分子 $m$ 是信道使用次数；若改用“源符号/信道使用”的比率，必须取其倒数。