形式陈述
两个发送者,分别编码,共同译码
把单用户信道码 公理库 信道码 Channel code 把消息映为信道输入码字并从带噪输出恢复消息的编码—译码对。 的输入端分成两个发送者。有限字母表 X 1 , X 2 , Y 上的转移概率 W ( y ∣ x 1 , x 2 ) 规定两个输入同时送入后产生什么输出。固定无反馈、无输入成本限制的模型,多次使用满足
W n ( y n ∣ x 1 n , x 2 n ) = ∏ t = 1 n W ( y t ∣ x 1 t , x 2 t ) . 消息 M 1 , M 2 相互独立,分别均匀分布于 [ N 1 ] , [ N 2 ] 。两个确定编码器及一个共同译码器为
f 1 : [ N 1 ] → X 1 n , f 2 : [ N 2 ] → X 2 n , g : Y n → [ N 1 ] × [ N 2 ] . 发送者可以预先共同设计码本,但 f 1 看不到 M 2 ,f 2 看不到 M 1 ;编码时也不读取接收端过去的输出。这个信息限制决定了后面的产品输入条件。
码率是 R j n = n − 1 log 2 N j ,平均联合块错误 是
P e ( n ) = Pr [ g ( Y n ) ≠ ( M 1 , M 2 ) ] . 只要有一条消息判错,就算整个消息对失败。非负速率对 ( R 1 , R 2 ) 可达,指存在码序列使 P e ( n ) → 0 且两条速率的下极限分别至少为 R 1 , R 2 ;容量区域取所有可达对的闭包。全页用底为 2 的对数,速率单位为 bit/次共同信道使用。
容量区域的三条约束
选择有限辅助变量 Q ,以及条件产品输入律
P ( q , x 1 , x 2 , y ) = P Q ( q ) P 1 ( x 1 ∣ q ) P 2 ( x 2 ∣ q ) W ( y ∣ x 1 , x 2 ) . Q 记录预先约定、与消息独立的时间共享安排。它可以让不同位置采用不同输入分布;给定 Q 后,两个输入仍独立 。本模型不允许任意相关的联合输入取代这个条件。
二用户多址容量定理给出所有下述区域之并的闭包:
R 1 ≤ I ( X 1 ; Y ∣ X 2 , Q ) , R 2 ≤ I ( X 2 ; Y ∣ X 1 , Q ) , R 1 + R 2 ≤ I ( X 1 , X 2 ; Y ∣ Q ) . 联合遍历上述所有有限 Q 及条件产品分布,并限制 R 1 , R 2 ≥ 0 。这里的条件互信息 公理库 互信息 Mutual information 一个随机变量对另一个随机变量不确定性的平均减少量。 按熵差计算,例如
I ( X 1 ; Y ∣ X 2 , Q ) = H ( Y ∣ X 2 , Q ) − H ( Y ∣ X 1 , X 2 , Q ) . 只取常量 Q 得到固定产品输入的区域;允许时间共享也就包含这些区域间的凸组合。定理针对平均联合块错误和独立消息。它不把有反馈、共享消息或最大错误模型的容量一并断言为相同结果。
直觉
第一条约束可以理解为:即使先告诉接收者用户 2 的整条消息,输出关于用户 1 的信息仍然有限。第二条作对称检查。第三条则同时检查两条消息能否塞进共同输出;分别不超速,并不保证它们加起来不拥挤。
例如两个用户各发送一位 0 或 1 ,接收端只看到整数和 Y = X 1 + X 2 。输出 0 确定来自 ( 0 , 0 ) ,输出 2 确定来自 ( 1 , 1 ) ,输出 1 却可能来自 ( 0 , 1 ) 或 ( 1 , 0 ) 。给出另一人的输入后,自己的输入又可以唯一恢复。这正是单用户条件界较宽、联合总率界更紧的原因。
图片加载失败 二元加法信道与三个速率约束 时间共享是一份大家都知道的日程。例如前一部分位置采用方案 A,后一部分采用方案 B,两人的消息分别拆成两段。总速率是两段速率的加权平均,整块错误至多是两段错误之和。日程帮助分配信道资源,却没有把一个发送者的私有消息交给另一个发送者。
例子与边界
整数二元加法信道的精确区域
令 X 1 = X 2 = { 0 , 1 } ,Y = X 1 + X 2 ∈ { 0 , 1 , 2 } ,这里不是模二相加。公平独立输入给出
P Y = ( 1 / 4 , 1 / 2 , 1 / 4 ) , H ( Y ) = 3 / 2. 给定 X 2 ,相加只是把 X 1 的两个值平移,所以 H ( Y ∣ X 2 ) = H ( X 1 ) = 1 。信道又是确定的,故
I ( X 1 ; Y ∣ X 2 ) = I ( X 2 ; Y ∣ X 1 ) = 1 , I ( X 1 , X 2 ; Y ) = 3 / 2. 因此所有满足 R 1 ≤ 1 、R 2 ≤ 1 、R 1 + R 2 ≤ 3 / 2 的非负速率对都在容量闭包内。要称它为精确 区域,还要证明其他产品输入不能做得更好。
写 p = Pr [ X 1 = 1 ] 、q = Pr [ X 2 = 1 ] ,输出三概率为
a = ( 1 − p ) ( 1 − q ) , b = p + q − 2 p q , c = p q . 令 F ( p , q ) = H ( a , b , c ) 。正方形边界上有一位输入固定,输出至多取两个值,所以 F ≤ 1 。内部有 a , b , c > 0 ,直接求偏导并相减得到
F p − F q = ( p − q ) log 2 a c b 2 . 由于 b = p ( 1 − q ) + ( 1 − p ) q ,有 b 2 ≥ 4 a c ,对数严格为负。内部驻点因而必须满足 p = q = t 。在这条对角线上,输入对的熵为 2 h 2 ( t ) ;只有输出 1 丢失一个公平的输入次序,其概率为 2 t ( 1 − t ) ,所以
F ( t , t ) = 2 h 2 ( t ) − 2 t ( 1 − t ) . 其一阶导数在 t = 1 / 2 为零,二阶导数为
− 2 ( ln 2 ) t ( 1 − t ) + 4 < 0. 故唯一内部最大值在 t = 1 / 2 ,值为 3 / 2 ,也超过边界最大值。任意产品输入的条件单用户互信息至多一个 bit,总互信息至多 3 / 2 bit。对每个 Q = q 都有这些界,取平均仍成立,于是完整容量区域恰为
C = { ( R 1 , R 2 ) ≥ 0 : R 1 ≤ 1 , R 2 ≤ 1 , R 1 + R 2 ≤ 3 / 2 } . ( 0.7 , 0.7 ) 位于内部;( 0.8 , 0.8 ) 虽逐用户未超一 bit,却被总率排除。两个斜边端点是 ( 1 , 1 / 2 ) 与 ( 1 / 2 , 1 ) ,中点是 ( 3 / 4 , 3 / 4 ) 。它们属于渐近容量闭包,不表示存在一个固定块长的零错误码恰好达到这些速率。
改一个建模条件,计算就会变
若输出改为 Y = X 1 ⊕ X 2 ,公平输入仍给出两个条件互信息各为 1 ,总输出熵却只有 1 ,因此总率上界变为 R 1 + R 2 ≤ 1 。整数和留下三个结果,异或只留下两个结果,不能共用前一张容量图。
也不能先随意规定一个相关输入分布,再套容量公式。例如令 ( X 1 , X 2 ) 仅在 ( 0 , 0 ) , ( 1 , 0 ) , ( 1 , 1 ) 上各取概率 1 / 3 ,整数和就均匀分布于三个输出,熵为 log 2 3 > 3 / 2 。这个分布不是产品分布。若用预先共享的 Q 选择这三个确定输入对,输出虽无条件均匀,给定已知日程后却完全确定,故 I ( X 1 , X 2 ; Y ∣ Q ) = 0 ;日程本身的随机性不能冒充两条独立消息的信息。
平均错误与最大错误
这里控制的是对独立均匀消息对平均的块错误。若改为对每一对 ( m 1 , m 2 ) 都要求错误小,便得到最大错误准则;一般多址信道的两个容量区域可能不同。
单用户证明会删掉错误率高的消息,留下一个大的好消息集合。多用户坏点位于消息对的矩形表中:删掉一小部分坏点后,剩余好点未必包含两组足够大的消息集合的笛卡尔积。分离编码器需要的正是这种乘积结构,因此不能直接移植单用户删码论证。上面的整数加法算例仅计算本页的平均错误容量,并未用来证明两类容量严格不同。
推论与应用
可达性:三种错误候选分别付账
沿用单用户编码定理的阈值方法 公理库 有噪信道编码定理 Noisy-channel coding theorem · Channel coding theorem 低于离散无记忆信道容量的速率可实现任意小错误概率,而高于容量的速率不能可靠传输。 。先固定产品输入 P 1 P 2 ,按真实联合分布定义三种信息密度:
ı 1 = log 2 W ( Y ∣ X 1 , X 2 ) P Y ∣ X 2 ( Y ∣ X 2 ) , ı 2 = log 2 W ( Y ∣ X 1 , X 2 ) P Y ∣ X 1 ( Y ∣ X 1 ) , ı 12 = log 2 W ( Y ∣ X 1 , X 2 ) P Y ( Y ) . 分母由固定输入分布和信道求和得到,例如 P Y ∣ X 2 ( y ∣ x 2 ) = ∑ x 1 P 1 ( x 1 ) W ( y ∣ x 1 , x 2 ) 。真实正概率三元组上分母与分子都正。码本支持内的候选若遇到零分母,分子也必为零;凡分子为零,都把该项信息密度记为 − ∞ 。真实不可能出现的输出可任意规定译码。
分别独立抽取 N 1 条第一用户码字和 N 2 条第二用户码字,各坐标也独立。对每个消息对,块信息密度是相应单次量的和。收到 y n 后,只接受同时通过以下三道检验的唯一消息对:
ı 1 ( n ) > log 2 N 1 + τ , ı 2 ( n ) > log 2 N 2 + τ , ı 12 ( n ) > log 2 ( N 1 N 2 ) + τ . 没有唯一候选时输出固定消息对。只要真实对通过且没有错误对通过,就一定译对;这个充分条件给出错误事件的上界,未要求默认判决每次都错。
发送固定真实消息对后,将错误候选分成三个互不遗漏的类别:
候选类别
候选数
用来排除它的检验
并集界贡献
只错用户 1
N 1 − 1
ı 1 ( n )
至多 2 − τ
只错用户 2
N 2 − 1
ı 2 ( n )
至多 2 − τ
两个都错
( N 1 − 1 ) ( N 2 − 1 )
ı 12 ( n )
至多 2 − τ
第一行为什么成立?错误的第一用户码字独立于真实第二用户码字和输出。固定后两者,对任意正分母有
∑ x 1 n P 1 n ( x 1 n ) W n ( y n ∣ x 1 n , x 2 n ) P Y n ∣ X 2 n ( y n ∣ x 2 n ) = 1. 只对比值超过 2 log 2 N 1 + τ 的项求和,其总概率至多 2 − log 2 N 1 − τ 。再乘 N 1 − 1 得第一行。第二行对称。第三行中两条错误码字相互独立且都独立于真实输出;对 P 1 n P 2 n 求和、以 P Y n 作分母,同样得到候选概率至多 2 − log 2 ( N 1 N 2 ) − τ 。不同错误候选之间不必独立,并集界 公理库 并集界 Union bound · Boole 不等式 多个坏事件中至少一个发生的概率,不超过各事件概率之和。 仍可直接相加。
对随机码本和均匀消息平均,便得到有限块存在界
真 实 对 至 少 一 项 未 过 阈 值 E code P e ≤ Pr [ 真实对至少一项未过阈值 ] + 3 2 − τ . 三种真实信息密度的均值正是区域中的三个互信息。若速率严格满足全部相关约束,取 N j = ⌊ 2 n R j ⌋ 、τ = n δ ,其中正数 δ 小于三种速率余量,由大数定律 公理库 强大数定律 Law of large numbers · Strong law of large numbers · SLLN 独立同分布且可积时,样本均值沿几乎每条无限样本路径收敛到共同期望。 ,每个未过阈值的概率都趋零。有限码本空间中必有一个确定码本不超过平均错误界,选出并固定它即可。
零速率用户只需一条消息;删除涉及该用户错误的空类别及相应不需要的检验。若两人均为零速率,直接输出唯一消息对。区域边界由速率内部逼近及闭包取得。
时间共享如何进入同一证明
对于一般 P Q P 1 ( ⋅ ∣ Q ) P 2 ( ⋅ ∣ Q ) ,先按 P Q n 抽一个日程 q n ,再给定它独立抽两份条件产品码本。三种信息密度的分母分别加入 q t ;上面的求和等式逐日程仍成立。
在日程和码本的总体随机试验中,真实 ( Q t , X 1 t , X 2 t , Y t ) 独立同分布,均值就是带 Q 的三个条件互信息。因此同一个大数定律论证仍成立。最后把日程与两份码本一起固定:两个编码器和接收者事先知道它,实际通信时无需共享随机币,也不传递 Q 。这证明了定理所列整个条件产品区域的可达性。
逆定理:从整块消息回到单次使用
任取一组确定分离编码器。由联合Fano 不等式 公理库 Fano 不等式 Fano's inequality 用估计错误概率上界条件熵,从而把信息不足转化为推断下界。 ,令
n ϵ n = 1 + P e ( n ) log 2 ( N 1 N 2 ) , 便有 H ( M 1 , M 2 ∣ Y n ) ≤ n ϵ n 。消息独立,所以
n R 1 n = H ( M 1 ∣ M 2 ) ≤ I ( M 1 ; Y n ∣ M 2 ) + n ϵ n = I ( X 1 n ; Y n ∣ X 2 n ) + n ϵ n . 最后一个等号不要求编码器单射。给定 M 2 后,输出分布只通过 X 2 n = f 2 ( M 2 ) 依赖它,因为独立的 M 1 仍按原分布产生 X 1 n ;给定两条消息后,输出熵又只由两条码字决定。对这两个条件熵分别替换即可得到等号。
利用链式法则、去条件使熵不减及无记忆性,
H ( Y n ∣ X 2 n ) ≤ ∑ t H ( Y t ∣ X 2 t ) , H ( Y n ∣ X 1 n , X 2 n ) = ∑ t H ( Y t ∣ X 1 t , X 2 t ) . 相减得
R 1 n ≤ 1 n ∑ t I ( X 1 t ; Y t ∣ X 2 t ) + ϵ n . 交换两用户得到第二条;用 H ( Y n ) ≤ ∑ t H ( Y t ) 得到总率约束
R 1 n + R 2 n ≤ 1 n ∑ t I ( X 1 t , X 2 t ; Y t ) + ϵ n . 取与全部变量独立、在 [ n ] 均匀的时间索引 T ,令 Q = T 、X j = X j T 、Y = Y T 。每个固定时刻的两个输入是两条独立消息的确定函数,故 X 1 ⊥ X 2 ∣ Q 。于是上述三个平均恰好变成容量公式中的同一组三个条件互信息。
还需验证 ϵ n → 0 ,不能预先假定速率有界。总率 Fano 界先给出
( 1 − P e ( n ) ) ( R 1 n + R 2 n ) ≤ log 2 | Y | + 1 n . 当错误趋零时,总率因而有界,ϵ n = 1 / n + P e ( n ) ( R 1 n + R 2 n ) → 0 。将每个速率分别降低 ϵ n 并截断于零,所得非负对满足两条单用户约束。若两个速率均超过 ϵ n ,总率减少两份余项,也满足总率约束;若只有第一条超过,新的总率就是第一条速率,而 I ( X 1 ; Y ∣ X 2 , Q ) ≤ I ( X 1 , X 2 ; Y ∣ Q ) ,仍满足总率约束。另一情形对称,两条均不超过时得到零速率对。这样原速率到所列区域的距离趋零,闭包给出逆定理。
终点自测:复现三类候选的数目与各自分母;说明任意相关输入为何不合法;最后算出整数加法与异或的两个总率界。能把这三步连起来,就能区分独立编码、共同译码和资源共享各自承担的作用。
参考资料
Yury Polyanskiy and Yihong Wu, Lecture Notes on Information Theory , MIT 6.441, 2016,§26.1 Theorem 26.1,pp. 268–269;§26.2 Lemma 26.1,pp. 270–271;§26.3,pp. 272–273:容量区域、三类信息密度检验及逆界;§27.4,pp. 277–278:整数二元加法信道。
Abbas El Gamal and Thomas M. Cover, “Multiple User Information Theory” , Proceedings of the IEEE 68(12), 1980, §V, Theorem 3、式 (5.1)–(5.12),pp. 1472–1473:独立消息、平均联合错误、随机编码三类候选与逆定理。本文以信息密度展开其三类错误机制。
John A. Gubner, ECE 729 Course Notes , 2022-01-23,Chapter 14,pp. 135–140:编码约定、平均/最大错误区别及条件熵逆界。该讲义不证明可达性,本页的可达性按前两项来源展开。