Skip to content

定理Theorem

二用户多址信道容量区域

Multiple-access channel capacity region · Two-user DM-MAC capacity · 多址信道容量

两个无反馈的独立发送者共享一个接收端时,可靠速率由两条条件互信息界和一条总率界共同限制;时间共享、三类候选错误和整数加法信道给出完整可复算的容量区域。

形式陈述 ​

两个发送者,分别编码,共同译码 ​

把单用户信道码的输入端分成两个发送者。有限字母表 X1,X2,Y 上的转移概率 W(y∣x1,x2) 规定两个输入同时送入后产生什么输出。固定无反馈、无输入成本限制的模型,多次使用满足

Wn(yn∣x1n,x2n)=∏t=1nW(yt∣x1t,x2t).

消息 M1,M2 相互独立,分别均匀分布于 [N1],[N2]。两个确定编码器及一个共同译码器为

f1:[N1]→X1n,f2:[N2]→X2n,g:Yn→[N1]×[N2].

发送者可以预先共同设计码本,但 f1 看不到 M2,f2 看不到 M1;编码时也不读取接收端过去的输出。这个信息限制决定了后面的产品输入条件。

码率是 Rjn=n−1log2⁡Nj,平均联合块错误是

Pe(n)=Pr[g(Yn)≠(M1,M2)].

只要有一条消息判错,就算整个消息对失败。非负速率对 (R1,R2) 可达,指存在码序列使 Pe(n)→0 且两条速率的下极限分别至少为 R1,R2;容量区域取所有可达对的闭包。全页用底为 2 的对数,速率单位为 bit/次共同信道使用。

容量区域的三条约束 ​

选择有限辅助变量 Q,以及条件产品输入律

P(q,x1,x2,y)=PQ(q)P1(x1∣q)P2(x2∣q)W(y∣x1,x2).

Q 记录预先约定、与消息独立的时间共享安排。它可以让不同位置采用不同输入分布;给定 Q 后,两个输入仍独立。本模型不允许任意相关的联合输入取代这个条件。

二用户多址容量定理给出所有下述区域之并的闭包:

R1≤I(X1;Y∣X2,Q),R2≤I(X2;Y∣X1,Q),R1+R2≤I(X1,X2;Y∣Q).

联合遍历上述所有有限 Q 及条件产品分布,并限制 R1,R2≥0。这里的条件互信息按熵差计算,例如

I(X1;Y∣X2,Q)=H(Y∣X2,Q)−H(Y∣X1,X2,Q).

只取常量 Q 得到固定产品输入的区域;允许时间共享也就包含这些区域间的凸组合。定理针对平均联合块错误和独立消息。它不把有反馈、共享消息或最大错误模型的容量一并断言为相同结果。

直觉

第一条约束可以理解为:即使先告诉接收者用户 2 的整条消息,输出关于用户 1 的信息仍然有限。第二条作对称检查。第三条则同时检查两条消息能否塞进共同输出;分别不超速,并不保证它们加起来不拥挤。

例如两个用户各发送一位 0 或 1,接收端只看到整数和 Y=X1+X2。输出 0 确定来自 (0,0),输出 2 确定来自 (1,1),输出 1 却可能来自 (0,1) 或 (1,0)。给出另一人的输入后,自己的输入又可以唯一恢复。这正是单用户条件界较宽、联合总率界更紧的原因。

二元加法信道与三个速率约束

时间共享是一份大家都知道的日程。例如前一部分位置采用方案 A,后一部分采用方案 B,两人的消息分别拆成两段。总速率是两段速率的加权平均,整块错误至多是两段错误之和。日程帮助分配信道资源,却没有把一个发送者的私有消息交给另一个发送者。

例子与边界

整数二元加法信道的精确区域 ​

令 X1=X2={0,1},Y=X1+X2∈{0,1,2},这里不是模二相加。公平独立输入给出

PY=(1/4,1/2,1/4),H(Y)=3/2.

给定 X2,相加只是把 X1 的两个值平移,所以 H(Y∣X2)=H(X1)=1。信道又是确定的,故

I(X1;Y∣X2)=I(X2;Y∣X1)=1,I(X1,X2;Y)=3/2.

因此所有满足 R1≤1、R2≤1、R1+R2≤3/2 的非负速率对都在容量闭包内。要称它为精确区域,还要证明其他产品输入不能做得更好。

写 p=Pr[X1=1]、q=Pr[X2=1],输出三概率为

a=(1−p)(1−q),b=p+q−2pq,c=pq.

令 F(p,q)=H(a,b,c)。正方形边界上有一位输入固定,输出至多取两个值,所以 F≤1。内部有 a,b,c>0,直接求偏导并相减得到

Fp−Fq=(p−q)log2⁡acb2.

由于 b=p(1−q)+(1−p)q,有 b2≥4ac,对数严格为负。内部驻点因而必须满足 p=q=t。在这条对角线上,输入对的熵为 2h2(t);只有输出 1 丢失一个公平的输入次序,其概率为 2t(1−t),所以

F(t,t)=2h2(t)−2t(1−t).

其一阶导数在 t=1/2 为零,二阶导数为

−2(ln⁡2)t(1−t)+4<0.

故唯一内部最大值在 t=1/2,值为 3/2,也超过边界最大值。任意产品输入的条件单用户互信息至多一个 bit,总互信息至多 3/2 bit。对每个 Q=q 都有这些界,取平均仍成立,于是完整容量区域恰为

C={(R1,R2)≥0:R1≤1, R2≤1, R1+R2≤3/2}.

(0.7,0.7) 位于内部;(0.8,0.8) 虽逐用户未超一 bit,却被总率排除。两个斜边端点是 (1,1/2) 与 (1/2,1),中点是 (3/4,3/4)。它们属于渐近容量闭包,不表示存在一个固定块长的零错误码恰好达到这些速率。

改一个建模条件,计算就会变 ​

若输出改为 Y=X1⊕X2,公平输入仍给出两个条件互信息各为 1,总输出熵却只有 1,因此总率上界变为 R1+R2≤1。整数和留下三个结果,异或只留下两个结果,不能共用前一张容量图。

也不能先随意规定一个相关输入分布,再套容量公式。例如令 (X1,X2) 仅在 (0,0),(1,0),(1,1) 上各取概率 1/3,整数和就均匀分布于三个输出,熵为 log2⁡3>3/2。这个分布不是产品分布。若用预先共享的 Q 选择这三个确定输入对,输出虽无条件均匀,给定已知日程后却完全确定,故 I(X1,X2;Y∣Q)=0;日程本身的随机性不能冒充两条独立消息的信息。

平均错误与最大错误 ​

这里控制的是对独立均匀消息对平均的块错误。若改为对每一对 (m1,m2) 都要求错误小,便得到最大错误准则;一般多址信道的两个容量区域可能不同。

单用户证明会删掉错误率高的消息,留下一个大的好消息集合。多用户坏点位于消息对的矩形表中:删掉一小部分坏点后,剩余好点未必包含两组足够大的消息集合的笛卡尔积。分离编码器需要的正是这种乘积结构,因此不能直接移植单用户删码论证。上面的整数加法算例仅计算本页的平均错误容量,并未用来证明两类容量严格不同。

推论与应用

可达性:三种错误候选分别付账 ​

沿用单用户编码定理的阈值方法。先固定产品输入 P1P2,按真实联合分布定义三种信息密度:

ı1=log2⁡W(Y∣X1,X2)PY∣X2(Y∣X2),ı2=log2⁡W(Y∣X1,X2)PY∣X1(Y∣X1),ı12=log2⁡W(Y∣X1,X2)PY(Y).

分母由固定输入分布和信道求和得到,例如 PY∣X2(y∣x2)=∑x1P1(x1)W(y∣x1,x2)。真实正概率三元组上分母与分子都正。码本支持内的候选若遇到零分母,分子也必为零;凡分子为零,都把该项信息密度记为 −∞。真实不可能出现的输出可任意规定译码。

分别独立抽取 N1 条第一用户码字和 N2 条第二用户码字,各坐标也独立。对每个消息对,块信息密度是相应单次量的和。收到 yn 后,只接受同时通过以下三道检验的唯一消息对:

ı1(n)>log2⁡N1+τ,ı2(n)>log2⁡N2+τ,ı12(n)>log2⁡(N1N2)+τ.

没有唯一候选时输出固定消息对。只要真实对通过且没有错误对通过,就一定译对;这个充分条件给出错误事件的上界,未要求默认判决每次都错。

发送固定真实消息对后,将错误候选分成三个互不遗漏的类别:

候选类别 候选数 用来排除它的检验 并集界贡献
只错用户 1 N1−1 ı1(n) 至多 2−τ
只错用户 2 N2−1 ı2(n) 至多 2−τ
两个都错 (N1−1)(N2−1) ı12(n) 至多 2−τ

第一行为什么成立?错误的第一用户码字独立于真实第二用户码字和输出。固定后两者,对任意正分母有

∑x1nP1n(x1n)Wn(yn∣x1n,x2n)PYn∣X2n(yn∣x2n)=1.

只对比值超过 2log2⁡N1+τ 的项求和,其总概率至多 2−log2⁡N1−τ。再乘 N1−1 得第一行。第二行对称。第三行中两条错误码字相互独立且都独立于真实输出;对 P1nP2n 求和、以 PYn 作分母,同样得到候选概率至多 2−log2⁡(N1N2)−τ。不同错误候选之间不必独立,并集界仍可直接相加。

对随机码本和均匀消息平均,便得到有限块存在界

EcodePe≤Pr[真实对至少一项未过阈值]+32−τ.

三种真实信息密度的均值正是区域中的三个互信息。若速率严格满足全部相关约束,取 Nj=⌊2nRj⌋、τ=nδ,其中正数 δ 小于三种速率余量,由大数定律,每个未过阈值的概率都趋零。有限码本空间中必有一个确定码本不超过平均错误界,选出并固定它即可。

零速率用户只需一条消息;删除涉及该用户错误的空类别及相应不需要的检验。若两人均为零速率,直接输出唯一消息对。区域边界由速率内部逼近及闭包取得。

时间共享如何进入同一证明 ​

对于一般 PQP1(⋅∣Q)P2(⋅∣Q),先按 PQn 抽一个日程 qn,再给定它独立抽两份条件产品码本。三种信息密度的分母分别加入 qt;上面的求和等式逐日程仍成立。

在日程和码本的总体随机试验中,真实 (Qt,X1t,X2t,Yt) 独立同分布,均值就是带 Q 的三个条件互信息。因此同一个大数定律论证仍成立。最后把日程与两份码本一起固定:两个编码器和接收者事先知道它,实际通信时无需共享随机币,也不传递 Q。这证明了定理所列整个条件产品区域的可达性。

逆定理:从整块消息回到单次使用 ​

任取一组确定分离编码器。由联合Fano 不等式,令

nϵn=1+Pe(n)log2⁡(N1N2),

便有 H(M1,M2∣Yn)≤nϵn。消息独立,所以

nR1n=H(M1∣M2)≤I(M1;Yn∣M2)+nϵn=I(X1n;Yn∣X2n)+nϵn.

最后一个等号不要求编码器单射。给定 M2 后,输出分布只通过 X2n=f2(M2) 依赖它,因为独立的 M1 仍按原分布产生 X1n;给定两条消息后,输出熵又只由两条码字决定。对这两个条件熵分别替换即可得到等号。

利用链式法则、去条件使熵不减及无记忆性,

H(Yn∣X2n)≤∑tH(Yt∣X2t),H(Yn∣X1n,X2n)=∑tH(Yt∣X1t,X2t).

相减得

R1n≤1n∑tI(X1t;Yt∣X2t)+ϵn.

交换两用户得到第二条;用 H(Yn)≤∑tH(Yt) 得到总率约束

R1n+R2n≤1n∑tI(X1t,X2t;Yt)+ϵn.

取与全部变量独立、在 [n] 均匀的时间索引 T,令 Q=T、Xj=XjT、Y=YT。每个固定时刻的两个输入是两条独立消息的确定函数,故 X1⊥X2∣Q。于是上述三个平均恰好变成容量公式中的同一组三个条件互信息。

还需验证 ϵn→0,不能预先假定速率有界。总率 Fano 界先给出

(1−Pe(n))(R1n+R2n)≤log2⁡|Y|+1n.

当错误趋零时,总率因而有界,ϵn=1/n+Pe(n)(R1n+R2n)→0。将每个速率分别降低 ϵn 并截断于零,所得非负对满足两条单用户约束。若两个速率均超过 ϵn,总率减少两份余项,也满足总率约束;若只有第一条超过,新的总率就是第一条速率,而 I(X1;Y∣X2,Q)≤I(X1,X2;Y∣Q),仍满足总率约束。另一情形对称,两条均不超过时得到零速率对。这样原速率到所列区域的距离趋零,闭包给出逆定理。

终点自测:复现三类候选的数目与各自分母;说明任意相关输入为何不合法;最后算出整数加法与异或的两个总率界。能把这三步连起来,就能区分独立编码、共同译码和资源共享各自承担的作用。

参考资料
  • Yury Polyanskiy and Yihong Wu, Lecture Notes on Information Theory, MIT 6.441, 2016,§26.1 Theorem 26.1,pp. 268–269;§26.2 Lemma 26.1,pp. 270–271;§26.3,pp. 272–273:容量区域、三类信息密度检验及逆界;§27.4,pp. 277–278:整数二元加法信道。
  • Abbas El Gamal and Thomas M. Cover, “Multiple User Information Theory”, Proceedings of the IEEE 68(12), 1980, §V, Theorem 3、式 (5.1)–(5.12),pp. 1472–1473:独立消息、平均联合错误、随机编码三类候选与逆定理。本文以信息密度展开其三类错误机制。
  • John A. Gubner, ECE 729 Course Notes, 2022-01-23,Chapter 14,pp. 135–140:编码约定、平均/最大错误区别及条件熵逆界。该讲义不证明可达性,本页的可达性按前两项来源展开。
关系图谱12 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系