Skip to content

定理Theorem

信道极化

施工中 · 内容逐步修订

Channel polarization

递归组合并分裂二元输入信道,使合成 bit-channel 的可靠度趋向完美或无用两极。

形式陈述 ​

设 W:{0,1}→Y 是有限输出字母表上的二元输入离散无记忆信道。两次独立使用 W 前先作线性变换

x1=u1⊕u2,x2=u2.

若解码 u1 时把 u2 视为均匀未知,得到坏合成信道

W−(y1,y2∣u1)=12∑u2W(y1∣u1⊕u2)W(y2∣u2).

若解码 u2 时把独立均匀抽取的 u1 的实现值连同输出一起提供,得到好合成信道

W+(y1,y2,u1∣u2)=12W(y1∣u1⊕u2)W(y2∣u2).

记 I(W) 为均匀输入下的互信息(单位为 bit),Z(W)=∑yW(y∣0)W(y∣1) 为 Bhattacharyya 参数,则

I(W−)+I(W+)=2I(W),Z(W+)=Z(W)2,Z(W−)≤2Z(W)−Z(W)2.

递归 m 次得到 N=2m 个 bit-channel WN(i)。极化定理断言:对任意固定 δ∈(0,1),当 N→∞ 时,对称互信息 I(WN(i)) 位于 (1−δ,1] 的索引比例趋于 I(W),位于 [0,δ) 的比例趋于 1−I(W),处于中间地带的比例趋于零。这里 I(W) 一般是 symmetric capacity;对称信道保证它等于Shannon 信道容量,一般二元输入信道则不能自动作此等同。

直觉

一次变换没有创造信息,而是把两个同质量信道重新分配成一个更难、一个更容易的决策。解码第一个 bit 时,另一个输入像额外噪声;解码第二个 bit 时,先前 bit 成为侧信息。不断递归后,大多数决策位置不再“中等可靠”:要么几乎由观测决定,要么观测几乎无用。

守恒式可直接用条件熵的链式分解核对。令 U1,U2 独立均匀,记 Y=(Y1,Y2);可逆 kernel 使 X1,X2 也独立均匀。因此

2I(W)=I(U1,U2;Y)=2−H(U1∣Y)−H(U2∣U1,Y)=I(W−)+I(W+).

最后一项的输出包含 U1,而 U2 的先验仍为公平比特。这里所有字母表有限,不涉及发散熵相减。

守恒关系解释好信道的比例为何恰是 I(W),Bhattacharyya 递推则量化可靠度如何分离。极化不是每条路径单调变好或变坏;同一路径会按 minus/plus 分支上下波动,定理描述的是随机选择分支后可靠度过程几乎必然收敛到 {0,1} 两端。

BEC(1/2) 的两层极化
例子与边界

对 BEC(ϵ),合成信道仍是 BEC,且递推精确为

ϵ−=2ϵ−ϵ2,ϵ+=ϵ2.

取 ϵ=1/2,第一层擦除率为 3/4 与 1/4,容量分别为 1/4 与 3/4。再递归一次,四条路径的擦除率为

1516,916,716,116,

相应容量为

116,716,916,1516.

四者平均仍为 1/2,却已明显向零和一展开。这个标量等式依赖 BEC;一般信道的 minus 分支只有 Z 上界,不能照抄擦除概率递推。

原始 2×2 kernel 产生 2 的幂次块长。其他 kernel、puncturing 或 shortening 可以得到不同长度,但极化速度和证明条件随之改变。Arıkan 的基本定理适用于任意 B-DMC 的 symmetric capacity;要在非对称信道上达到完全 Shannon 容量,还需 shaping 或非均匀输入机制。

推论与应用

给定任意 0<R<I(W),可从 Z(WN(i)) 小的索引中选择约 RN 个承载信息,其余冻结。强化的极化速度定理表明,对任意 0<β<1/2,好信道可达到 Z<2−Nβ 的尺度且所占比例趋于 I(W)。这个结论与 SC 的并合界结合,在相应冻结向量条件下得到达到 I(W) 的码列;对称信道中这也就是 Shannon 容量。具体的信息集与冻结向量条件见极化码。

信道极化还用于源极化、Slepian–Wolf 编码和随机性提取;方向会根据目标把高熵或低熵 bit-channel 选作信息位置。应用时应重新声明侧信息、输入分布和“好”的判据,而不能把信道编码的索引选择机械复用。

参考资料
关系图谱17 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系

使用的工具