形式陈述
设 W : { 0 , 1 } → Y 是 binary-input discrete memoryless channel。两次独立使用 W 前先作线性变换
x 1 = u 1 ⊕ u 2 , x 2 = u 2 . 若解码 u 1 时把 u 2 视为均匀未知,得到坏合成信道
W − ( y 1 , y 2 ∣ u 1 ) = 1 2 ∑ u 2 W ( y 1 ∣ u 1 ⊕ u 2 ) W ( y 2 ∣ u 2 ) . 若解码 u 2 时把已知的 u 1 连同输出一起提供,得到好合成信道
W + ( y 1 , y 2 , u 1 ∣ u 2 ) = 1 2 W ( y 1 ∣ u 1 ⊕ u 2 ) W ( y 2 ∣ u 2 ) . 记 I ( W ) 为均匀输入下的对称互信息,Z ( W ) = ∑ y W ( y ∣ 0 ) W ( y ∣ 1 ) 为 Bhattacharyya 参数,则
I ( W − ) + I ( W + ) = 2 I ( W ) , Z ( W + ) = Z ( W ) 2 , Z ( W − ) ≤ 2 Z ( W ) − Z ( W ) 2 . 递归 m 次得到 N = 2 m 个 bit-channel W N ( i ) 。极化定理断言:对任意固定 δ ∈ ( 0 , 1 ) ,当 N → ∞ 时,容量位于 ( 1 − δ , 1 ] 的索引比例趋于 I ( W ) ,位于 [ 0 , δ ) 的比例趋于 1 − I ( W ) ,处于中间地带的比例趋于零。这里 I ( W ) 一般是 symmetric capacity;只有对称信道中它才等于Shannon 信道容量 公理库 信道容量 Channel capacity 对输入分布最大化输入与输出互信息所得的每次使用信息率。 。
直觉
一次变换没有创造信息,而是把两个同质量信道重新分配成一个更难、一个更容易的决策。解码第一个 bit 时,另一个输入像额外噪声;解码第二个 bit 时,先前 bit 成为侧信息。不断递归后,大多数决策位置不再“中等可靠”:要么几乎由观测决定,要么观测几乎无用。
守恒关系解释好信道的比例为何恰是 I ( W ) ,Bhattacharyya 递推则量化可靠度如何分离。极化不是每条路径单调变好或变坏;同一路径会按 minus/plus 分支上下波动,定理描述的是随机选择分支后可靠度过程几乎必然收敛到 { 0 , 1 } 两端。
例子与边界
对 BEC( ϵ ) ,合成信道仍是 BEC,且递推精确为
ϵ − = 2 ϵ − ϵ 2 , ϵ + = ϵ 2 . 取 ϵ = 1 / 2 ,第一层擦除率为 3 / 4 与 1 / 4 ,容量分别为 1 / 4 与 3 / 4 。再递归一次,四条路径的擦除率为
15 16 , 9 16 , 7 16 , 1 16 , 相应容量为
1 16 , 7 16 , 9 16 , 15 16 . 四者平均仍为 1 / 2 ,却已明显向零和一展开。这个标量等式依赖 BEC;一般信道的 minus 分支只有 Z 上界,不能照抄擦除概率递推。
原始 2 × 2 kernel 产生 2 的幂次块长。其他 kernel、puncturing 或 shortening 可以得到不同长度,但极化速度和证明条件随之改变。Arıkan 的基本定理适用于任意 B-DMC 的 symmetric capacity;要在非对称信道上达到完全 Shannon 容量,还需 shaping 或非均匀输入机制。
推论与应用
给定任意 R < I ( W ) ,可从 Z ( W N ( i ) ) 小的索引中选择约 R N 个承载信息,其余冻结。强化的极化速度定理表明,对任意 β < 1 / 2 ,好信道可达到 Z < 2 − N β 的尺度且所占比例趋于 I ( W ) 。这个结论与 SC 的 union bound 结合,产生显式容量可达码列。
信道极化还用于源极化、Slepian–Wolf 编码和随机性提取;方向会根据目标把高熵或低熵 bit-channel 选作信息位置。应用时应重新声明侧信息、输入分布和“好”的判据,而不能把信道编码的索引选择机械复用。
参考资料
Erdal Arıkan, “Channel Polarization: A Method for Constructing Capacity-Achieving Codes for Symmetric Binary-Input Memoryless Channels,” IEEE Transactions on Information Theory 55(7), 2009, 3051–3073.
Erdal Arıkan and Emre Telatar, “On the Rate of Channel Polarization,” Proceedings of ISIT , 2009, 1493–1495.
Emre Şaşoğlu, Polarization and Polar Codes , Foundations and Trends in Communications and Information Theory 8(4), 2012.