离散无记忆信道

DMC 把信道物理细节浓缩为一张由有限输入/输出字母表和单次转移概率 $W(y|x)$ 组成的随机转移矩阵。信道每次按同一随机规则污染当前符号，在无反馈的编码模型中，多次使用时条件概率按乘积展开；更基本的“无记忆”要求是，给定当前输入和已经发生的历史，本次输出仍按同一个 $W$ 产生。反馈可以让后续输入透露先前输出，因此不能再用给定完整输入序列后的独立性来定义它。输入本身可以相关，编码器也可跨位置设计码字。

二元对称信道以概率 $p$ 翻转比特；二元擦除信道以概率 $ϵ$ 输出擦除符号。若噪声状态随时间形成 Markov 链，就不是普通 DMC。转移矩阵每一输入行必须是概率分布。可数字母表版本可以定义，但容量存在性、紧性和编码定理常需额外技术条件。反馈不改变离散无记忆信道的 Shannon 容量，但会改变编码策略与误差指数。

二元对称信道的矩阵为

二元擦除信道以概率 $ϵ$ 输出特殊符号 ?，提示缺失位置；翻转信道不提供该提示。

取 $p=0.1$，发送 $x^3=010$ 而收到 $y^3=110$，只有第一位翻转，故条件概率为 $0.1\times 0.9\times 0.9=0.081$。若问“恰好一位翻转”，还要把三个错误位置相加，得到 $0.243$。

无记忆不等于输出独立。令 $X_1=X_2=Z$，其中 $Z$ 是公平比特。经过独立 BSC 噪声后，输出相等概率为 $(1-p{)}^2+p^2=0.82$，而两个独立公平比特相等的概率为 $0.5$。相关性来自输入，没有违反无记忆性。

突发错误和相关隐状态衰落通常不满足简单乘积分解；强行用 DMC 会误估相关错误。反馈本身不把物理 DMC 变成有记忆信道，只是让输入依赖过去输出，因而需要前述因果表述。信道矩阵描述的是给定输入后的条件分布公理库条件分布Conditional distribution · Regular conditional distribution给定观测值后随机量的概率律，以及它与原联合分布相容的核表示。，不包含输入分布，后者由编码策略选择；二者结合才确定输入、输出的联合分布。

回到无反馈模型，输入坐标仍可相关，这决定了编码逆定理的证明写法：可以用 $H(Y^n)\le \sum _{i}H(Y_i)$，却不能擅自写成等号；乘积信道真正保证的是 $H(Y^n\mid X^n)=\sum _{i}H(Y_i\mid X_i)$。两式相减便得到互信息的逐坐标上界，详见编码定理的有限块逆界公理库有噪信道编码定理Noisy-channel coding theorem · Channel coding theorem低于离散无记忆信道容量的速率可实现任意小错误概率，而高于容量的速率不能可靠传输。。

DMC 是信道容量、随机编码和纠错码理论的标准基线模型。BSC公理库二元对称信道Binary symmetric channel · BSC以独立翻转噪声定义二元无记忆信道，推导容量并用重复码区分单次错误、译码错误与码率。 是最常用特例，互信息公理库互信息Mutual information用联合分布相对独立边缘乘积的 KL 散度量化统计依赖。 在输入分布与转移矩阵下计算，容量公理库信道容量Channel capacity对输入分布最大化输入与输出互信息所得的每次使用信息率。 对输入分布最大化互信息，编码定理公理库有噪信道编码定理Noisy-channel coding theorem · Channel coding theorem低于离散无记忆信道容量的速率可实现任意小错误概率，而高于容量的速率不能可靠传输。 则给出 DMC 上可靠通信的阈值。

若单次信道同时接收两个输入，转移核改成 $W(y\mid x_1,x_2)$；多址信道公理库二用户多址信道容量区域Multiple-access channel capacity region · Two-user DM-MAC capacity · 多址信道容量两个无反馈的独立发送者共享一个接收端时，可靠速率由两条条件互信息界和一条总率界共同限制；时间共享、三类候选错误和整数加法信道给出完整可复算的容量区域。进一步规定两条独立消息由不同编码器处理。把输入对当成一个大字母可以描述物理信道，却会掩盖编码器不能互看消息的限制，因而不能直接按单用户任意联合输入最大化。