有扰离散信道的编码定理

香农在他的经典著作中提出了著名的信息编码定理：

对于一个给定的有扰信道，若信道容量为C，只要发送端以低于C的速率R发送信息（R为编码器的输入二进制码元速率），则一定存在一种编码方法，使编码错误概率P随着码长的n的增加，按指数下降到任意小的值。表示为

这里，E(R)称为误差指数，它与R和C的关系如图1所示。

这条定理告诉我们两条理论：

（1）在码长及发送信息速率一定的情况下，为减小P，可以增大信道容量。

（2）在信道容量及发送信息速率一定的条件下，增加码长，可以使错误概率指数下降。

香农的信息编码定理为信道编码奠定了理论基础，虽然定理本身并没有给出具体的差错控制编码方法和纠错码的结构，但它从理论上为信道编码的发展提出了努力方向。

检错和纠错的基本原理

下面我们以三位二进制码组为例，说明检错纠错的基本原理。三位二进制码元共有8种可能的组合：000、001、010、011、100、101、110、111。如果这8种码组都可传递消息，若在传输过程中发送一个误码，则一种码组会错误地变成另一种码组。由于每一种码组都可能出现，没有多余的信息量，因此接收端可能发现错误，以为发送的就是另一种码组。但若我们只选用000、011、101、110这4种码组（这些码组称为许用码组）来传送消息，这相当于只传递00、01、10、11四种信息，而第3位是附加的。这位附加的监督码元与前面两位码元一起，保证码组中“1”码的个数为偶数。除上述4种许用码组以外的另外4种码组不满足这种校验关系，称为禁用码组，就表明传输过程中发生了错误。用这种简单的校验关系可以发现一个和三个错误，但不能纠正错误。

几种实用的简单检错码

奇偶监督码、水平奇偶监督码、水平垂直奇偶监督码、群计数码、恒比码ISBN国际统一图书编号。