有噪信道编码定理

1、第6章：噪声信道的编码定理，6.1错误概率和解码规则，6.2错误概率和编码方法，6.3噪声信道的编码定理。信源编码后的码字序列抗干扰能力弱，在信道噪声的影响下容易产生错误。为了提高通信系统的有效性和可靠性，应该在信源编码器和信道之间增加一个信道编码器。噪声信道编码的主要目的是提高传输的可靠性和抗干扰能力，因此也被称为纠错编码或抗干扰编码。6.1错误概率和解码规则。我们已经知道，错误概率与信道统计特性有关。信道的统计特性可以用信道的传递矩阵来描述。当输入和输出之间的对应关系被确定时，信道矩阵中的正确传输概率和错误传输概率也被确定。例如，在二进制对称信道中，单个符号的错误传输概率为p，正确传输概率

2、为0。然而，通信过程通常不会在信道的输出端结束，并且在到达消息的终端(接收者)之前，它必须经历解码过程(或决策过程)。因此，解码过程和解码规则对系统的错误概率有很大的影响。影响通信系统可靠性的一个重要问题是解码方法，这可以通过一个例子看出。让我们建立一个二元对称信道，它的传输特性如图所示。(2)1接收0，0接收1；则系统的正确解码概率为0.9，错误解码概率为0.1，从而提高了通信的可靠性。(1)接受0代表0，接受1代表1；当源先验概率相等时，p(0)=p(1)=1/2；此时，接收y判断x的后验概率等于信道转移概率，系统的正确解码概率为0.1，错误解码概率为0.9。设置通道输入符号集X=xi，i

3、=1，2，r，输入符号集y=yj，j=1，2，s，f (yj)=Xi (I=1，2，r；J=1，2，s)，对于具有r输入和s输出的通道，可能有rs种不同的解码标准。如果对于每个输出符号yj有一个确定的函数F(yj)，使得yj对应于唯一的输入符号xi，那么这样的函数就是解码规则。示例6.1存在信道矩阵为0的离散单符号信道。根据这样的信道矩阵，设计一个解码规则，即，并且设计另一个解码规则，即，应该选择解码规则来最小化平均错误概率。为了选择解码规则，必须首先计算平均错误概率。1.错误概率：解码准则确定后，当接收端接收到bj时，根据解码准则将其转换为F(bj)=ai。此时，如果ai被发送，它将被正确解

4、码，如果它没有被发送，它将被错误解码。因此，接收到bj后，正确解码概率是接收到bj后，推测发送端发送的ai的正确解码概率为：错误解码概率为：平均错误解码概率为：表示解码后平均接收一个符号所导致的错误大小，也称为平均错误概率。只要设计了解码规则，条件错误解码的概率就被最小化。你应该选择最大值。也就是说，选择解码函数来满足条件，也就是说，如果采用这样的解码函数，将每个输出符号转换成具有最大后验概率的输入符号，则可以首先最小化信道错误概率。这种译码规则称为“最大后验概率译码规则”或“最小错误概率译码规则”。信道的传输概率和输入符号的先验概率是已知的。根据贝叶斯法则，选择并满足解码函数。以这种方式定义

5、的解码规则称为最大似然解码规则。平均正确概率是，如果先验概率相等，也可以写成，例6.2信道矩阵是已知的，根据最大似然解码准则，可选择的码函数是，在第一列，在第三列，在第二列，如果选择了上述解码函数，则获得平均错误概率，如果输入6.2错误概率和编码方法，1。简单重复编码，BSC信道，输入x=0，1，等概率分布，信道模型：根据最大似然解码准则：(输入等概率)，0编码为000，1编码为111。此时可用的码字是8；它们是：x1=000 x2=001 x3=010 x4=100 X5=011 X6=110 x7=101 x8=111，允许的码字是000和111，这相当于X1=000和X2=111的通道输

6、入和Y1=000用于通道输出。Y2=001Y3=010Y4=100 Y5=011Y6=110Y7=101Y8=111此时，信道转移矩阵为：如果根据最大似然规则解码，它将是：f(y1)=f(y2)=f(y3)=f(y4)=x1=000 f(y5)=f(y6)=f(y7)=f(y8)可以计算、但这带来了新的问题。当它很大时，信息传输速率会大大降低。我们将编码信道的信息传输速率(也称为码率)表示为(比特/码符号)。如果平均花费几秒钟来传输每个代码符号，则编码后每秒传输的信息为，(比特/秒)，2。消息符号的数量。在具有N倍无记忆扩展信道的二进制信道中，在输入端有2n个符号序列可用作消息符号，这些符号序

7、列现在才被选择。如果选择m更小，则pE将降低，而R也将降低。例如，如果源在三次扩展后有八个消息符号，如果选择其中的M个作为传输的输入消息符号，信道输出将接收八个输出符号，然后M个消息符号将从这八个输出符号中翻译出来。有70种选择方法可以选择一个符号序列作为消息。不同的方法(编码方法)有不同的错误概率。现在我们比较以下两种方法：当n=3时，M=2与PE 310-4 R=1/3，当n=3时，M=8与PE 310-2 R=1，当n=3时，M=4与PE 310-2 R=2 3。(5.2)线性码，设M=4，n=5，则信息传输速率R=2/5比特/码元，输入码元的四个(M=4)码字采用以下编码方法：将输入序

8、列作为序列中的第一个分量，如果每个分量满足下列等式：正确解码概率、错误在一个代码组(码字集)中，如果任意两个长度相等的码字之间有d个不同的对应符号，则d称为两个码字之间的汉明距离。属性：1。非负D(X，Y)0 2。对称性D(X，Y)=D(Y，X) 3。三角不等式D(X，Z) D(Y，Z)D(X，Y)，在二进制码C中，任意两个码字的汉明距离最小距离译码准则等于二进制对称信道中的最大似然译码准则。最小距离解码标准也可以用于任何信道，但是它不一定等于最大似然解码标准。6。平均解码错误概率也可以用汉明距离来表示。如果输入码字的数量为m(并且设置了输入等概率分布)，平均解码错误概率为，或，6.3有噪信道编码定理，定理6.1有噪信道编码定理：假设离散无记忆信道为信道传输概率，其信道容量为。当信息传输速率较高时，只要码长足够长，在输入码元集中总能找到一组由M 2n(C)个码字和相应的译码规则组成的码，因此译码的平均错误概率是任意小的()。定理6.2有噪信道编码的逆定理(定理6.1的逆):让离散无记忆信道的信道容量为。当信息传输速率高时，无论码长n有多长，都找不到编码，这使得解码错误概率任意小。省略了证明。，1)如果M2n(C-)，则有这样的