信息论第6章北理工课件

第六章有噪信道编码定理第一节错误概率与译码规则第二节错误概率与编码方法第三节有噪信道编码定理第四节联合信源信道编码定理1第六章有噪信道编码定理第一节错误概率与译码规则第二节第六章有噪信道编码定理

前一章已经从理论上讨论了，对于无噪无损信道只要对信源进行适当的编码，总能以信道容量无差错的传递信息。但是一般信道总会存在噪声和干扰，那么在有噪信道中进行无差错传输可以达到的最大信息传输率是多少呢？这就是本章所要讨论的问题。本章的核心是香农第二定理。第六章有噪信道编码定理前一章已经从理论上讨论了第一节错误概率与译码规则

为了减少错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制，能控制到什么程度。前边已经讨论过，错误概率与信道的统计特性有关，但并不是唯一相关的因素，译码方法的选择也会影响错误率。第一节错误概率与译码规则为了减少错误，提高通信例：设一个二元对称信道，其传输特性如图所示。一般二元对称信道输出端的译码器是将接收到符号“0”译成发送的符号为“0”，接收到符号“1”译成发送的符号为“1”。如果仍按照此译码器的译码规则，那么当发送符号为“0”，接收到符号仍为“0”,则译码器译为符号“0”，为正确译码，因此对发送符号“0”来说，译对的可能性只有1/3；而当发送符号为“0”，接收到符号却是“1”则译成符号“1”，为错误译码，则译错的概率是2/3。因为信道对称，对发送符号“1”来说，译错的概率也是2/3。在此译码规则下，平均错误概率

(假设输入端符号是等概率分布)

例：设一个二元对称信道，其传输特性如图所示。反之，若根据这个特殊信道定出另一种译码规则:

将输出端接收符号“0”译成符号“1”，将输出端接收符号“1”译成符号“0”

则译错的可能性就减少了，为1/3；而译对的可能性增大了，为2/3。可见，错误概率既与信道的统计特性有关，也与译码的规则有关。反之，若根据这个特殊信道定出另一种译码规则:现在我们来定义译码规则。设离散单符号信道的输入符号集为A={ai}，i=1,2,…,r；输出符号集为B={bj},j=1,2,…,s。制定译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj确定一个唯一的输入符号ai与其对应(单值函数)。即

(i=1,2,…,r)(j=1,2,…,s)现在我们来定义译码规则。有一离散单符号信道，信道矩阵为

根据这样一个信道矩阵，设计一个译码规则A，也可以设计另外一个译码规则B

由于s个输出符号中的每一个都可以译成r个输入符号中的任何一个，所以共有rs

种译码规则可供选择。有一离散单符号信道，信道矩阵为译码规则的选择应该根据什么准则?一个很自然的准则当然就是要使平均错误概率为最小。为了选择译码规则，首先必须计算平均错误概率。在确定译码规则F(bi)=ai

后，若信道输出端接收到的符号为bi，则一定译成ai，如果发送端发送的就是ai，这就为正确译码；如果发送的不是ai，就认为是错误译码。那么，收到符号bi条件下译码的条件正确概率为译码规则的选择应该根据什么准则?一个很令为条件错误概率，其中e表示除了F(bi)=ai

以外的所有输入符号的集合。条件错误概率与条件正确概率之间有关系。经过译码后的平均错误概率PE应是条件错误概率对Y空间取平均值。即它表示经过译码后平均接收到一个符号所产生的错误大小，也称平均错误概率。

令为条件错误概率，其中e表示除了F(bi)=ai“最大后验概率准则”或“最小错误概率准则”设计这样一种译码函数可使平均错误概率最小。因为我们一般是已知信道的传递概率与输入符号的先验概率，所以根据贝叶斯定律，上式可写成

“最大后验概率准则”或“最小错误概率准则”设计这样一种译码函一般P(bi)≠0,这样，最大后验概率准则就可表示为：选择译码函数

使满足若输入符号的先验概率均相等，则上式可写成选择译码函数并满足这样定义的译码规则称为最大似然译码准则。在输入符号等概率时，这两个译码准则是等价的。根据最大似然译码准则我们可以直接从信道矩阵的传递概率中去选定译码函数。就是说，收到bi后，译成信道矩阵P的第j列中最大那个元素所对应的信源符号。一般P(bi)≠0,这样，最大后验概率准则就可表示为：最大似然译码准则本身不再依赖于先验概率。但是当先验概率为等概率分布时，它使错误概率PE最小。(注意：如果先验概率不相等或不知道时，仍可以采用这个准则，但不一定能使PE最小)。根据译码准则，进一步可写出平均错误概率，即最大似然译码准则本身不再依赖于先验概率。式中求和号表示对输入符号集A中除a*

以外的所有元素求和。上式也可以写成上式的平均错误概率是在联合概率矩阵中先求每列除去F(bi)=a*

所对应的P(a*bj)以外所有元素之和，然后再对各列求和。当然，我们也可以在矩阵中先对行求和，除去译码规则中F(bi)=a*

所对应的P(a*bj);然后再对各行求和。式中求和号表示对输入符号集A中除a*以外的所有元素求因此上式还可以写成其中令。

就是某个输入符号ai传输所引起的错误概率。因此上式还可以写成接前例有一离散单符号信道，信道矩阵为

根据最大似然译码准则可选择译码函数为B在输入等概率分布时采用译码函数B可使信道平均错误概率最小。接前例有一离散单符号信道，信道矩阵为若选用前述译码函数A则得平均错误概率可见若选用前述译码函数A若输入不是等概分布，其概率分布为根据最大似然译码准则仍可选择译码函数为B，计算其平均错误概率。但采用最小错误概率译码准则，它的联合概率矩阵为若输入不是等概分布，其概率分布为所以得译码函数为计算平均错误概率可见，此时。所以，输入不是等概分布时最大似然译码准则的平均错误概率不是最小。所以得译码函数为例题：有一离散信道，信道矩阵为，假如信道输入消息符号的概率分别为：请分别用最大后验概率译码准则和最大似然译码准则确定译码函数，并计算其相应的平均错误概率。例题：有一离散信道，信道矩阵为，解：（1）最大后验概率译码准则解：（1）最大后验概率译码准则（2）最大似然译码准则（2）最大似然译码准则费诺不等式PE和信道疑义度H(X/Y)的关系费诺不等式PE和信道疑义度H(X/Y)的关系第二节错误概率与编码方法

一般信道传输时都会产生错误，而选择译码准则并不会消除错误，那么如何减少错误概率呢？下边讨论通过编码方法来降低错误概率。01010.990.990.010.01例：对于如下二元对称信道第二节错误概率与编码方法一般信道传输时都会产生错

如何提高信道传输的正确率呢？可以尝试用下面的方法没有使用的码字001010011100101110用作消息的码字000111输出端接收序列000001010011100101110111二元对称信道的三次扩展信道如何提高信道传输的正确率呢？没有使用的码字用作消息的码字输则：根据最大似然译码准则，可得译码函数为：F(000)=000F(001)=000F(010)=000F(011)=111F(100)=000F(101)=111F(110)=111F(111)=111

此时，译码可以采用“择多译码”，即根据接收序列中0多还是1多，0多就判作0，1多就判作1。错误概率降低了两个数量级，这种编码可以纠正码字中的一位码元出错。若重复多次可进一步降低错误率。则：根据最大似然译码准则，可得译码函数为：此时，译码可以

但是又出现了一个新的问题，n很大时，信息传输率会降低很多，我们把编码后的信息传输率表示为：

在上例中：M=2当n=1时R=1比特／码符号当n=3时R=1/3比特／码符号当n=5时R=1/5比特／码符号......n越大，PE越低,信息传输率R越低.但是又出现了一个新的问题，n很大时，信息传输率会降低很

这显然是一个矛盾，有没有解决的办法呢？香农第二定理可以解决这一问题。我们分析前边的例子，我们只用了扩展信源的两个字符，因此信息率降低了，如果我们把8个字符全用上，信息传输率就会回到1，但是此时错误概率为3*10-2，比单符号时还大三倍。我们可以总结如下：在二元信道的n次扩展信道中，选取其中的M个作为消息，则M大一些，PE跟着大，R也大;M小一些,PE

跟着小，R也小。

如果在上例中，取M＝4，如：取000011101110为消息，其他的不用，则则与M=8比较，错误率降低了，而信息率也降低了。这显然是一个矛盾，有没有解决的办法呢？香农第二定理可以解

还存在另外一个问题，M=4时，有70种选取方法，而选取方法不同，错误率也不同。我们比较下面两种选取方法：第一种：000011101110

第二种：000001010100

可以计算得第一种方法的错误率为2*10-2

第二种方法的错误率为2.28*10-2

比较可知，第一种方法好，仔细观察发现，在第一种方法中，如果000有一位出错，我们就可以判定出错了；而在第二种方法中，如果000中任何一位出错，就变成了其他的合法的码字，我们无法判断是否出错。再仔细观察，发现第二种方法中，码字之间太“象”了，或者说太“近”了。还存在另外一个问题，M=4时，有70种选取方法，而

我们再讨论一个例子，取M＝4，n＝5，这时信道的信息传输率为：这4个码字按如下规则选取：设输入序列为:满足方程：若译码采取最大似然准则：我们再讨论一个例子，取M＝4，n＝5，这时信道的信息传输

此码能纠正所有码字中一位码元错误，也能纠正其中两个两位码元的错误。此码能纠正所有码字中一位码元错误，也能纠正其中两个

我们引进这样一个概念：汉明距离。在二元码中：如：则

在某一码书中，任意两个码字的汉明距离的最小值称为该码C的最小距离。我们引进这样一个概念：汉明距离。如：则在某一码书

码A码B码C码D码字000111000011101110000001010100000001010011100101100111消息数M2448最小距离dmin3211信息传输率R1/32/32/31错误概率我们来讨论前边的5种码的距离：很明显，越大，PE

越小，在M相同的情况下也是一样码A码B码C码D码字00000000000000最小距离译码准则设信道输入端作为消息的码字为αi，长度为n；输出端可能有的所有接收序列为βj，长度为n。最大似然译码准则可表述为：若αi和βj之间的距离为d(αi,βj)，简记为dij，它表示传输过程中αi传输到βj有dij个位置发生了错误，(n-dij)个位置没有错误。设二元对称信道的单个符号传输错误概率为p，当信道是无记忆时，则编码后信道的传递概率为最小距离译码准则设信道输入端作为消息的码字为αi，长度为n；如果p＜1/2(这是正常情况，例如p=10-2

)，可以看出dij越大，P(βj/αi)越小,

dij越小，P(βj/αi)越大。根据前式，最大似然译码准则可用汉明距离表示为选择译码函数使满足即满足上式又称为最小距离译码准则。

在二元对称信道中最小距离译码准则等于最大似然译码准则。在任意信道中也可采用最小距离译码准则，但它不一定等于最大似然译码准则。

如果p＜1/2(这是正常情况，例如p=10-2)，

因此，在二元信道中最大似然译码准则可表述为：当收到βj后，译成与之距离(汉明距离)为最近的输入码字α*，可使平均错误概率PE达到最小。同时在M和n不变的情况下，即保持一定信息传输率R的前提下，选择不同的编码方法，可取得不同的Dij=D(αi,βj)和D*j=D(α*,βj)，而使PE不同。因此，我们可以选择这样的编码方法：对选择的每一个码字α*都与某一特定接收序列βj的距离尽可能近，D（α*,βj）尽量小；又使其他码字αi≠α*与这接收序列βj

的距离尽可能地远，D(αi,βj)尽量大。换句话说，应尽量设法使选取的M个码字中任意两两不同码字的距离D(αi,βj)尽量大。这样就可做到保持一定信息传输率R，而使PE尽可能的小。因此，在二元信道中最大似然译码准则可表述为：当收到综上所述，在有噪信道中，传输的平均错误概率PE与各种编、译码方法有关。编码可采用选择M个消息所对应的码字间最小距离dmin尽可能增大的编码方法，而译码采用将接收序列βj译成与之距离最近的那个码字α*的译码规则，则只要码长n足够长时，合适地选择M个消息所对应的码字，就可以使错误概率很小，而信息传输率保持一定。综上所述，在有噪信道中，传输的平均错误概率PE与各种编、译码第三节有噪信道编码定理（香农第二定理）1、有噪信道编码定理

如一个离散无记忆信道，信道容量为C。当信息传输率R≤C时，只要码长足够长，总可以在输入符号集中找到M个码字组成的一组码和相应的译码准则，使译码的平均错误概率达到任意小。第三节有噪信道编码定理（香农第二定理）1、有噪信道编码定理有噪信道编码定理证明方法中的基本思路允许平均错误概率任意小而非零，连续使用信道许多次，即在n次无记忆信道中讨论，以便使大数定律有效.随机选取码书，在随机选取编码的基础上计算码的平均错误概率；因为随机选取，所以使概率对称；并由此证明至少有一种好码存在。我们也采用与上述相同的基本思路，但主要的区别在于译码规则。我们在编码时，随机地选择输入端ε典型序列x作为码字，因为它们是在输入端Xn集中经常、高概率出现的序列。而在接收端Yn集中，对接收序列y寻找与它构成联合典型序列的那个码字。若只有惟一一个码字满足此性质，则判定这码字为所发送的码字。根据上节所述的联合典型序列的性质，所发送的码字与接收序列y构成联合典型序列的概率很高，它们之间是高概率密切相关的。有噪信道编码定理证明方法中的基本思路允许平均错误概率任意小而2、有噪信道编码逆定理

如一个离散无记忆信道，信道容量为C。当信息传输率R>C时，则无论码长n多长，总找不到一种编码使信道输出端的平均错误译码概率达到任意小。2、有噪信道编码逆定理如一个离散无记忆信道，信

这个定理是信道编码的理论依据，可以看出：信道容量是一个明确的分界点，当取分界点以下的信息传输率时，PE以指数趋进于0；当取分界点以上的信息传输率时，PE

以指数趋进于1；因此在任何信道中，信道容量都是可达的、最大的可靠信息传输率。这个定理是一个存在定理，它没有给出一个具体可构造的编码方法，在它的证明过程中，码书是随机的选取的，当n很大时，这码书构成的码表就非常庞大，也就无法实用和实现。尽管如此，信道编码定理仍然具有根本性的重要意义。它有助于指导各种通信系统的设计，有助于评价各种系统及编码的效率。这个定理是信道编码的理论依据，可以看出：信道容量第四节联合信源信道编码定理

从香农第一、第二定理可以看出，要做到有效和可靠的传输信息，我们可以将通信系统设计成两部分的组合，即信源编码和信道编码两部分，首先通过信源编码，用尽可能少的信道符号来表达信源，尽可能减少编码后信源的数据的剩余率，然后针对信道，对信源编码后的数据独立的进行信道编码，适当增加一些剩余度，使能纠正和克服信道中引起的错误和干扰。我们可以证明，只要满足香农第一定理和第二定理，用两步编码的方法传输信息和一步编码的方法传输信息其效果是一样的。第四节联合信源信道编码定理从香农第一、第二定理可以第六章作业6.1；6.5；6.8第六章作业6.1；6.5；6.8设某二元码为C=﹛10010，01001，11100，00111﹜，则码组间的最小距离为

，此码最多能发现

个独立随机错误，或者最多能纠正

个独立随机错误。若采用最小距离译码准则，则接收序列01100译为

，接收序列10000译为

。设某二元码为C=﹛10010，01001，11100，001第六章有噪信道编码定理第一节错误概率与译码规则第二节错误概率与编码方法第三节有噪信道编码定理第四节联合信源信道编码定理44第六章有噪信道编码定理第一节错误概率与译码规则第二节第六章有噪信道编码定理

前一章已经从理论上讨论了，对于无噪无损信道只要对信源进行适当的编码，总能以信道容量无差错的传递信息。但是一般信道总会存在噪声和干扰，那么在有噪信道中进行无差错传输可以达到的最大信息传输率是多少呢？这就是本章所要讨论的问题。本章的核心是香农第二定理。第六章有噪信道编码定理前一章已经从理论上讨论了第一节错误概率与译码规则

为了减少错误，提高通信的可靠性，就必须分析错误概率与哪些因素有关，有没有办法控制，能控制到什么程度。前边已经讨论过，错误概率与信道的统计特性有关，但并不是唯一相关的因素，译码方法的选择也会影响错误率。第一节错误概率与译码规则为了减少错误，提高通信例：设一个二元对称信道，其传输特性如图所示。一般二元对称信道输出端的译码器是将接收到符号“0”译成发送的符号为“0”，接收到符号“1”译成发送的符号为“1”。如果仍按照此译码器的译码规则，那么当发送符号为“0”，接收到符号仍为“0”,则译码器译为符号“0”，为正确译码，因此对发送符号“0”来说，译对的可能性只有1/3；而当发送符号为“0”，接收到符号却是“1”则译成符号“1”，为错误译码，则译错的概率是2/3。因为信道对称，对发送符号“1”来说，译错的概率也是2/3。在此译码规则下，平均错误概率

(假设输入端符号是等概率分布)

例：设一个二元对称信道，其传输特性如图所示。反之，若根据这个特殊信道定出另一种译码规则:

将输出端接收符号“0”译成符号“1”，将输出端接收符号“1”译成符号“0”

则译错的可能性就减少了，为1/3；而译对的可能性增大了，为2/3。可见，错误概率既与信道的统计特性有关，也与译码的规则有关。反之，若根据这个特殊信道定出另一种译码规则:现在我们来定义译码规则。设离散单符号信道的输入符号集为A={ai}，i=1,2,…,r；输出符号集为B={bj},j=1,2,…,s。制定译码规则就是设计一个函数F(bj)，它对于每一个输出符号bj确定一个唯一的输入符号ai与其对应(单值函数)。即

(i=1,2,…,r)(j=1,2,…,s)现在我们来定义译码规则。有一离散单符号信道，信道矩阵为

根据这样一个信道矩阵，设计一个译码规则A，也可以设计另外一个译码规则B

由于s个输出符号中的每一个都可以译成r个输入符号中的任何一个，所以共有rs

种译码规则可供选择。有一离散单符号信道，信道矩阵为译码规则的选择应该根据什么准则?一个很自然的准则当然就是要使平均错误概率为最小。为了选择译码规则，首先必须计算平均错误概率。在确定译码规则F(bi)=ai

后，若信道输出端接收到的符号为bi，则一定译成ai，如果发送端发送的就是ai，这就为正确译码；如果发送的不是ai，就认为是错误译码。那么，收到符号bi条件下译码的条件正确概率为译码规则的选择应该根据什么准则?一个很令为条件错误概率，其中e表示除了F(bi)=ai

以外的所有输入符号的集合。条件错误概率与条件正确概率之间有关系。经过译码后的平均错误概率PE应是条件错误概率对Y空间取平均值。即它表示经过译码后平均接收到一个符号所产生的错误大小，也称平均错误概率。

令为条件错误概率，其中e表示除了F(bi)=ai“最大后验概率准则”或“最小错误概率准则”设计这样一种译码函数可使平均错误概率最小。因为我们一般是已知信道的传递概率与输入符号的先验概率，所以根据贝叶斯定律，上式可写成

“最大后验概率准则”或“最小错误概率准则”设计这样一种译码函一般P(bi)≠0,这样，最大后验概率准则就可表示为：选择译码函数

使满足若输入符号的先验概率均相等，则上式可写成选择译码函数并满足这样定义的译码规则称为最大似然译码准则。在输入符号等概率时，这两个译码准则是等价的。根据最大似然译码准则我们可以直接从信道矩阵的传递概率中去选定译码函数。就是说，收到bi后，译成信道矩阵P的第j列中最大那个元素所对应的信源符号。一般P(bi)≠0,这样，最大后验概率准则就可表示为：最大似然译码准则本身不再依赖于先验概率。但是当先验概率为等概率分布时，它使错误概率PE最小。(注意：如果先验概率不相等或不知道时，仍可以采用这个准则，但不一定能使PE最小)。根据译码准则，进一步可写出平均错误概率，即最大似然译码准则本身不再依赖于先验概率。式中求和号表示对输入符号集A中除a*

以外的所有元素求和。上式也可以写成上式的平均错误概率是在联合概率矩阵中先求每列除去F(bi)=a*

所对应的P(a*bj)以外所有元素之和，然后再对各列求和。当然，我们也可以在矩阵中先对行求和，除去译码规则中F(bi)=a*

所对应的P(a*bj);然后再对各行求和。式中求和号表示对输入符号集A中除a*以外的所有元素求因此上式还可以写成其中令。

就是某个输入符号ai传输所引起的错误概率。因此上式还可以写成接前例有一离散单符号信道，信道矩阵为

根据最大似然译码准则可选择译码函数为B在输入等概率分布时采用译码函数B可使信道平均错误概率最小。接前例有一离散单符号信道，信道矩阵为若选用前述译码函数A则得平均错误概率可见若选用前述译码函数A若输入不是等概分布，其概率分布为根据最大似然译码准则仍可选择译码函数为B，计算其平均错误概率。但采用最小错误概率译码准则，它的联合概率矩阵为若输入不是等概分布，其概率分布为所以得译码函数为计算平均错误概率可见，此时。所以，输入不是等概分布时最大似然译码准则的平均错误概率不是最小。所以得译码函数为例题：有一离散信道，信道矩阵为，假如信道输入消息符号的概率分别为：请分别用最大后验概率译码准则和最大似然译码准则确定译码函数，并计算其相应的平均错误概率。例题：有一离散信道，信道矩阵为，解：（1）最大后验概率译码准则解：（1）最大后验概率译码准则（2）最大似然译码准则（2）最大似然译码准则费诺不等式PE和信道疑义度H(X/Y)的关系费诺不等式PE和信道疑义度H(X/Y)的关系第二节错误概率与编码方法

一般信道传输时都会产生错误，而选择译码准则并不会消除错误，那么如何减少错误概率呢？下边讨论通过编码方法来降低错误概率。01010.990.990.010.01例：对于如下二元对称信道第二节错误概率与编码方法一般信道传输时都会产生错

如何提高信道传输的正确率呢？可以尝试用下面的方法没有使用的码字001010011100101110用作消息的码字000111输出端接收序列000001010011100101110111二元对称信道的三次扩展信道如何提高信道传输的正确率呢？没有使用的码字用作消息的码字输则：根据最大似然译码准则，可得译码函数为：F(000)=000F(001)=000F(010)=000F(011)=111F(100)=000F(101)=111F(110)=111F(111)=111

此时，译码可以采用“择多译码”，即根据接收序列中0多还是1多，0多就判作0，1多就判作1。错误概率降低了两个数量级，这种编码可以纠正码字中的一位码元出错。若重复多次可进一步降低错误率。则：根据最大似然译码准则，可得译码函数为：此时，译码可以

但是又出现了一个新的问题，n很大时，信息传输率会降低很多，我们把编码后的信息传输率表示为：

在上例中：M=2当n=1时R=1比特／码符号当n=3时R=1/3比特／码符号当n=5时R=1/5比特／码符号......n越大，PE越低,信息传输率R越低.但是又出现了一个新的问题，n很大时，信息传输率会降低很

这显然是一个矛盾，有没有解决的办法呢？香农第二定理可以解决这一问题。我们分析前边的例子，我们只用了扩展信源的两个字符，因此信息率降低了，如果我们把8个字符全用上，信息传输率就会回到1，但是此时错误概率为3*10-2，比单符号时还大三倍。我们可以总结如下：在二元信道的n次扩展信道中，选取其中的M个作为消息，则M大一些，PE跟着大，R也大;M小一些,PE

跟着小，R也小。

如果在上例中，取M＝4，如：取000011101110为消息，其他的不用，则则与M=8比较，错误率降低了，而信息率也降低了。这显然是一个矛盾，有没有解决的办法呢？香农第二定理可以解

还存在另外一个问题，M=4时，有70种选取方法，而选取方法不同，错误率也不同。我们比较下面两种选取方法：第一种：000011101110

第二种：000001010100

可以计算得第一种方法的错误率为2*10-2

第二种方法的错误率为2.28*10-2

比较可知，第一种方法好，仔细观察发现，在第一种方法中，如果000有一位出错，我们就可以判定出错了；而在第二种方法中，如果000中任何一位出错，就变成了其他的合法的码字，我们无法判断是否出错。再仔细观察，发现第二种方法中，码字之间太“象”了，或者说太“近”了。还存在另外一个问题，M=4时，有70种选取方法，而

我们再讨论一个例子，取M＝4，n＝5，这时信道的信息传输率为：这4个码字按如下规则选取：设输入序列为:满足方程：若译码采取最大似然准则：我们再讨论一个例子，取M＝4，n＝5，这时信道的信息传输

此码能纠正所有码字中一位码元错误，也能纠正其中两个两位码元的错误。此码能纠正所有码字中一位码元错误，也能纠正其中两个

我们引进这样一个概念：汉明距离。在二元码中：如：则

在某一码书中，任意两个码字的汉明距离的最小值称为该码C的最小距离。我们引进这样一个概念：汉明距离。如：则在某一码书

码A码B码C码D码字000111000011101110000001010100000001010011100101100111消息数M2448最小距离dmin3211信息传输率R1/32/32/31错误概率我们来讨论前边的5种码的距离：很明显，越大，PE

越小，在M相同的情况下也是一样码A码B码C码D码字00000000000000最小距离译码准则设信道输入端作为消息的码字为αi，长度为n；输出端可能有的所有接收序列为βj，长度为n。最大似然译码准则可表述为：若αi和βj之间的距离为d(αi,βj)，简记为dij，它表示传输过程中αi传输到βj有dij个位置发生了错误，(n-dij)个位置没有错误。设二元对称信道的单个符号传输错误概率为p，当信道是无记忆时，则编码后信道的传递概率为最小距离译码准则设信道输入端作为消息的码字为αi，长度为n；如果p＜1/2(这是正常情况，例如p=10-2

)，可以看出dij越大，P(βj/αi)越小,

dij越小，P(βj/αi)越大。根据前式，最大似然译码准则可用汉明距离表示为选择译码函数使满足即满足上式又称为最小距离译码准则。

在二元对称信道中最小距离译码准则等于最大似然译码准则。在任意信道中也可采用最小距离译码准则，但它不一定等于最大似然译码准则。

如果p＜1/2(这是正常情况，例如p=10-2)，

因此，在二元信道中最大似然译码准则可表述为：当收到βj后，译成与之距离(汉明距离)为最近的输入码字α*，可使平均错误概率PE达到最小。同时在M和n不变的情况下，即保持一定信息传输率R的前提下，选择不同的编码方法，可取得不同的Dij=D(αi,βj)和D*j=D(α*,βj)，而使PE不同。因此，我们可以选择这样的编码方法：对选择的每一个码字α*都与某一特定接收序列βj的距离尽可能近，D（α*,βj）尽量小；又使其他码字αi≠α*与这接收序列βj

的距离尽可能地远，D(αi,βj)尽量大。换句话说，应尽量设法使选取的M个码字中任意两两不同码字的距离D(αi,βj)尽量大。这样就可做到保持一定信息传输率R，而使PE尽可能的小。因此，在二元信道中最大似然译码准则可表述为：当收到综上所述，在有噪信道中，传输的平均错误概率PE与各种编、译码方法有关。编码可采用选择M个消息所对应的码字间最小距离dmin尽可能增大的编码方法，而译码采用将接收序列βj译成与之距