信息理论与编码课后答案第5章

第5章有噪信道编码51基本要求通过本章学习，了解信道编码的目的，了解译码规则对错误概率的影响，掌握两种典型的译码规则最佳译码规则和极大似然译码规则。掌握信息率与平均差错率的关系，掌握最小汉明距离译码规则，掌握有噪信道编码定理（香农第二定理）的基本思想，了解典型序列的概念，了解定理的证明方法，掌握线性分组码的生成和校验。52学习要点521信道译码函数与平均差错率5211信道译码模型从数学角度讲，信道译码是一个变换或函数，称为译码函数，记为F。信道译码模型如图51所示。5212信道译码函数信道译码函数F是从输出符号集合B到输入符号集合A的映射JJFBAA，1,2,JS其含义是将接收符号JBB译为某个输入符号JAA。译码函数又称译码规则。5213平均差错率在信道输出端接收到符号JB时，按译码规则JJFBAA将JB译为JA，若此时信道输入刚好是JA，则称为译码正确，否则称为译码错误。JB的译码正确概率是后验概率|JJJJPXAYBPFBB（51）JB的译码错误概率|1|JJJJJPEBPXFBYBPFBB（52）平均差错率是译码错误概率的统计平均，记为EP1111|1|1,1|SSEJJJJJJJSSJJJJJJJPPBPEBPBPFBBPFBBPFBPBFB（53）522两种典型的译码规则两种典型的译码规则是最佳译码规则和极大似然译码规则。5221最佳译码规则图51信道译码模型XYDMC12,RAAAA12,SBBBB信道译码FX12,RAAAAN使EP达到最小的译码规则称为最佳译码规则。这种规则是按后验概率最大原则定出的，所以又称最大后验概率译码规则。,|,JJJJJIJIFBAABBFPABPABAA（54）上式中最大后验概率条件可等价成最大联合概率条件。将|JJIJPABPAB两边乘以JPB，变换为,JJIJPABPAB。因此，最佳译码规则又可表示成,JJJJJIJIFBAABBFPABPABAA（55）因为使用最大联合概率条件，所以又称为最大联合概率译码规则。5222极大似然译码规则按最大转移概率条件来确定的译码规则，称为极大似然译码规则,|,JJJJJJIIFBAABBFPBAPBAAA（56）虽然极大似然译码规则的平均差错率不是最小，不是最佳的，但最易找出。可以证明，当信道输入等概时，极大似然译码规则与最大联合概率译码规则等价，此时极大似然译码规则也是最佳的。523信道编码对平均差错率和信息率的影响信道编码（或称纠错编码）是靠增加冗余码元来克服或减轻噪声影响的。冗余是相对于信息的表示而言，但是对提高传送可靠性来说，冗余码元却提供了极宝贵的可靠性信息。以下以两种简单信道编码方法来说明信道编码对平均差错率和信息率的影响。5231“简单重复”编码日常中人们可以通过重复某句话使别人听得更清楚。数字通信中，将符号重复传几次，也会提高传送可靠性。例如，“重复2次”编码，如图52所示。编码规则为图52“重复2次”编码112345672800000010100111001011101111FFUU12345678000001010011100101110111F1200011118,信道译码F3X3X3Y33|YXP信道译码F128,128,U12,UU00001111F扩展信道的转移矩阵为331234567832222223132222223|8YXPPPPPPPPPPPPPPPPPPPPPPPPPPPPP按极大似然译码规则得译码函数1121314851687888FFFFFFFF即4162183758011000101001000111010110100111FF信道编码之后的信息率为HURNBIT/码元（57）若信源等概率分布，则LOGMRNBIT/码元（58）其中M代表信源消息（符号）个数。无编码LOG2111NRBIT/码元210EP“重复2次”编码LOG21333NRBIT/码元4310EP155NRBIT/码元510EP177NRBIT/码元7410EP随着“重复”次数的增加，EP下降，但R也跟着下降。即信息传输的有效性和可靠性是矛盾的。5232对符号串编码对信源的符号串进行编码，即增多消息个数M，同时增大码长N，有可能使平均差错率EP降低到要求的范围以内，而又能使信息率R降低得不多。例如，取4M（2次扩展信源）、5N。4个消息记为123400,01,10,11SSSS编码函数为12123451,2,3,4IIIIIIIIIFSMMAAAAAI112231241112IIIIIIIIIIIIAMAMAMMAMAMM译码采用极大似然规则。编译码示意图见图53所示。编码后的信息率R和平均差错率EP分别为LOG4255RBIT/码元54324114208786104EPPPPPP与“重复2次”编码相比，R略有增加，EP处在同一数量级。因此，增大码长N和适当增多消息个数M，对兼顾EP（可靠性）和R（有效性）的要求是有效的。524最小汉明距离译码规则5241汉明距离两个等长符号序列X和Y之间的汉明距离，记为,DXY，是X与Y之间对应位置上不同符号的个数，用来定量描述符号序列之间的“相似”程度。5242汉明距离与信道编码性能的关系码是码字的集合，码字则是由码元组成的符号序列。假如12,QCCCC是等长码，则C中任意两个不同码字之间的汉明距离或码间距离为,IJIJIJDCCCCCCC码C的最小码间距离定义为MINMIN,IJIJIJDDCCCCCCC最小码间距离MIND是衡量码的性能的重要参数，码的MIND小，说明其中有些码字受干扰后容易变为另一码字，译码时就会出错。因此，信道编码在选择码字时，应尽量使码的最小码间距离MIND大一些为好。图534M、5N的编译码示意图0000000010110110101111111010FFFF0000000001000100010001000100001000100011011010110001111010010010111101111000111010111101101010110011111110011100110101001101011011110001111010010010100101111001FFFF000000110110111110105次扩展信道对于二元对称信道，设信源有M个消息12,MSSS，输入和输出符号集分别为0,1A和0,1B，其N次扩展信道的入口符号集NA和出口符号集NB中都含有2N个N长二元符号串，即122122,NNNNAB从NA中选择M个符号串当作码字组成码C12,MCCCC按极大似然译码规则进行译码时，可以推导出等价于以下规则，称为最小（汉明）距离译码规则,MIN,NJJJNJJIJIFCCBFDCDCCCA（59）其含意是将接收序列J译为与之最相似的输入序列（码字）JC。525有噪信道编码定理（香农第二定理）5251有噪信道编码定理若信道是离散、无记忆、平稳的，且信道容量为C，只要待传送的信息率RC，就一定能找到一种信道编码方法，使得码长N足够大时，平均差错率EP任意接近于零。有噪信道编码定理实际上是一个存在性定理，它指出在RC时，肯定存在一种好的信道编码方法，用这种好码来传送消息可使EP逼近零。但香农并没有给出具体编码方法。对有噪信道编码定理的证明要用到联合典型序列。所谓典型序列，是指那些平均自信息量逼近熵的序列。联合典型序列，是指那些平均联合自信息量逼近联合熵的序列。离散无记忆信源X发出N长序列12NIIIIXXXX，若IIXHXN（510）则称IX为X的典型序列，否则称为X的非典型序列。若IX和JY分别是X和Y的N长典型序列，且,IJIXYHXYN（511）则称序列对,IJXY为X与Y的联合典型序列，否则称为非联合典型序列。5252有噪信道编码逆定理若信道是离散、无记忆、平稳的，且信道容量为C，如果信息率RC，则肯定找不到一种信道编码方法，使得码长N足够大时，平均差错率EP任意接近于零。对有噪信道编码逆定理的证明，要用到FANO不等式。FANO不等式|,1LOG1EEEHXYHPPPR（512）式中R是信道输入符号个数。526线性分组码5261基本概念信道编码的目的是为了降低平均差错率。纠错编码理论几乎与信息论同时创立，创始人是汉明（RWHAMMING），他与信息论创始人香农都在贝尔实验室工作。纠错编码的基本思路是在信息序列中引入可控冗余，或称校验码元，组成一个相关的码元序列码字，译码时利用码元之间的相关性质来检测错误和纠正错误。分组码先将信息序列分成K个符号一组，称为信息组，然后在信息组中加入一些校验码元组成N长码字，由此得到的码称为,NK分组码，校验位数目为RNK。线性码线性码满足线性特性，即码中任意两个码字的和仍为码字。否则为非线性码。循环码循环码是线性码的一个子集。循环码中任一码字循环移位后仍为该码的码字。否则为非循环码。5262生成矩阵和校验矩阵编码函数F可用矩阵表示成CMG（513）其中M是K维信息组行矩阵，C是N维码字行矩阵，G是码的生成矩阵。12,0,1KIMMMMM（514）12,0,1NICCCCC（515）通过生成矩阵，可将信息组变换为相应的码字。如果码字的前（或后）K位照搬信息组的K个信息元，这样形成的码称为系统码。对于前K位为信息元的系统码，生成矩阵G可分块成111212122212100010001RRKKKRKKKRAAAAAAAAAGIA（516）校验方程的矩阵形式则为T0CH或T0HC（517）式中H为RN一致性校验矩阵，RNK为校验位数目。5263汉明距离和码的纠检错能力的关系1一个码能够检测出DT个错误的充要条件是MIN1DDT；2一个码能够纠正CT个错误的充要条件是MIN21CDT；3一个码能够纠正CT个错误，同时又能够检测出DCTT个错误的充要条件是MIN21CDT和MIN1CDDTT。其中，MIND表示码的最小汉明距离，是衡量其纠、检错能力的重要参数。5264伴随式与伴随式译码用一致性校验矩阵H对接收序列Y进行检验，检验结果记为S，则TTTSYHCEHEH（518）式中C为发送码字。如果0S，则表明有错误存在。S是传输是否出错的标志，称为伴随式。E称为差错图样。当码字第I位发生错误时，1IE，否则0IE。通过接收序列Y可以确定发送码字C的估计值CCYEYE（519）教材习题参考答案51译码规则与错误概率511（陈杰，红皮书，P139，例51）例51已知信道矩阵403030503020203050P，求EP。解根据极大似然译码准则选择译码函数BB233211ABFABFABF又设输入符号为等概率分布31AP则有4020303030203131,ABPPAXYE0567若按下述译码函数A计算平均错误概率EP332211ABFABFABFA得ABPPAXYE,31600050203030302031可见EEPP平均错误概率，即得以下结论（1）平均错误概率EP与译码规则有关；（2）极大似然译码准则B优于A。512（原53）设码为00111,10010,01001,11100,4321CCCCC，用2元对称信道传送（错误概率010P）。如果码字概率为2501250125050CP，试找出一种译码规则，使平均差错率EP最小。答案王虹老师52两种典型的译码规则521（原51）设有DMC其转移矩阵如下216131312161613121XYP若信道输入概率为25025050XP，试确定最佳译码规则和极大似然译码规则并计算出相应的平均差错率。答案王虹老师解41,21321XPXPXP，信道的联合概率矩阵为81241121121812411216141根据最小错误概率准则（其实就是最大联合概率译码准则），在联合概率矩阵中，每列选一最大值（矩阵中带下划线的值），译为332211XYXYXY平均错误概率241112112124181121241EP若根据最大似然概率译码准则，216131312161613121P，在矩阵每列中选一最大值，译为332211XYXYXY平均错误概率21613141613141316121EP522（陈杰，140页）例53设一离散无记忆信道的输入符号集为KXX,1，输出符号集为JYY,1，信道转移概率为KJXYP，1K，K；1J，J。若译码器以概率KJ（1K，K；1J，J）对收到的JY判决为KX，试证明对于给定的输入分布，任何随即判决方法得到的错误概率不低于最大后验概率译码时的平均译码错误概率。证明根据最大后验概率译码准则，有JQYFX，KQ,2,1，且KJQJKK,2,1，JJ,2,1所以有JJKJJQJKJQYPYXPYPYXPYXPYXP,JKJKJQJQYPXYPXPYPXYPXPKKJQQJXPXYPXPXYP最大后验概率译码的错误概率为QJJQJIXXYIJEXPXYPXPXYPPQ1,11随即判决法译码的错误概率为KJJKJIXXYIJEXPXYPXPXYPPK1,21所以21EEPP，得证。53平均差错率与信道编码531（原52）设信源有M个消息符号，将每个符号编码成N长的二进制码字，码字从N2个N长二进制序列中独立、等概地选出，若采用极大似然译码规则，试分别求取在以下三种信道下的平均差错率。PPPP11PP101PPPP1001答案王虹老师532（傅详，P192）68设一离散无记忆信道，其信道矩阵为21000212121000021210000212100002121P（1）计算信道容量C。（2）找出一个码长为2的重复码，其信息传输率为5LOG21（即5个码字）。如果按最大似然译码准则设计译码器，求译码器输出端的平均错误概率EP（输入码字为等概率分布）。（3）有无可能存在一个码长为2的码而使0IEP5,4,3,2,1I即使0EP，如存在的话请找出来。解（1）因为输入码字等概率分布，这重复码2N，5M，因此满足信息传输率5LOG21LOGNMR此信道是无记忆信道，满足2211IJIJIJABPABPWP21JJJBB，21IIIAAW，1JB，BBJ2，1IA，AAI2J1，2，25，I1，2，5解（1）根据信道矩阵P，可知其是一对称信道，所以信道容量为0,0,0,21,215LOGHC2LOG5LOG3221比特符号（3）设信道的输入符号集4,3,2,1,0A，输出符号集4,3,2,1,0B，其传递信道矩阵为P，任选码长为2的重复码C001W,112W,223W,334W,445W因为输入码字等概率分布，这重复码2N，5M，因此满足信息传输率5LOG21LOGNMR此信道是无记忆信道，满足2211IJIJIJABPABPWP21JJJBB，21IIIAAW，1JB，BBJ2，1IA，AAI2J1，2，25，I1，2，5下面给出传递概率IJWP的矩阵为410004100000000000000041000414141000414100000000000000000000000041410004141000000000000000000000000414100041410000000000000000000000004141000414144332211004443424140343332313024232221201413121110040302010044321WWWWW根据最大似然译码准则，确定的译码规则是100100J译成00，211211J译成11，322322J译成22433433J译成33，044440J译成44在选择码C重复码的情况下，因为对于其他J，0IJWP，所以其他J在输出端不会出现。可计算得IRJIEEWPMPMP211IJWF414551（3）存在码长为2的码，它使5,4,3,2,10IPIE，也就是它使0EP。这种码共有10种。这是因为这个离散无记忆信道具有特殊的传输概率，输入符号“0”只传输到输出符号“0”和“1”；输入符号“1”只传输到输出符号“1”和“2”；输入符号“4”只传输到输出符号“4”和“0”。因此，从（2）题的传递概率矩阵中可以看出，它可使有些02211IJIJIJABPABPWP。也就是选择码长2N的序列作为码字时，它只传输到输出端若干个序列，而使其他传输概率为零。如（2）题中码字001W只传输到11,10,01,00J；112W只传输到22211211，J；等等。为此，我们只要适当地选择码长为2的5个码字，它们将输出端可能出现的25个码长为2的接受序列J分割成五个互不相交的子集，每个码字只传输到所对应的子集，这样就可使5,1IPIE等于零。能使0EP，5M，码长为2的十种可选的码是3332313034121110141341404443422024232221040302010042414044433034333231232221202411101413120403020100543211098765432154321WWWWWCCCCCWWWWWCCCCC从上面码字选择的规律可以看出，当选定某一二位长序列为码字，其他码字是将第一位码元的符号增加1，第二位的码元的符号增加2而获得；或者其他码字是将第一位码元的符号增加2，而第二位码元的读好增加1而获得。我们也可以类似卡诺图来排列，将25个2N的序列排列成一方块图。由于00只传输到00，01，10，11；01只传输到01，02，11，12；等等。所以图中每一序列只可能向右一格，向下一格的含四个序列的方框内传输（如箭图所示）；隔行、隔列或反向的传输都为零。只要找出不相交的五个子集（即五个含四个序列的方框），选取方框左上角的序列作为码字，就可以找出这个码组。如果所选方框相交，这就不是所需的码。上述十种码中任一种码都满足如此划分的条件。0001101112132223313241424344030424203430141002030400203040000102334000上面种所选的码是433124120054321WWWWW，。我们也可以用上图来检验所选的码是否正确。54汉明距离541（原54）码为11100,01001,10010,00111C。（1）求该码的最小汉明距离；（2）假设码字等概率分布，该码的码率；（3）若采用最小距离译码规则，那么，当接收到“10000”、“01100”以及“00100”时，别译为什么码字。（4）该码能检出几位错误能纠正几位错误解（1）此二元码的最小距离3MIND（2）此二元码的码字个数4M，码长5N所以，码率5254LOGR比特/码符号（4）采用最小距离译码准则（即将接收序列译成与其码距为最小的码字）,接收序列10000与码字10010距离为1，与其码字的距离都大于1，所以10000译成10010同理01100译成1110000100译成11100或00111任一个（4）因此此码1123MIND，即1E，所以，此码能纠正所有发生一位码元的随机错误。542（傅详，186）【62】计算码长5N的二元重复码的译码错误概率。假设无记忆二元对称信道中正确传递概率P，错误传递概率PP1。此码能检测出多少错误又能纠正多少错误。若010P，译码错误概率是多大解码长5N二元重复码的码字是（00001，11111）。这码的最小距离5MIND。因为145MIND所以此码用于检测错误能检测出所有发生小于等于4位码元的随机错误。又因为1225MIND所以此码用于纠正错误能纠正出所有发生小于等于2位码元的随机错误。可以根据最大似然译码准则的译码规律或择多译码的译码规则来计算这5N的二元重复码的错误概率，这两种计算结果是一致的。所以，采用择多译码的译码规则来计算，得5554452335PCPPCPPCPE5423510PPPPP若010P，则5610011089EP55有噪信道编码定理551（傅精，171页）【51】某信源按411430PP，的概率产生统计独立的二元序列。（1）试求0N，使当0NN时有010050SHNAIPI其中SH是信源的熵。（2）试求当0NN时典型序列集NG中含有的信源序列个数。解（1）本题信源是一个二元信源414310SPS得8110SH比特符号根据契比雪夫不等式，对于任意0，当0NN时有2NSIDSHNAIPII现050010，得0102NSIDI根据信源，其SHSPSPSIDIIII2221LOG222811041LOG4143LOG434710所以188400500104710010220ISIDN（2）序列集NG是所有N长的典型序列的集合，根据NG的特性有SHNNSHNG221NG是序列NG中含有的典型序列的个数。所以当0NN时NG中含有的信源序列个数为SHNNSHNG000221516226143425229900。NG或者5152842200。SHNNG57线性分组码571（原55）设3,6二元线性码的生成矩阵为111000011110110101G（1）将生成矩阵化为RKKKAIG的形式；（2）求校验矩阵；答案王虹老师572（原56）试证KN,线性码的最小汉明距离不大于1KN。答案王虹老师573（傅详，P198）【612】下面是某KN,线性二元码的全部码字11010111001010110010101101111001100100011100000087654321CCCCCCCC（1）求N，K为何值；（2）构造这码的生成矩阵G；（3）构造这码的一致校验矩阵H。解（1）因为码字数3228KM，所以63NK，为36，码线性分组码（2）生成矩阵G为63NK，列的矩阵，由3K个线性独立的码字组成。故110101100110111000G3设信息位321MMMM，则码字GMC110101100110111000321MMM所以000642154132112432161431514213232231CCCCCCCCCCCCCMMMCCCMMCMCCCMMCMCMC所以101011011001000111H本章测验题一、填空题1信息传递系统的基本功能是在系统输出端准确地再现系统输入端发送的信息。但是会受到客观限制，首先_受_的限制；其次，由于_的干扰，_不可避免。2衡量信息传输速度大小的指标是信道的信息（传输）率R，其最大值就是_，衡量信息传输可靠性的指标是_。3为了降低平均差错率，可先对消息_再送入信道传送，这种为降低_而进行的编码称为信道编码。4信道输出Y它与信道输入X既有联系又有区别，联系的程度和区别的大小取决于_或者说取决于_。5信道译码函数F是从_到_的映射其含义是将_译为_。译码函数又称_。二、判断题1译码规则取决于信道，一个信道的译码规则是唯一的。（）2在信道输出端接收到符号JB时，按译码规则AABFJJ将JB译为JA，若此时信道输入刚好是JA，则称为译码正确。（）3若按译码规则AABFJJ将JB译为JA，则平均译码错误概率是JJJJBBFPBYAXP的加权平均值。（）4最“好”的译码规则必然使EP最小。（）5最大后验概率译码规则是最佳译码规则。（）三、选择题1译码规则不能由_确定A后验概率B联合概率C转移概率D边缘概率2假设401AP，信道线图如下图所示，相应的最佳译码规则为_A1211111ABFABFFB2222121ABFABFFC2231131ABFABFFD1242141ABFABFF3下列说法不正确的是_A信道输入等概时，极大似然译码规则也是最佳的B最大后验概率条件可无条件等价成最大联合概率条件C当信源统计特性未知的时候，可以使用极大似然译码规则作为译码规则D应用极大似然译码规则总可以确定译码的平均差错率4关于“重复N次”编码，说法不正确的是_。AN越大，信息传输率越高B“重复N次”是定长码C采用择多译码策略D能减低平均差错率5对信源U的2元符号串进行编码，取码长为3N，则_A可供选择的码字有4个B信息率32RC共有4832种不同的编码方法。D继续增加消息个数，可以降低平均差错率四、计算题1、（傅详，P191）【67】考虑一个码长为4的二元码，其码字为00001W，00112W，11003W，11114W。假设码字送入一个二元对称信道（其单符号的错误概率为P，并010P），而码字输入是不等概率分布的，其概率为211WP，812WP，813WP，414WP试找出一种译码规则使平均错误概率EP为最小。2、（傅详，P188）【65】对于离散无记忆强对称信道，信道矩阵为PRPRPRPRPRPPPPRPRPRPPP111111111111试证明对于此信道，最小距离译码准则等价于最大似然译码准则。3、（傅详，P197）【611】设无记忆二元对称信道的正确传递概率为P，错误传递概率为21P，对于（7，4）汉明码（如参考书1中表62）（1）若码字都是等概率分布，试问什么是其最佳的译码规则。（2）在接收端，128个接收的二元序列应该对应译成什么码字。并说明其能纠正一个码元的随机错误。（3）在最佳译码规则下，计算此码的平均错误概率EP。（4）若P001,从EP和码率R上将（7，4）汉明码与N7的重复码进行比较。4、（傅详，P200）【614】有一组码将二位信息位编成五位长的码字，其规则如下信息序列码字0000000010110110101111111010（1）证明此码是系统一致效验码；（2）找出其生成矩阵和一致效验矩阵；（3）对于无记忆二元对称信道（12P），列出其最大似然译码的译码表；（4）计算正确译码概率。5、（傅精，P203）【616】设一分组码具有一致效验矩阵100101010011001111H（1）求这分组码NK，共有多少个码字；（2）此分组码的生成矩阵；（3）矢量101010是否是码字；（4）设发送码字C（001111），但接收到的序列为R（000010），其伴随式S是什么，这伴随式指出已发生的错误在什么地方，为什么与实际错误不同。五、实验题试编程实现线性分组码的编译码本章测验题参考答案一、填空题1传输速度信道容量信道噪声传输错误2信道容量平均差错率3编码平均差错率4噪声N的影响情况信道的统计特性5输出符号集合B输入符号集合A接收符号JBB某个输入符号JAA译码规则二、判断题1；2；3；4；5三、选择题1、D2、C3、D4、A5、B四、计算题1、解在二元对称信道001P中最小距离译码准则等价于最大似然译码准则。但是，码字输入不是等概率分布，所以最大似然译码准则不能使平均错误概率为最小。要使译码后平均错误概率最小只有选择最小错误概率准则进行译码。也就是比较,1,2,3,4,NIIIPWIY来决定译码规则。我们将,IIPW的矩阵如下列出43323222223123342223222340000000100100011010001010110011111111111W00002222222211111111W00118888888W1100W1111JPPPPPPPPPPPPPPPPPPPPPPPPPPPP32322233422322234332322811111111888888881111111144444444PPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPP3222223233422332243322322433223100010011010101111001101111011111111111122222222111111118888888811111118888888PPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPPP2222323343222181111111144444444PPPPPPPPPPPPPPPPPP根据最小错误概率译码准则将接收序列J译成在,IIPW矩阵的每一列中,IIPW为最大的那个码字。所以，得译码规则为（因为001P）214300000001001001110011W001101001011W0000W1111010111011100W1100011011101000111110011010JJJJ译成译成译成译成若按最大似然译码准则来选择译码规则的话，如0101,0110,J；也可译成2W或3W或4W；1101,1110J也可译成3W；等等。但其并没有将,IIPW矩阵中每一列的最大元素除去，所以余下元素之和就不是最小的了，EP不能为最小。2、证明设码C为M个码长为N的R元码，其码字120,1,1NNIIIIIAAAAR，接收的序列为120,1,1NNIIIIIBBBBR。码字I与接收序列I的距离,IJIJDD仍是二序列之间对应码位上不同码元的个数。因为是强对称信道，只要KIA与KJB1,2,KN不相同就引起错误，而其传递概率都相等，即|,1,2,1KKKKJIIJPPBAABKNR而且强对称信道是无记忆的，所以1122|NNJIJIJIJIPPBAPBAPBA,0,1,2,1KKNIJIJCYABR和1,2,KN11IJIJNDDPPR111IJIJIJNDDDPPPPR一般112,121PPRR。所以当接收序列I与码字I的距离越大，即IJD越大，IJND越小时，11IJDR和IJDP越小，IJNDP也越小，则|JIP越小。当I与I的距离越小，即IJD越小，IJND越大，则|JIP越大。所以满足,JIJDD（,）,NIIJCY则满足|JJIPP（|）,NIIJCY所以最小距离译码准则是选择译码函数,NJJFCY使满足,JIJIIDDC（,）则等价于最大似然译码准则是选择译码函数,NJJFCY使满足|,JJIIIPPC（|）证毕3、解（1）在无记忆二元对称信道中12P，所以最小距离译码准则等价于最大似然译码准则。而且码字是等概率分布，所以最大似然译码准则能使译码的平均错误概率EP最小。因此，此时最佳译码规则应采用最小距离译码准则。（2）根据最小距离译码准则，因为（7，4）汉明码共有16个码字，而接收端共有128个7位长的二元序列，正好分成16个集合。每个集合都有8个二元接收序列，都是由码字发生一位码元错位所变成的接收序列（共7个二元序列）和完全正确传递的一个接收序列组成。而且任一码字发生一位码元错位所变成的接收序列都不会进入其它的集合。又在这16个集合中也没有相同的接收序列，即这16个集合是不相交的。因此，采用最小距离译码就能纠正一位码元的随即错误。具体的译码见译码表。（3）77E27KKKPPPK（4）若P001，则3E20310P码率4057147R比特/码元而（7，1）重复码7E34210P码率1014297R比特/码元可见，（7，1）重复码虽然能纠正3个码元发生的随机错误，其平均错误概率减少。但同时码率（信息传输率）也减小很多。译码表接收序列码字接收序列码字接收序列码字接收序列码字000000000000010000010000010000000000001000001000001000001000000译成，010010101001000100111010000101001010101101011010100001011100101译成，100001110000101000001100011110010111010011110001100000111000011译成，110011011001111100100110001011011101110110100011001001101100110译成，000111100011100001101000101100011110000111001111101011111001111译成，010101001010110101000010111001010100100010011101000010101101010译成，100110010011011001110100100010011001000100101110011011000001100译成，110100111010001101011110110111010011100001111100110010010101001译成，001011000101110010100001001000101100011110000011001101101010110译成，011001101100100110001011011101100110111011010001100100111110011译成，101010110101001010111101000110101011011101100010111101010010101译成，111000011100011110010111010011100001111000110000010100000110000译成，001100100110000011011001110100110010010001000100101110011011001译成，011110001111010111110011100001111000110100010110000111001111100译成，101101010110111011000101111010110101010010100101011110100011010译成，111111111111101111101111101111111111110111110111110111110111111译成4、解（1）设码字43210C（CCCCC），信息位为43CC。根据码字可得24314043CCCCCCCC可见，码字的后三位都由其前二位线性组合得到。因此，此码是（5，2）一致效验码。（2）由码字可得21011101101GIP3111001001011001THPI故，此码是系统一致效验码。（3）列出下列最大似然译码表伴随式错误图样00000000111100001010100010000100010000100010000101110100（或00011）11010001（或00110）因为码的最小距离MIN3D，所以能纠正一位码元的错误。从译码表中可以看出所有一位码元发生错误的错误图样能被纠错，而且还有二种发生二位码元错误的错误图样能被纠错。（4）根据译码表及无记忆二元信道，所以正确译码概率542315121EPPPPPP5、解（1）设码字543210C（CCCCCC），有0TTHC故得5204103210000CCCCCCCCCC所以N6，R3，K3，为（6，3）分组码。码字共有28K个。（2）由（1）式得5024013012CCCCCCCCCC所以0C，1C，2C为信息位。设00CM，11CM，22CM，信息位210MMMM，故生成矩阵101100011010111001G（3）这（6，3）分组码的所有许用码字是000000101100011010111001001111110110100011010101可见矢量101010不是码字（4）因为TTSHR001001010001001110001111110TS伴随式TS正好是H矩阵中第5列。根据伴随式TS就判断码字中1C发生了错误，则E（000010）。但实际错误图样E为CERERCE（000010）（001111