管理信息学第4章.ppt

2019/11/23,4.4.7抗干扰信道编码定理,信道编码抗干扰信道编码定理抗干扰信道编码定理之逆定理,2019/11/23,由于信道中存在噪声，因而信道传输信息的质量必然会下降。噪声越严重，传输信息能力就会越差，当噪声严重到一定程度，传输信息就成为不可能。只要信息要在空间上从一点传向另一点，就必须经过信道，理想的信道，也就是无噪声的信道是不存在的。通常，在有噪声存在的信道上传输信息，难免会发生差错。但是在同样的噪声条件下，如果进行有效的信道编码，就可以改善信息传输的可靠性，减少接收到的信息的差错。,4.4.7抗干扰信道编码定理：信道编码,2019/11/23,直观地看，在有噪声信道上，信息传输的可靠性与信息传输率之间是矛盾的，要提高可靠性就必须牺牲传输率。但只要选择合适的编码和译码方法，既可以使信道的信息传输率保持在一定水平上，又可以使最小平均错误译码概率达到尽可能小的程度。那么，信道信息传输率最高能达到什么样的水平？最小平均错误译码概率又能小到什么程度？香农第二编码定理就是针对这些问题的。,4.4.7抗干扰信道编码定理：信道编码,2019/11/23,定理4.17设有一离散无记忆平稳信道，该信道有r个输入符号，s个输出符号，其信道容量为C，只要信息传输率RC，则无论N取多大，也找不到一种编码，使平均译码错误概率任意小。,4.4.7抗干扰信道编码定理：抗干扰信道编码逆定理,2019/11/23,总结从香农定理可以看出，要做到有效和可靠地传输信息，我们可以将通信系统设计成二部分的组合，即信源编码和倍道编码二部分。首先，通过信源编码，用尽可能少的符号来表达信源，也就是对信源数据用最有效的表达方式表达，尽可能减少编妈后的数据的剩余度。然后，针对信道，对经过信源编码后的数据设计信道编码，也就是适当增加一些剩余度，使其能纠正和克服信道中引起的错误和干扰。,4.4.7抗干扰信道编码定理,2019/11/23,4.5限失真信源编码定理,信息传输率R：信道中平均每个符号所能传送的信息量；若传送单个符号需要的时间为t，则信道单位时间平均传输的信息量为R/t，称为信息传输速率。信道容量C：对于一个固定的信道，总存在一个最大的信息传输率R，称此最大的信息传输率为信道容量。无噪无损的二元信道：C=1bit,2019/11/23,信息失真,当RC时就不能实现无失真传输。这时就必须减小信源的信息熵H(X)使RR(D)，则对于任意小的0，允许失真值D0，以及任意足够长的码长N，则一定存在一种信源编码C，使得译码的平均失真度d(C)D+。反之，若RR(D)，则总能以保真度D+再现信源的信息，反之，若CR(D)的信道中传输，则我们可对给定信源S先进行信源压缩编码，使编码后的信息传输率R满足：CRR(D)然后将压缩后的信源输入信道传输。,4.5限失真信源编码定理,2019/11/23,练习题,1.关于载体，下列描述最准确的是（）,A载体既要能够在空间中转移，又要能够在时间上实现转移。B载体既要能够在空间中转移，又要有能力表示所传输的信息。C载体既要能够在时间上实现转移，又要有能力表示所传输的信息。D载体既要能够在空间和时间上实现转移，又要有能力表示所传输的信息。,B,4.5限失真信源编码定理,2019/11/23,A最有效编码的平均码长不超过香农信息熵。B并不总是存在有效编码方法。C最有效编码的平均码长不小于香农信息熵。D总是存在有效编码方法，但会引起失真。,2.根据香农第一编码定理，对于离散无记忆无噪声平稳信源（）,C,4.5限失真信源编码定理,2019/11/23,3.某离散有限独立信源的概率空间满足：(X,P)=(x1,0.5),(x2