《信息论》第五章.ppt

1,第五章信道编码,2,错误概率与译码规则错误概率与编码方法信道编码定理,本章主要内容,3,信道编码目的：提高抗干扰能力，使差错率最小。实质：增加冗余度，扩大信号空间，增大信号间距离。重要意义：通过信道编码的方法，可以用不可靠的信道实现可靠的传输。,4,编码器：编码函数，完成映射编码器的输入：码字分别为：编码后的信息传输率：码字长为n物理意义：每个码元所能携带的最大信息量。好码：在相同的差错控制（纠错能力）下，越大，则相应的码越好。问题：R能否无限制提高?如何衡量纠错能力？,5,例：二元对称信道译码规则对错误概率的影响译码器A译码规则：,错误概率与译码规则,6,分析则在此译码器下，平均错误概率为（设输入为等概）,7,译码器B译码规则：分析则在此译码器下，平均错误概率为（设输入为等概）,8,结论：错误概率不仅与信道的统计特性有关，而且与译码规则有关。我们来定义译码规则设信道的输入符号集为X=ai，i=1，2，r；输出符号集为Y=bj，j=1，2，s。制定译码规则就是设计一个单值函数F（bj），它对于每一个输出符号bj确定一个唯一的输入符号ai与其对应。即F（bj）=aii=1，2，rj=1，2，s注：对于同一有噪信道共有rs种译码规则可供选择。,9,例5.1：可设计译码准则译码准则A：译码准则B：译码规则总数为：rs=27,10,目标：在rs个规则中找到理想的一个。原则：使平均错误概率最小。平均错误概率PE如何计算？收到符号bj条件下译码正确的条件概率为,11,平均错误概率PE：条件错误概率对输出空间Y取统计平均物理意义：译码后平均收到一个符号所产生的错误的大小要使PE最小就应该选择pF(bj)|bj为最大。,12,最大后验概率准则（最小错误概率准则）选择译码函数：译码：将每一个输出符号译成具有最大后验概率的输入符号，则信道的错误概率此时最小。分析：,13,则最大后验概率准则可另表述为选择译码函数使成立最大似然译码准则（最大后验概率准则特例）设输入符号的先验概率等概，选择译码函数使成立译码：当收到bj后，译成信道矩阵中第j列中最大的元素所对应的信源符号。,14,最大后验概率准则：依赖于先验概率p(ai)和信道传递概率p(bj|ai)选定译码函数。最大似然译码准则：直接从信道矩阵的传递概率中去选定译码函数。当先验概率p(ai)为等概率分布时，最大似然译码准则与最大后验概率准则等价。平均错误概率PE与译码规则（译码函数）有关。而译码规则又由信道特性来决定。费诺不等式H（X|Y）H（PE）+PElog(r1),15,重复发送大数判决规则,错误概率与编码方法,16,编码1：将每个码元重复三次纠正任一位上的错误设码字记为由编码方法知“择多译码”规则的依据：连续出现两个错误的概率远远小于出现一个错误的概率。,17,编码2：将每个码字重复三次纠正任一位上的错误纠正连续三位和三位以下码元的错误由编码方法知例发送的码字为010010010干扰后收到为011100010此时,18,以上这两种重复码编码后的信息传输率相同为但纠错能力不同，平均错误概率不同。如何选择编码规则呢？例：对4个等概消息编码,19,最大似然译码规则下，计算平均错误概率PE=？,20,21,在选择编码规则时，要使码字之间的最小距离Dmin越大越好。结论：错误概率与编码方法有关。,22,23,能不能找到一种编码方法使PE相当低（可靠性高），而R却保持在一定水平（有效性较高）呢？定理5.1香农第二定理（信道编码定理）设某信道有r个输入符号，s个输出符号，信道容量为C。当信息传输率RC时，只要码长n足够长，总可以在输入的集合中找到M个码字（代表M个等可能性的消息）组成的一个码（M2n(C-)，而是一任意小的正数）和相应的译码规则，使信道输出的错误概率PE任意小。定理5.2（信道编码逆定理）设某信道有r个输入，s个输出，信道容量为C，令为任意小的正数。若选用码字个数M=2n(C+)，则无论