《信息论与编码基础》课件 24-有噪信道编码定理

§7有噪信道编码定理§7.1噪声信道中的编码§7.2信道编码分类§7.3信道译码及译码规则§7.4有噪信道编码定理C0C1Ci┋Cj┋C2k-1收端一、信道传输模式

PE～信道传输特性

PE～编译码方法C2k┋Ci’┋C2n-1许用码组禁用码组C0C1┋Ci┋C2k-1许用码组发端不可检出错误传输正确传输可检出错误传输§7.3信道译码及译码规则例1.BSC01101－p=1/31－p=1/3p=2/3p=2/3PE=P(R=1|C=0)P(C=0)+P(R=0|C=1)P(C=1)收0→0收1→1译码一收0→1收1→0译码二PE=P(R=0|C=0)P(C=0)+P(R=1|C=1)P(C=1)译码本质：对码字进行分类§7.3信道译码及译码规则一、信道传输模式

√

设：信道输入：X={a1…ar}，输出：Y={b1…bs}

F(bj)=ai(i=1…r，j=1…s)译码规则：例1（续）：收：Y:｛0，1｝，发：X:｛0，1｝译码规则一译码规则二(whenp<1/2)(whenp>1/2)二、译码规则§7.3信道译码及译码规则

①

最小错误译码准则(MEPD)

F(bj)=a*，PE=min

②

最大后验概率准则(MPPD)or(MAP)

F(bj)=a*，P(a*|bj)≥P(ai|bj)

，(i=1…r)③

最大联合概率准则(MJPD)

F(bj)=a*，P(a*bj)≥P(aibj)，

(i=1…r)④

最大似然译码准则(MLD)

F(bj)=a*，P(bj|a*)≥P(bj|ai)，

(i=1…r)常用准则§7.3信道译码及译码规则二、译码规则

等在信道输入等概时，MLD与MJPD等价译码规则表§7.3信道译码及译码规则二、译码规则

（6，3）码及译码表§7.3信道译码及译码规则二、译码规则§7有噪信道编码定理§7.1噪声信道中的编码§7.2信道编码分类§7.3信道译码及译码规则§7.4有噪信道编码定理有噪信道编码定理（香农第二定理）设某离散无记忆信道有r个输入，s个输出，信道容量为C，在输入rn个符号中选出M个码字组成一种码，设ε是任意小的正数。若M≤2

n(C-ε)

，则存在这样的码及相应的译码规则，当n足够大时，使信道输出的错误概率PE任意小；若M=2

n(C+ε)

则无论n多大，也找不到一种编码，使译码错误概率任意小。§7.4有噪信道编码定理§7.4有噪信道编码定理例1直接传信息码（0：白，1：黑）：无抗干扰力，PE＝p=0.01（3，1）重复码：§7.4有噪信道编码定理例1直接传信息码（0：白，1：黑）：无抗干扰力，PE＝p=0.01n=1PE=10-2n=3PE=3＊10-4n=5PE=10-5n=7PE=4＊10-7n=9PE=10-8n=11PE=5＊10-10R=1R=1／3R=1／5R=1／7R=1／9R=1／11结论：※

码长n↑，PE↓※

单纯的码长n↑，R↓(冗余增大)§7.4有噪信道编码定理例2．（5.2）线性分组码00011011编码000000110110111110100000000001000100010001000100001000100011011010110001111001011110111100010010111010111101101010111111001110011010011101001101011011110001001001010010111100111001输入编码码字接收码字信道在码长较长时，采用合适的编码和译码方法，能使错误概率降低，而不降低信息传输率！有噪信道编码定理（香农第二定理）设某离散无记忆信道有r个输入，s个输出，信道容量为C，在输入rn个符号中选出M个码字组成一种码，设ε是任意小的正数，若M≤2

n(C-ε)

，则存在这样的码及相应的译码规则，当n足够大时，使信道输出的错误概率PE任意小；若M=2

n(C+ε)

则无论n多大，也找不到一种编码，使译码错误概率任意小。§7.4有噪信道编码定理表述二：

若在信息传输率R不大于信道容量C（即R≤C-），则存在一种编码，当码长n足够大时，它可以使信道输出端的错误概率任意小，而信息传输率无限接近C；如果R>C，则不可能找到一种编码，使输出端错误概率任意小。

有噪信道编码定理（香农第二定理）§7.4有噪信道编码定理说明：1、定理纠正了传统观点：可靠性和有效性是一对不可调和的矛盾，为信道编码理论和技术的研究指明了方向。2、定理仅指出编码的存在性，未给出编码的具体方法。3、定理指出：R<C是可靠传输的必要条件，进一步证明：R=C时，