第6章 信道编码v1.5.pptx

1、第6章 信道编码,信道编码定理,信道编码概述 译码准则 编码方法 信道编码定理,2,噪声信道的编码问题,3,信源编码： 以提高通信有效性为目的，故在构造上并未考虑抗干扰。 如果把信源编码器的输出直接接入信道，会怎样？ 由于信道中存在噪声干扰，将引起误码，降低通信可靠性。,信道编码： 以提高通信可靠性为主要目的。 它是对信源编码器输出的最佳码再进行一次编码，以提高其抗干扰能力的一种编码形式。,通信系统的编码过程,在二进制数字通信系统中，编码器的编码过程分为两步： 信源编码：把信源的消息数据序列编成二进制数字构成的码序列； 信道编码：把二进制数据序列编成具有纠检错能力的二进制序列。,信源,信源编码

2、,信源译码,信宿,信道编码,信道,信道译码,+,+,加密编码,解密译码,噪声源,S,U,C,X,Y,V,S,n,通信系统基本模型,4,编码信道,5,信道 编码器,信道 译码器,信道,编码信道：信道编码研究的对象。是由信道编码器、信道译码器和实际信道一起形成的一个新的信道。,它可以是： 无线通信中的如发射机、天线、自由空间、接收机等全体； 有线通信中的如调制解调器、电缆等全体； 互联网的多个路由器、节点、电缆、低层协议等全体； 计算机的存储器如磁盘等的全体； 。,信道编译码的基本思想1,信道编码的编码对象： 信源编码器输出的数字序列M（信息序列）。通常是二元符号0，1构成的序列，且0和1独立等概

3、。 信道编码： 如何组成这M种码字，才能达到无差错地传送。实质上，这是希望信源与信道特性相匹配，所以称为信道编码。 方法：按一定的规则给数字序列M增加一些多余的码元，使不具有规律性的信息序列M变换为具有某种规律性的数字序列C（码序列）。,6,信道编译码的基本思想2,7,信道编码的基本思想： 根据相关性来检测和纠正传输过程中产生的差错，提高通信可靠性。,信道译码： 利用这种预知的编码规则来译码，或检错(检验接收到的数字序列R中是否有错)，或纠错(纠正其中的差错) 。,码序列中,信息序列码元与多余码元之间是相关的。,信源编码的输出：数字序列M 0和1独立且等概,通信可靠性的相关因素,8,问题：影响

4、通信可靠性(错误概率)，受哪些因素影响？ 分析：(1)通信的可靠性显然与信道的统计特性有关，因为杂噪干扰是造成错误的主要因素。 例：,无噪无损信道： 错误概率0,P=0.5的二元对称信道： 错误概率50%,(2)除了信道本身的影响，译码规则和编码方法也将影响信息传输的可靠性。,信道编码定理,信道编码概述 译码准则 编码方法 信道编码定理,9,译码准则概述 错误概率 两种常用译码准则,错误概率和译码规则,10,译码规则1： 输出端接收到符号0时，译成0；接收到1时译成1 此时，译码错误概率为0.9。 译码规则2： 接收到符号0时译成1； 接收到1时译成0 此时，译码错误概率为0.1。,例：考虑一

5、个二元对称信道： 单符号错误传递概率是pb=0.9 ， 其输入符号为等概分布。,可见，错误概率既与信道统计特性有关，也与译码规则有关。,无记忆二进制对称信道（BSC）,11,假定数字通信系统的编码信道是无记忆二进制对称信道： 二进制信道是指码字和接收向量均由二元序列表示的信道，即c=(c0,c1,cn-1) ci0,1 、 r=(r0,r1, ,rn-1) ri0,1。 二进制信道可用转移概率p(r/c)描述输入输出关系； 满足以下公式的二进制信道称为无记忆二进制信道： p(r/c)= p( ri / ci ) i=0n-1 满足以下对称特性的无记忆二进制信道称为无记忆二进制对称信道，简称BS

6、C： p(0/1)= p(1/0)= pb,接收向量r ri0,1,码字 c ci0,1,二进制信道 p(r/c),信源编码,信源译码,消息 m,消息 m,BSC的信道模型,只要噪声是白噪声，大多数二进制传输信道的模型可等效为一个BSC，其信道模型如下图所示。,12,二进制 无记忆,BSC编码信道,设信道的输入符号集 ，输出符号集为 。若对每一个输出符号 都有一个确定的函数 ，使对应于唯一的一个输入符号 ，则称这样的一个函数为译码规则，记为,译码规则的定义,13,信道,共有rs 种译码规则,14,例1：,译码规则,例2：设一个信道的信道矩阵为 ，根据此信道矩阵，设计译码规则。,解：,译码规则A

7、,译码规则B,译码规则-例2,15,还有译码规则C、D,对于有r个输入符号，s个输出符号的信道，总共可以设计出 种译码规则，到底哪一种译码规则最好？依据什么标准来选择译码规则？,问题：,译码规则的选择,在评定译码规则的优劣以前，首先必须定量描述错误概率.,16,信道编码定理,信道编码概述 译码准则 编码方法 信道编码定理,17,码准则概述 错误概率 两种常用译码准则,设译码规则为,当输入符号是xi时，,译码正确,当输入符号为除xi以外的(r-1)种符号时，,译码错误,正确译码的概率：,错误译码的概率：,错误译码概率1,18,平均正确译码概率：,平均错误译码概率：,错误译码概率2,因为输出信号是

8、个随机变量， 只是其中一个符号,19,信道编码定理,信道编码概述 译码准则 编码方法 信道编码定理,20,码准则概述 错误概率 两种常用译码准则,极大似然译码规则,最大后验概率译码规则,为提高规则通信的可靠性，所采用的译码应当使平均错误译码概率最小,已知：,当求和项中的每一项都达到最小值时， 就最小。,要最小。,要最大。,最大后验概率译码规则,令 ， ，而 应满足条件:,称满足上述条件的译码函数对应的译码规则为最大后验概率译码规则(最小错误概率准则)。,21,后验概率,最大后验概率准则下的错误概率1,22,最小,最大,除去最大，剩下的部分,后验概率矩阵,最大后验概率准则下的错误概率1,最大后验

9、概率准则的条件式可以写成,23,联合概率,问题：最大后验概率 通常是未知的，使用不方便。我们能否推导出更便于使用的译码规则?,最大似然准则,当输入符号等概分布时,(2) 极大似然译码规则,分析：,24,贝叶斯公式,1)当输入符号等概分布时，采用极大似然译码准则等价于最大后验概率准则。,2)当输入符号不等概分布或先验概率未知时，采用极大似然译码准则不一定使 最小。最大似然准则不是最佳译码规则。,说明,25,当输入符号等概分布时,最大似然准则下的错误概率,26,例：设信道矩阵为 ，且输入符号等概分布，即 ，求译码规则和平均错误译码概率。,解：等概率分布时，用最大似然准则，等效于最大后验概率准则。对

10、于传递矩阵中的每一列，选一个最大的传递概率，对应的输入符号即为该输出符号的译码函数,译码规则,27,译码规则A,译码规则B,例 假设输入等概，求以下两种 译码规则的平均错误译码概率。,28,求以下两种译码规则的平均错误译码概率,29,最大后验概率译码准则,分析：已知输入概率分布，用最大后验概率准则，求联合概率,30,费诺不等式,31,译码时发生错误是由信道中噪声引起，因此平均错误概率与信道疑义度H(X|Y)有关，其关系由费诺不等式表示。,费诺不等式,说明：虽然PE与译码规则有关，但不管采用什么译码规则，费诺不等式均成立。,物理意义：一次译码判决后所保留的关于信源的不确定性可以分成两部分,接收到

11、Y后，判决是否发生错误的不确定性H(PE)，H(PE )是译码平均错误概率PE 的熵，表示产生错误概率PE的不确定性。,当判决是错误的，其错误概率为PE时，到底是n-1个输入符号中哪一个引起错误的最大不确定性，它是(n-1)个符号不确定性的最大值log(n-1)与PE 的乘积。,费诺不等式的几何含义,信道疑义度 是信源熵H(X)超过平均互信息I(X;Y)的部分。 若以H(X|Y)为纵坐标，PE为横坐标，则函数H(PE)+ PE log(n-1)随PE变化的曲线如图所示。,32,由图可知，当信源、信道给定时，信道疑义度H(X|Y)就给定了译码平均错误概率PE的下限。,课堂练习,离散信道的传递概率

12、矩阵为 分别按照最小错误概率准则和最大似然准则确定译码规则，并计算相应的平均错误概率,33,课堂练习,用最大后验概率准则，求联合概率,34,课堂练习,用最大似然准则,35,信道编码定理,信道编码概述 译码准则 编码方法 信道编码定理,36,编码方法,当信道为确定的有噪信道时，无论采用什么样的译码规则，我们只能尽量的减小平均错误概率，总不能完全消除 因此必须要有方法降低错误概率：编码方法 检错与纠错原理 奇偶校验 增加扩展次数（重复消息位） 设计等重码,37,增加扩展次数（简单重复编码）,二元信源进行编码 方法1：0；1 方法2：信源符号为0（或1）时重复发送三个0（或1） 0 000； 1 1

13、11 简单重复编码,38,误码率分析,实例分析 信道矩阵为 输入符号等概率分布，译码规则采用最大似然准则,39,方法1：0；1,误码率分析,方法2（三次扩展）：000；111,40,扩展的信道矩阵,改变扩展次数,用方法2，增加扩展次数n可以降低错误概率,41,改变输入符号数M,输入符号数M： 设n=3，那么可供选择的消息符号数共有8个。 发送端：只选择其中M个作为输入消息符号传递。 接收端：由于误码，会接收到所有8个输出符号，从中译出M个消息符号。 分析： 令n=3，M变化，看看此时 和R的变化情况 M=2时的情况：,42,改变输入符号数M,M=8时的情况：,43,改变输入符号数,M=4时的情

14、况，输入符号是： 000、011、101、110,44,改变输入符号数,总结：当n=3不变，M变化时,45,调整输入符号,n一定，M也一定，选择不同的输入符号 输入是000、011、101、110时 输入符号是000、001、010、100,46,调整输入符号,第二种方式和第一种方式相比，信息传输率一样，平均错误概率更大,47,（5，2）线性码,前面的结论： 增大简单重复编码次数n，虽然使平均错误概率pE下降，但信息传输率R也降低了。 增大输入消息符号个数M，尽管可使信息传输率R增大，但又增大了平均错误概率pE 。 相同的n和M时，采用不同输入符号，信息传输率R相同，但又增大了平均错误概率pE

15、,2020/9/22,48,当采用好的编码方法时，可以使平均错误概率pE和信息传输率R两个指标得到较好的折衷。,以（5.2）线性码为例，说明采用好的编码方法时，适当增大n和M，可以得到低的平均错误概率pE和较高的信息传输率R。,（5，2）线性码的编码,设M=4，n=5 则输入符号有M=4种，由的4个不同取值决定。 采用以下编码方法将输入符号编码成为5位码：,2020/9/22,49,（5,2）线性码的编码（续）,由上述编码方法得到一种(5,2)线性码，如图所示:,2020/9/22,50,（5,2）线性码的译码效果,采用最大似然译码准则，当p = 0.01时 正确译码概率为 平均错误译码概率为

16、 信息传输率为 前述n=3，M=4的一种简单重复编码 平均错误译码概率为 信息传输率为,2020/9/22,51,结论,与n=3，M=4的简单重复编码比较，（5,2）线性码的信息传输率R略有降低，但平均错误概率却好得多。 说明好的编码方法可以在错误概率和信息传输率两个性能上达到最佳折衷。,2020/9/22,52,输入符号分析,第一种：两两之间都有2个二元符号不同。一个二元符号出错，不会串到其它输入符号，因此可以判断出现了错误 第二种：000与其它输入符号之间只差一个二元符号，当000任何一个二元符号出现错误时，就会串到其它输入符号上，也就判断不出错误,53,任意两个码字，差异为2,任意两个码

17、字，差异为1,两种符号选择的分析,引入汉明距离,为了描述符号序列之间的这种相差性，定义了汉明距离 长度为n的两个符号序列 汉明距离：是指两符号序列对应位置上不同码元的个数。用符号 表示，简写为 例如， 对应位置上有3个码元不同,54,汉明距离,相应位置上的码元是否相同，在C语言中就是异或运算（相异为1，相同为0），所以汉明距离可以表示为： 在码字集合中，共有M个码字，两两之间的汉明距离共有,55,最小距离,最小距离：任意两个码字的汉明距离的最小值，称为该码的最小距离 M、n相同的情况下， 越大， 就越小 对于不同的M和n，也有这样的准则,56,减小错误概率的方法的本质,之前讲到的减小错误概率的

18、方法 如M一定，增大n； n一定，较小M。 本质上都是为了增大最小距离,57,最小距离译码规则,定义了汉明距离之后，又引入了一种译码规则：最小距离译码规则 即选择译码函数：,58,最小距离译码规则,选择译码函数时不用计算传递概率，只用计算汉明距离 F(000)=000F(001)=000F(010)=000 F(011)=111F(100)=000F(101)=111 F(110)=111F(111)=111,59,最小距离译码规则,最小距离译码规则、最大似然准则都仅仅考虑了信道的统计特性，没有考虑输入序列的概率分布。两种译码规则是否有联系？ 可以证明，在正常的二元对称信道上，两者是一致的，而在其他信道上则不一定。所谓正常的二元对称信道，指正确概率大于错误概率的二元对称信道,60,最小距离译码规则,最小距离准则为： 最大似然准则为： 因为二元对称信道是离散无记忆信道，输出分量只与当前时刻的输入分量相关,61,最小距离译码规则,因此有：,62,最小距离译码规则,对于正常的信道，有 ，正确概率大于错误概率 的幂数越高， 则越大，也就是汉明距离D 越小， 越大 最大似然