第七课-理论-信源与信道编码

1、第七课第七课 信源与信道编码信源与信道编码Page 2信源编码信源编码Page 3信源编码信源编码 编码的目的是为了优化通信系统。一般编码的目的是为了优化通信系统。一般说来，通信系统的性能指标主要是有效性、说来，通信系统的性能指标主要是有效性、可靠性、安全性。所谓优化，就是使这些指可靠性、安全性。所谓优化，就是使这些指标达到最佳。除了经济性外，这些指标正是标达到最佳。除了经济性外，这些指标正是信息论研究的对象。按照不同的编码目的，信息论研究的对象。按照不同的编码目的，编码问题可分为三类：信源编码、信道编码编码问题可分为三类：信源编码、信道编码和安全编码和安全编码( (密码密码) )。Page

2、4 信源编码是以提高通信有效性为目的的编码。通常信源编码是以提高通信有效性为目的的编码。通常通过压缩信源的冗余度来实现。采用的一般方法是压缩通过压缩信源的冗余度来实现。采用的一般方法是压缩每个信源符号的平均比特数或信源的码率。每个信源符号的平均比特数或信源的码率。 信道编码是以提高信息传输的可靠性为目的的编码信道编码是以提高信息传输的可靠性为目的的编码。通常通过增加信源的冗余度来实现。采用的一般方法。通常通过增加信源的冗余度来实现。采用的一般方法是增大码率或带宽。与信源编码正好相反。是增大码率或带宽。与信源编码正好相反。 密码则是以提高通信系统的安全性为目的的编码。通密码则是以提高通信系统的安

3、全性为目的的编码。通常通过加密和解密来实现。从信息论的观点出发，加密可常通过加密和解密来实现。从信息论的观点出发，加密可视为视为“增熵增熵”的过程，解密可视为的过程，解密可视为“减熵减熵”的过程。的过程。Page 5 一般情况下，信源编码可分为离散信源编码、一般情况下，信源编码可分为离散信源编码、连续信源编码和相关信源编码。离散信源编码连续信源编码和相关信源编码。离散信源编码可做到无失真编码；而连续信源编码则只能做可做到无失真编码；而连续信源编码则只能做到限失真编码。到限失真编码。Page 6Page 7 由信源编码器的数学模型可将信源编码器的作用归纳由信源编码器的数学模型可将信源编码器的作用

4、归纳为：为： (1)(1)用信道的基本符号按照规定的编码方法把信源发出的用信道的基本符号按照规定的编码方法把信源发出的消息变换成相应的代码组；消息变换成相应的代码组； (2) (2)建立消息集合建立消息集合X X与代码组集合与代码组集合C C之间的一一对应关系。之间的一一对应关系。 通常称具有上述映射规则的信源编码器为正规编码器，通常称具有上述映射规则的信源编码器为正规编码器，编出来的码称为非奇异码。编出来的码称为非奇异码。Page 8Page 9 5.0.3 信息传输速率和编码效率信息传输速率和编码效率 消息在信道上传输的过程中，每单位时间所消息在信道上传输的过程中，每单位时间所传输的实际信

5、息量称为信息传输速率。传输的实际信息量称为信息传输速率。( (其单其单位与信道容量相同，用符号位与信道容量相同，用符号R Rt t表示表示) )Page 10Page 11Page 121、 香农编码香农编码Page 13Page 142、 费诺编码费诺编码Page 15Page 163、 哈夫曼编码哈夫曼编码Page 17Page 18信源编码信源编码Page 19n 信源编码信源编码n提高数字信号提高数字信号n将信源的模拟信号转变为数字信号将信源的模拟信号转变为数字信号n降低数码率降低数码率,压缩传输频带压缩传输频带(数据压缩数据压缩)n 信道编码信道编码n提高数字通信提高数字通信 n数字

6、信号在信道的传输过程中数字信号在信道的传输过程中,由于实际信由于实际信道的传输特性不理想以及存在加性噪声道的传输特性不理想以及存在加性噪声,在在接收端往往会产生误码。接收端往往会产生误码。Page 20纠错编译码的基本原理与分析方法纠错编译码的基本原理与分析方法是衡量传输质量的重要指标之一。是衡量传输质量的重要指标之一。n 码元差错率码元差错率/ /符号差错率符号差错率n指在传输的指在传输的码元码元总数中发生差错的码元数所占的比总数中发生差错的码元数所占的比例例(平均值平均值),简称简称误码率误码率。n是指是指差错概率差错概率 n 比特差错率比特差错率 /比特误码率比特误码率：n在传输的在传输

7、的比特比特总数中发生差错的比特数所占比例总数中发生差错的比特数所占比例n是指是指差错概率差错概率 n 对对二进制二进制传输系统传输系统,符号差错等效于比特差错符号差错等效于比特差错;对多进制对多进制系统系统,一个符号差错对应多少比特差错却难以确定一个符号差错对应多少比特差错却难以确定。Page 21n 随机差错随机差错：n差错是差错是相互独立相互独立的的,不相关不相关n存在这种差错的信道是无记忆信道或随机信存在这种差错的信道是无记忆信道或随机信道道n 突发差错突发差错：n指指成串成串出现的错误出现的错误,错误与错误间有相关性错误与错误间有相关性,一个差错往往要影响到后面一串字一个差错往往要影响

8、到后面一串字n E: 0 0 1 0 0 1 0 0 0 0 0 0 1 0 0 1 1 1 0 0 0 0 0 0 0 突发长度突发长度= 4突发长度突发长度= 6差错图样差错图样Page 22n 从功能角度讲从功能角度讲,差错码分为检错码和纠错码差错码分为检错码和纠错码n检错码检错码：用于发现差错：用于发现差错n纠错码纠错码：能自动纠正差错：能自动纠正差错n 纠错码与检错码在理论上没有本质区别纠错码与检错码在理论上没有本质区别,只是应只是应用场合不同用场合不同,而侧重的性能参数也不同。而侧重的性能参数也不同。纠错码分类纠错码分类 Page 2323n 按照对信息序列的处理方法按照对信息序列

9、的处理方法,有分组码和卷积码有分组码和卷积码n 分组码：分组码：n将将k个信息码元分成一组个信息码元分成一组,由这由这k个码元按照一定个码元按照一定规则产生规则产生r个监督码元个监督码元,组成长度组成长度n = k + r的码的码字字 卷积码：卷积码： 先将信息序列分组先将信息序列分组,不同的是编解码运算不仅与不同的是编解码运算不仅与本组信息有关本组信息有关,而且还与前面若干组有关。而且还与前面若干组有关。kk010 101 010 001 110 010 xxxx 101xxxx 010 xxxxrnr纠错码分类纠错码分类 Page 24n 按照码元与原始信息位的关系按照码元与原始信息位的关

10、系,分为分为n线性码线性码：所有码元均是原始信息元的：所有码元均是原始信息元的线性组合线性组合,编码编码器不带反馈回路。器不带反馈回路。n非线性码非线性码：码元并不都是信息元的线性组合：码元并不都是信息元的线性组合,可能还可能还与前面已编的码元有关与前面已编的码元有关,编码器可能含反馈回路。编码器可能含反馈回路。n 按照适用的差错类型按照适用的差错类型,分成分成:n纠随机差错码纠随机差错码:用于随机差错信道用于随机差错信道,其纠错能力用码组其纠错能力用码组内允许的独立差错的个数来衡量。内允许的独立差错的个数来衡量。n纠突发差错码纠突发差错码:针对突发差错而设计针对突发差错而设计,其纠错能力主要

11、其纠错能力主要用可纠突发差错的最大长度来衡量用可纠突发差错的最大长度来衡量Page 25n 前向纠错前向纠错(FEC)：n发送端的信道编码器将信息码组编成具有一发送端的信道编码器将信息码组编成具有一定定纠错能力纠错能力的码。的码。n接收端信道译码器对接收码字进行译码接收端信道译码器对接收码字进行译码,若传若传输中产生的差错数目在码的纠错能力之内时输中产生的差错数目在码的纠错能力之内时,译码器对差错进行定位并加以纠正。译码器对差错进行定位并加以纠正。Page 26n 自动请求重发自动请求重发(ARQ)：n发端发送发端发送检错码检错码，n收端译码器判断当前码字传输是否出错；收端译码器判断当前码字传

12、输是否出错；n当有错时按某种协议通过一个当有错时按某种协议通过一个反向信道反向信道请求请求发送端重传已发送的码字发送端重传已发送的码字(全部或部分全部或部分)。Page 27n 混合纠错混合纠错(HEC)：n是是FEC与与ARQ方式的结合。方式的结合。n发端发送同时具有自动纠错和检测能力的码组发端发送同时具有自动纠错和检测能力的码组,收端收收端收到码组后到码组后,检查差错情况检查差错情况,如果差错在码的纠错能力以如果差错在码的纠错能力以内内,则自动进行纠正。则自动进行纠正。n如果信道干扰很严重如果信道干扰很严重,错误很多错误很多,超过了码的纠错能力超过了码的纠错能力,但能检测出来但能检测出来,

13、则经反馈信道请求发端重发这组数据。则经反馈信道请求发端重发这组数据。n 信息反馈信息反馈(IRQ)：n收端把收到的数据收端把收到的数据,原封不动地通过反馈信道送回到发原封不动地通过反馈信道送回到发端端,发端比较发的数据与反馈来的数据发端比较发的数据与反馈来的数据,从而发现错误从而发现错误,并且把错误的消息再次传送并且把错误的消息再次传送,直到发端没有发现错误为直到发端没有发现错误为止。止。Page 28n 0:晴晴,1:雨雨n 若若10,01。收端无法发现错误。收端无法发现错误00晴晴1001110011雨雨能发现能发现一个一个错误错误禁用码组禁用码组插入插入1位监督码位监督码后具有后具有检出

14、检出1位错码位错码的能的能力力,但不能予以纠正。但不能予以纠正。Page 29000晴晴010001111000111雨雨晴晴 在只有在只有1位错码位错码的情况下的情况下,可以判决哪位是错可以判决哪位是错码并予以码并予以纠正纠正。100011101110雨雨Page 30n 最大似然译码最大似然译码：n将接收到的码字译码为与它将接收到的码字译码为与它的的许用码字许用码字,并并且认为这个许用码字就是它所对应的发送码字且认为这个许用码字就是它所对应的发送码字,从而从而在码字的纠错能力内实现自动纠错。在码字的纠错能力内实现自动纠错。n 纠错编码之所以具有检错、纠错能力纠错编码之所以具有检错、纠错能力

15、,是因为在信息码是因为在信息码元之外加入了元之外加入了监督码监督码。监督码不载信息。监督码不载信息,只是用来监督只是用来监督信息码在传输中有无差错。信息码在传输中有无差错。n 纠错编码所提高的可靠性纠错编码所提高的可靠性,是以牺牲信道利用率为代价是以牺牲信道利用率为代价换取的。换取的。n 监督码监督码引入引入越多越多,检错、纠错检错、纠错能力能力越强越强,但信道的传输效但信道的传输效率下降也越多。率下降也越多。Page 31信道编码信道编码n 信道编码信道编码n在被传输信息中附加一些冗余码在被传输信息中附加一些冗余码,即即监督码元监督码元,利用附利用附加码元与信息码元间的加码元与信息码元间的约

16、束关系约束关系加以校验加以校验,以以。n 信源信源编码编码减少减少了了n冗余度是随机的、无规律的冗余度是随机的、无规律的。n 信道信道编码编码增加增加了了n冗余度是特定的、有规律的冗余度是特定的、有规律的,故可利用其在接收端进故可利用其在接收端进行检错和纠错。行检错和纠错。Page 32信道编码的基本思想信道编码的基本思想n 信道编码信道编码n按一定规则给数字序列按一定规则给数字序列mm增加一些增加一些多余多余的码元的码元,使不具使不具有规律性的信息序列有规律性的信息序列 m m 变换为具有某种规律性的数码变换为具有某种规律性的数码序列序列 C C；n码序列中的码序列中的信息序列码元信息序列码

17、元与与多余码元多余码元之间是之间是的；的；n信道译码器利用这种信道译码器利用这种预知的预知的编码规则译码。检验接收编码规则译码。检验接收到的数字序列到的数字序列 R R 是否符合既定的是否符合既定的 规则规则,从而发现从而发现 R R 中中是否有错是否有错,或者纠正其中的差错；或者纠正其中的差错；n根据根据来检测来检测/发现发现和和纠正纠正传输过程中产生的差错传输过程中产生的差错就是信道编码的基本思想。就是信道编码的基本思想。Page 33n 纠错编码的检错纠错能力纠错编码的检错纠错能力,要取决于码组的码距要取决于码组的码距n 码距越大码距越大,检错、纠错能力越强。检错、纠错能力越强。n 汉明

18、距离汉明距离：n二个码组对应码位码元不同的个数。二个码组对应码位码元不同的个数。n 最小码距最小码距dmin：n一个码组的集合中任意二个码组间的最小汉明距离。一个码组的集合中任意二个码组间的最小汉明距离。n 码重码重W：n码组中非码组中非0的数目。的数目。Page 34n 误码分类误码分类n随机信道随机信道噪声引入的随机误码，均匀分布噪声引入的随机误码，均匀分布n突发信道突发信道由干扰、快衰落引起的突发误码由干扰、快衰落引起的突发误码n 如何减少误码？如何减少误码？n从信源编码看，误码引起的性能恶化尽可能小，从信源编码看，误码引起的性能恶化尽可能小，容错技术容错技术n从传输看，可采用抗干扰能力

19、强的调制方式，信从传输看，可采用抗干扰能力强的调制方式，信道特性不理想可采用均衡。特别需要差错控制技道特性不理想可采用均衡。特别需要差错控制技术。数字通信中，要求误码率术。数字通信中，要求误码率108以下，必须以下，必须采用差错控制。采用差错控制。Page 35 循环码循环码 (Cyclic code) n 1957 年发现年发现n 特点特点n线性分组码线性分组码n循环性循环性任一许用码字经过循环移位后，得任一许用码字经过循环移位后，得到的码组仍为一个许用码组到的码组仍为一个许用码组n 如如 是循环码的一许用码组是循环码的一许用码组 n 则则 也是一许用码组也是一许用码组 6543210()a

20、 a a a a a a0654321()a a a a a a a 循环码是线性分组码的一个子类。因此，所循环码是线性分组码的一个子类。因此，所有线性分组码的性质均适用于循环码。有线性分组码的性质均适用于循环码。Page 36 纠正纠正和检测突发错误的分组码交织码和检测突发错误的分组码交织码interleavedn 在实际应用中在实际应用中,比特差错经常成串发生比特差错经常成串发生,这是由于持续时这是由于持续时间较长的衰落谷点会影响到几个连续的比特间较长的衰落谷点会影响到几个连续的比特,而前向纠错编而前向纠错编码仅在检测和校正单个差错和不太长的差错串时才最有效码仅在检测和校正单个差错和不太长

21、的差错串时才最有效(如如RS 只能纠正只能纠正 8 个字节的错误个字节的错误) 。n 为了纠正这些成串发生的比特差错及一些突发错误为了纠正这些成串发生的比特差错及一些突发错误,可可以运用交织技术来分散这些误差以运用交织技术来分散这些误差, 使长串的比特差错变成短使长串的比特差错变成短串差错串差错, 从而可以用前向码对其纠错。从而可以用前向码对其纠错。Page 37n 实现交织和解交织一般使用卷积方式。实现交织和解交织一般使用卷积方式。 交织技术对已编码的信号按一定规则重新排列，解交织技术对已编码的信号按一定规则重新排列，解交织后突发性错误在时间上被分散，使其类似于独立发交织后突发性错误在时间上

22、被分散，使其类似于独立发生的随机错误，从而前向纠错编码可以有效的进行纠错生的随机错误，从而前向纠错编码可以有效的进行纠错，前向纠错码加交积的作用可以理解为扩展了前向纠错，前向纠错码加交积的作用可以理解为扩展了前向纠错的可抗长度字节。的可抗长度字节。n 纠错能力强的编码一般要求的交织深度相对较低。纠错纠错能力强的编码一般要求的交织深度相对较低。纠错能力弱的则要求更深的交织深度。能力弱的则要求更深的交织深度。 如果方阵中行码是能纠如果方阵中行码是能纠 t 个随机错误，交织后能纠个随机错误，交织后能纠t个长度为个长度为i的突发错误。的突发错误。i称为交织深度。称为交织深度。itPage 38n 为了

23、进一步提高纠错能力，可以在交织阵列中不为了进一步提高纠错能力，可以在交织阵列中不仅对每行进行纠错编码，而且也对每列进行纠错仅对每行进行纠错编码，而且也对每列进行纠错编码，这种形式的交织码称为乘积码。编码，这种形式的交织码称为乘积码。n 交织一般都带固有延时，在语音中交织的延时不交织一般都带固有延时，在语音中交织的延时不要超过要超过40ms。Page 39Page 40 Shannon 编码定理指出：如果采用足够长的随机编码，就能逼编码定理指出：如果采用足够长的随机编码，就能逼近近Shannon 信道容量。但是传统的编码都有规则的代数结构，远远信道容量。但是传统的编码都有规则的代数结构，远远谈不上谈不上“随机随机”；同时，出于译码复杂度的考虑，码长也不可能太；同时，出于译码复杂度的考虑，码长也不可能太长。所以传统的信道编码性能与信道容量之间都有较大的差距。事长。所以传统的信道编码性能与信道容量之间都有较大的差距。事实上，长期以来信道容量仅作为一个理论极限存在，实际的编码方实上，长期以来信道容量仅作为一个理论极限存在，实际的编码方案设计和