硕士学位论文-对信源信道联合编码的研究.pdf

合肥工业大学 硕士学位论文 对信源信道联合编码的研究 姓名：柴斌 申请学位级别：硕士 专业：信号与信息处理 指导教师：单承赣 20040401 对信源信道联合编码的研究 摘要 在过去5 0 年中，通信领域是在一个假设上发展起来的，即通信中的 两个基本问题可以分别独立处理，而性能不会收到影响。这个假设被称为 独立原则，简单说就是信源编码和信道编码能够独立实现。这样，就把一 个单独复杂的问题分成两个简单的问题。这个“独立原则”指导了通信的 发展近5 0 年。在技术上的发展实例包括c d r o m 、快速解调、无线通信系 统和互连网。独立原则很有效同时也有限制。随着现代通信的发展，独立 原则在很多实际场合中，例如资源有限，多用户系统中或网络时变的情况 等，都不适用。于是出现了信源信道独立编码向信源信道联合编码过渡的 趋势。本论文在这方面做了一些有益的探索。 首先，本文对信源信道联合编码做了综述。介绍了它的理论背景，应 用情况和研究概况以及发展趋势。作者在对算术编码做了深入研究的基础 上，运用汉明距离对其加以改进，使算术编码具有了较好的纠错能力，克 服了算术编码易受传输错误的影响，使其适用于信道干扰较大的场合。本 文着重研究了信源信道联合编码中的分层编码方法，设计了一个基于 s p i h t 算法的分层编码的编解码方案，并做了仿真，实验证明这个方案适 用于信道情况未知的场合中。最后，作者就今后工作的发展方向提出了一 些个人的观点和看法。 关键词：信源信道联合编码，分层编码，s p i h t ，信息论，算术编码 r e s e a r c ho fj o i n ts o u r c ea n dc h a n n e l c o d i n g a b s t r a c t f o rt h ep a s t5 0y e a r s ，t h ef i e l do fc o m m u n i c a t i o n sh a sd e v e l o p e d u n d e rt h ea s s u m p t i o nt h a tt h et w ob a s i cc o m p o n e n t so ft h ec o m m u n i c a t i o n s p r o b l e mc a nb ep e r f o r m e di n d e p e n d e n t l yw i t hn op e r f o r m a n c ed e g r a d a t i o n s r e l a t i v et oj o i n td e s i g n b r i e f l y ，t h i si d e a ，k n o w na st h e ”s e p a r a t i o np r i n c i p l e ”， s t a t e st h a t ”s o u r c ec o d i n g ”a n d ”c h a n n e lc o d i n g ”c a na n ds h o u l db ep e r f o r m e d i n d e p e n d e n t l y b yd i v i d i n g a s i n g l e d i f f i c u l t p r o b l e m i n t ot w o s i m p l e r p r o b l e m s ，t h es e p a r a t i o np r i n c i p l eh a s l e dt o5 0y e a r so fe n o r m o u sa d v a n c e si n c o m m u n i c a t i o n s t h e o r y a n d t e c h n o l o g y e x a m p l e s o f t e c h n o l o g i e s m a d e p o s s i b l eb y c o m m u n i c a t i o n sa d v a n c e si n c l u d ec dr o m s ，f a s tm o d e m s ， w i r e l e s sc o m m u n i c a t i o n ss y s t e m s ，a n dt h ei n t e r n e t t h es e p a r a t i o np r i n c i p l ei s b o t h e x t r e m e l yp o w e r f u l a n d e x t r e m e l yl i m i t i n g t ot h ea d v a n c e m e n to f c o m m u n i c a t i o n st e c h n o l o g y w i t ht h ed e v e l o p m e n to fm o d e r nc o m m u n i c a t i o n ， s o m es y s t e m sw i l ll e a dt ot h ev i o l a t i o no ft h es e p a r a t i o np r i n c i p l e ，s u c ha s r e s o u r c ec o n s t r a i n t s ，m u l t i u s e rs y s t e mo rt i m e v a r y i n gn e t w o r k s f o rs u c h s y s t e m s ，p e r f o r m a n c ei m p r o v e m e n t sm a y b ea c h i e v e d b ym o v i n g f r o m s e p a r a t ed e s i g na n do p e r a t i o no f s o u r c ea n dc h a n n e lc o d e st o j o i n ts o u r c ea n d c h a n n e lc o d e ”d e s i g na n d o p e r a t i o n i n t h i st h e s i s ，w er e v i e wt h ej o i n ts o u r c ea n dc h a n n e lc o d i n gf i r s t l y ， i n t r o d u c i n g f u n d a m e n t a l t h e o r i e s ，d e s i g nm e t h o d o l o g i e s ，a n dp r a c t i c a l a p p l i c a t i o n s s e c o n d l y ，a na p p r o a c h i s p r e s e n t e d f o r i m p r o v i n ga r i t h m e t i c c o d i n g b ye m b e d d i n gh a m m i n g d i s t a n c e t h e a p p r o a c hp r e v e n t s e r r o r p r o p a g a t i o no f t h ea r i t h m e t i cc o d i n g t h i r d l y ，as c h e m eo fl a y e r e dc o d i n gi s p r o p o s e d ，w h i c h c a nb ea p p l i e df o rr a t e v a r y i n gs y s t e m s f i n a l l y ，t h ea r e a sf o r f u r t h e rr e s e a r c ha r ep o i n t e do u t k e yw o r d s ：j o i n ts o u r c ea n dc h a n n e lc o d i n g ，l a y e r e dc o d i n g ，s p i h t ，t h e o r y o fi n f o r m a t i o n a r i t h m e t i cc o d i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得盒胆王些态堂或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签字 学位论文版权使用授权书 本学位论文作者完全了解盒i 王些叁堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被夯阅或借阅。本人授权盒 蟹工些厶堂可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采用影 印、缩印缄扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权) 一名：球斌聊魏翟移2 签字日划衅峰月文日 签字日期： 汐- 户产月) 曰 学位论文作者毕业蜃去向：上爿孚 ：l j 作单位：，圣蔓d 二硝众曰电雯： 通讯地址： 、j 邮编： 匆 致谢 我要感谢在我攻读研究生学位这三年中所有关心我和帮助我的人。 感谢我的导师单承赣教授。在三年的硕士研究生课程学习和撰写学位 论文的过程中，我得到了单老师的悉心指导，从课程学习、论文选题、收 集资料、进行实验到论文成稿，我的每一步都离不开老师的耐心帮助。 感谢我的父亲、母亲、姐姐和姐夫，谢谢他们对我无条件的支持。家 人的鼓励对我非常重要，使我可以微笑面对所有困难。我的任何一点成绩 都要与他们分享。 感谢我十年的同窗王新力，谢谢她给我的关心和快乐，我永远不会忘 记她在我沮丧时给我的安慰，我希望她能永远美丽幸福。感谢我的同学胡 勇，谢谢他的友谊和他在各方面给我的无私帮助。感谢我的朋友张玉红、 宋静、童丽丽、赵晶、曹薇、冯琳、蒋立新、王炯，他们给了我很多 愉快的时光。感谢我实验室的同学张勇、马海燕、白鹭、陈波、秦川、李 晓莉、钟赛飞，和他们的相处是坦诚而相互促进的。感谢王骋，谢谢。 感谢在文献中所有列出和未被列出的作者。 作者柴斌 2 0 0 4 年4 月2 日 第一章绪论 1 1 联合编码研究背景 1 1 1 通信系统模型 “信息论”或者称为“通信的数学理论”，是研究信息的传输、存储和处理 的科学。作为一门严谨、庞大的理论体系，虽然其枝蔓众多、内容丰富，但如 何提高信息系统的有效性和可靠性，却始终是它的中心课题 1 1 。 通信的根本目的是将消息有效而可靠地从信源传到信宿，其一般的模型可 由图1 1 概括。编码器的作用是对信源发出的消息进行某种变换，这种变换既 能有效地表达信源发出的消息，又能较好地克服信道噪声的干扰。而译码则是 编码的反变换，译码器要从受到干扰的信号中最大限度地提出有关信源输出的 信息，在信宿端精确或近似地再现信源发出的消息。长期以来，有效性和可靠 性作为一个矛盾统一体中的一对矛盾，形成了一种相互割据的局面，从而衍生 出信息论的两大分支理论一一信源编码理论和信道编码理论。 r 厂 厂_ 广 厂 信濠卜- 爿信源编码器卜_ 4信道卜吲信道编码器卜i 信宿 - j1 j 【_ j i 、j1 _ j 图11 通信系统框图 信源编码的目的在于提高系统的有效性。信源编码器的任务是根据一给定 的失真要求对信源空间实行划分，并给每一划分空间以不同的代码，即码字。 信源译码器的作用在于根据收到的码字，确定出它在信源划分中所属的区域。 显然，精确度要求愈高，即失真愈小，对信源的划分就要愈细，因而为表示信 源信息所需的码字就愈多，其相应的码长也就愈长。对一给定的信源，在失真 度确定的条件下，使失真满足要求所需的最低信息速率是多少? 或在信息速率 确定的情况，系统所能达到的最小失真是多少? 这是信源编码器理论所关心的 中心问题。 信道编码理论则以提高系统的可靠性为核心，它刻意追求的是寻求一种适 当的编码手段，在一定的传信率条件下，将消息以尽可能小的错误概率从信源 传到信宿。当然，不能说信道编码理论与系统的有效性毫无关系，但它所关心 的有效性只是尽可能有效地利用信道的传输能力，而并非有效地表示信源发送 的消息。在这个研究范畴内，信源都是经过某种最佳处理不含有任何多余信息 的理想信源。信道编码定理指出：对一给定的信道，如果所传的信息速率低于 信道容量，那么可靠通信是可能的；反之，则不然。 在信息论四十多年的发展历史中，信源编码理论和信道编码理论几乎一直 处于一种相互独立、相互分离的状态，各自围绕着其所关心的问题独立地进行 研究和发展，这就使得一个通信系统基本上形成了一种信源编码和信道编码分 离设计的格局。 1 1 2 信源编码和信道编码长期分离的原因 信源编码和信道编码长期分离的格局之所以能够存在，并能得到迅速的发 展，必然有其内在的原因【9 】。 1 分离研究可以使问题得到简化。 将一个复杂的问题分成若干个相对简单的问题而分别进行研究的方法，是 科学发展史上惯用的一种行之有效的方法。信源与信道因素的相互分离，使得 信源编码理论和信道编码理论各自所关心的问题得到了极大程度的简化。五十 年代初，随着以h a m m i n g 码为代表的构造编码理论的提出，信道编码理论开始 有了飞速的发展，形成今天的这样一种以代数及代数几何理论为基础的相当完 美的理论体系。七十年代初，随着信息率一失真理论( 简称率失真理论) 和数 据压缩技术的发展，信源编码理论也得到了极大的充实。所有这些结果的取得， 归根结底都应归工于这种分离处理的研究方法的采用。 2 分离处理不影响系统的最佳性能 一般而言，将一个问题分解成若干个子问题的分解方式是不唯一的，而只 有那些保持了问题的本来面目的分解方法才是有意义的。从信息论的观点来看， 信源编码和信道编码的相互分离与独立之所以可能并得到迅速发展，其根本原 因还在于这种分离方法并不损失系统的最佳性能。因此，这种研究方法不失一 般性。关于这个问题，可以举一个例子来说。 对于任一离散无记忆信源的分组码信源编码系统，假设信源编码器将信源的输 出序列以长为单位，变换成k 长的码字，此时信源编码系统的编码速率为 r 。= 尝。根据有失真时的分组码信源编码定理，对一任意给定的失真d ，如果 r 。 r ( d ) ( r ( d ) 为信源的信息率一失真函数，简称率失真函数) ，则必然存在 一分组码b 。，使得信源编码系统的平均失真满足 d ( b c ) d + d o e 一矗( 凡，。 ( 1 1 ) 这里d 。为单一字母对之间的最大失真量，为一有限常数。当r 。 r ( d ) 时， b 。；d ) 0 。 对于信道容量为c 的离散无记忆信道，如果信道编码采用( n ，k ) 分组码，则 l 信道编码系统的编码速率为耳= i i i , 。由信道编码定理的结果可知，当耳 0 。 将上述两个系统按图1 1 所示级联在一起，则系统总的编码速率为r = 导。 k 对于信源发出的任何消息，若信道编码系统没有发生错误，此时的失真将由 d ( b 。) 决定；如果发生了错误，其失真也不会超过d 。，因此，级联系统的平均 失真为 2 d 慨，眈) d 慨x l e c ) + d o e o ，、 d + d o e - n e s ( r s ；o ) + d o p 一月k ( ) l 1 j j 因为，当月( d ) = 专时，即n c 七 姗p ) 时，b ，；d ) o ， e 。( 如) o 所以，当r c r ( d ) 时，总能找到一对b s 和b 。，使得e 。0 。；d ) o 及 e 。( r 。) 0 。此时，只要固定r 不变，随着的增加，级联系统的平均失真将 逐渐收敛于信道容量意义上的失真率限d ( r c ) 。这也是系统所能达到的最佳性 能限。 i 1 3 信源信道联合编码研究的意义 从前面的讨论不难看出，信源编码和信道编码的枢互分离与独立，有其不 容置疑的优越性。那么，联合编码研究的意义何在? 从辨证的观点看，由分解到综合，再分解，再综合，循环往复以至无 穷，而每一次循环的结果都使得事物发展到一个更加完美的境界，这是事物发 展所遵循的种普遍规律。从八十年代初开始兴起的t c m 技术就是一个很好的 旁证。 分离编码也好，联合编码也好，其最终关心的都是系统的整体最佳性。信 息处理定理指出，对于信息系统而言，对观测数据所作的任何处理都会造成信 息的损失。这就是说，系统每增加一次处理，总要伴随着一定的信息损失，信 息总是不增的。然而分离编码的结果并没有损失系统的最佳性能，那么它必定 要付出某种代价来作为补偿。正如g a l l a g e r l 9 6 8 年指出的那样，虽然信源编码 与信道编码的分离并不影响通信系统的基本性质，但并不能说明这是一种最经 济的作法。由分离最佳最终达到系统最佳，必然要以系统的复杂性为代价。分 离设计通常遵循这样一种过程：1 ) 对一给定的失真要求，首先要找到一种能达 到这种失真度的信源编码方法，即信源空间的划分方式。2 ) 根据信道的情况， 选择一个合适的信道纠错码，有规律地增加一些冗余度来抗拒信道噪声的干扰。 实际上，如果信道的情况太差，对信源空间划分的过细，反而是一种浪费。拿 一个极端的情况来说当信道容量为零时，即使对信源划分的再细，信道码的 冗余度再多，信宿也无法得到信源发送的任何信息。此时，一切工作都是浪费， 最简单的莫过于对信源不作任何划分。由此可见，如果不综合地考虑信源、信 道的因素，对通信系统的设计势必要付出一些不必要的代价。 综上所述，可以给信源一一信道联合编码下这样一个简单的定义：所谓信 源信道联合编码，顾名思义就是一种综合考虑信源、信道因素的编码设计方法。 其主要目的在于使通信系统的设计与实现更加简单、更加经济，这也正是联合 编码理论研究的意义所在，正是处于这种原因，近年来，对联合编码的研究逐 渐受到了人们的广泛重视。使之成为编码理论研究中的一个重要课题。 1 2 信源信道联合编码的研究概况 1 2 1 信源信道联合编码适用情况 随着通信网络的发展，在以下四种情况下，应用信源信道联合编码的系统 可以得到更好的效果【。0 】。 1 资源受到限制的通信系统。 资源有限包括数据传输时的速率和带宽限制，低成本系统所要求的复杂度 限制，便携设备的功率限制，实时系统的延时限制。其实，实际环境总是有这 样或那样的限制。信源信道联合编码会从整体出发在各种资源之间进行最优分 配，从而获得端对端的系统性能的最佳。 2 多用户共享信道的通信系统，比如包交换的数据网和蜂窝移动通信系统。 在这种系统中，多个用户通过统计时分或者码分等复用方式共享信道，一 个用户的信源信息，可能就是另一个用户的信道噪声。在多用户接入下信源编 码和信道编码无法独立进行，信源信道联合编码可以用来减少用户间的干扰， 提高系统整体性能。同时，信道容量的充分利用可以在信源编码和信道编码分 别独立进行的情况下实现。但在多源接入信道下这一结论不成立。 3 异质信源、异类信道或异种用户共存的通信系统。 异质信源( h e t e r o g e n e i t y ) 产生于多媒体通信，在这里指不同种类的数据。 它们对于信道误码和传输延时的要求很不一样，此时应当对不同的信源采用不 同的差错保护方式。异类信道是指同一通信网下的不同信道可能具有不同的信 道质量，它们的速率、误码率、时延或时延抖动相差很大，此时根据信道的特 性采用分层编码或多分辨率方式的信源编码有可能取得较好的效果。异种用户 是指同一通信系统中的不同用户的服务质量要求不同。此时也需要对多个用户 的信源和信道编码折衷考虑，优化资源分配，以满足所有用户的服务质量要求。 4 信源、信道具有时变特性的通信系统。 此时由于不太可能获得信源和信道的先验概率分布，分离方式下最佳的信 源编码和信道编码设计可能是不可实现的。而如果在编码设计时采用最保守的 方法，即确保在最坏情况下的正常通信，又会给通信资源带来很大的浪费，而 采用自适应联合优化的方法，使得信源编码和信道编码与信源和信道特性相匹 配，有可能提高系统的容量。 1 2 2 信源信道联合编码研究进展 目前，国内外对于信源信道联合编码研究主要在以下三个方面展开：基本 理论的研究，设计方法的研究和实际应用方面的研究。 1 信源信道联合编码基本理论研究 过去对信源信道联合编码的理论研究主要集中在它的存在性，即它存在与 否及存在的条件的问题上。目前，对于较为简单的情况，如无记忆平稳信源， 4 各态历经信源和离散无记忆信道，联合编码的“存在性”问题已有了一定结果 p j ，但对于更加复杂的情况这个问题还有待研究。同时联合编码的性能极限也 是需要研究的问题。 现在信源信道联合编码的理论研究主要集中在两方面。一是理解质量、延 迟、计算复杂度、信道利用和消耗功率之间的关系。质量指初始数据和还原后 的数据之间的差异；信道利用指的是每个数据样本用到的信道数量，信道带宽 和信道的信噪比。只有全面理解它们的关系，才能给出目标函数，进而采用合 适的编码方法，使系统在整体性能上达到最优。二是如何评估联合编码。对联 合编码进行评估，需要明确理解对系统整体性能的要求，然后根据联合编码在 各种情况下的性能极限，作出相应的性能判决。 2 信源信道联合编码的具体设计方法 信源信道联合编码的具体设计方法是这个研究领域中最受关注的问题，很 多学者在这方面做了大量工作。当前关于信源和信道联台编码的设计方法的研 究大致有以下几种：基于信源优化的信道编码设计，基于信道优化信源编码， 迭代优化信源和信道编码以及信源信道的联合译码： ( 1 ) 基于信源优化的信道编码设计 在基于信源优化的联合编码设计中，信源编码设计时并不考虑传输错误， 而是在设计信道编码或调制方案时针对该信源编码和信道特征进行优化，以减 小端对端的失真。在这一方面，先导性的工作是由m o d e s t i n o 和d a u t 对图象的 d p c m 编码来优化设计卷积信道编码开始的【1 。随后针对图象的分块余弦变 换，m o d e s t i n o 等提出了对变换系数中具有较高重要性的系数单独加差错保护 的方法】。在文献f 1 2 中，提出了针对图像子带编码优化信道编码的方法。 ( 2 ) 基于信道优化的信源编码设计 与基于信源优化信道编码不同，在基于信道优化的信源编码设计中，信源 编码器将源字( 由源字符组成的矢量或标量) 映射到有待传输的二进制字符串 上，使得信源编码本身对信道错误具有一定的抵抗力【1 3 ，1 4 l 。 ( 3 ) 迭代优化信源和信道编码 迭代优化信源和信道编码是将信源优化设计信道编码或调制与信道优化设 计信源编码通过迭代算法结合起来，从而获得编码方案联合优化的第三种方法 【1 5 ，16 。 ( 4 ) 信源信道联合译码 按照香农的信息理论，信源端的任何冗余度都可以在解码端利用来抵抗噪 声，这也正是信源和信道联合译码的理论基础。此处的信源端的冗余度，可以 指实际信源的某种特性，也可能指信源编码后码流中的相关性。前者比如图像 中的邻域相关性，或者是人的视觉和听觉系统的特性；后者主要指编码输出码 字的不均匀分布和记忆性。文献【j8 】 1 9 】在分析了静止图象d p c m 编码方式后 残留冗余度的基础上，提出了利用该冗余度进行鲁棒解码的方案。文献【2 0 】利 用算术编码中为一个符号保留空间可提供极好的差错检测能力的特性，提出了 采用两个连续解码器的结构，可获得很好的包丢失数据恢复能力。 3 编码器结构 以上是从应用联合编码的思想的方式的角度来说的，从具体的编码器的结 构来说，联合编码的编码器有两种。一种是合并式编码器。这种编码器的信源 和信道编解码器是真正集成在一起进行的，表面看来省略了信道编码器，但信 源编码中已包含了信道编码的功能。这一类编码器设计起来较为复杂，目前已 不是研究的重点。另一种是级联编码器，它与传统编码器结构类似，将信源编 码器和信道编码器串联起来。这类编码器的设计问题简单来说就是比特分配问 题。给定总的比特率r = r s + r c ( r s 是信源编码速率，r c 是信道编码速) 和系 统的情况及要求，在r s 和r c 中进行最优化的比特分配【2 ”。大部分联合编码的 设计方法是以这种编码器结构为基础进行设计的。 4 信源信道联合编码在实际中的应用 联合编码研究的最终目的还是为了在实际系统中获得应用，用信源信道联 合编码理论和设计技术来解决实际问题。完成这个目标的一个难题是网络协议 是把链路层和应用层分开的一一这是种独立形式的方法。与此相反，信源信 道联合编码本质上涉及到链路层和应用层的相互关系。信源信道联合编码需解 决的一个问题就是找到一些方法让应用层通过网络到达链路层，另一个挑战就 是用信源信道联合编码来改变协议设计。 1 2 4 信源信道联合编码在近年来的研究热点 自1 9 8 7 年m a r c o n i 首次展示了无线电的通信能力以来，无线通信取得了惊 人的发展，现在无线移动通信已经是人们主要通信方式之一，随着通信的发展， 人们对图象、视频传输的需求越来越大，要求也越来越高。无线网络是一种多 用户共享的网络，具有资源有限，时变，异质，易受干扰，误码率高等特点， 图象、视频的信息量又非常大。基于分离原则的编码绝对无法适用无线视频编 码的复杂情况，而联合编码在这方面则大有可为。近年来，在联合编码的设计 方面很多工作是针对在无线信道上图象和视频的传输来展开的。下面介绍近年 来的一些研究热点。 1 分层编码 分层编码是目前较受关注的一种信源信道编码。它相当于基于信源优化信 道设计编码。在分离原则中，信道编码不考虑信源编码的意义，信道编码对信 源编码器送出的码流进行同等保护。分层编码是把信源编码分成几个部分：最 重要的部分( m s p ) 和次重要的部分( l s p ) 【2 2 1 。m s p 包含图象中粗糙的但对 于识别图象很重要的信息，l s p 部分包含提高图象质量所要求的更精细的信息， 在信道中可以对m s p 部分重点保护。用这种方法，不仅可以提高图象传输对信 道的适应力，还可以适应网络的q o s 要求，对不同同户实行不同质量的传送。 图象分解可用小波变换( d w t ) 和离散余弦变换( d c t ) 等。现在多采用d w t 分解，一级d w t 把图象分解成一个近似子图象和包含水平、垂直、和斜线细 节的子图象。这个近似子图象或细节子图象可以用d w t 被进步分解。经过 d w t 分解后，一个图象被分成几个层次，这些层次对应着不同的不同的频率范 围，人眼对这些不同的频率范围有不同的敏感度。近似子图象的编码信息包含 了原始图象最重要的能量，把它放入m s p 包中，细节编码放入l s p 包中。 2 采用t u r b o 码的信源信道联合编码 采用t u r b o 码的信源信道联合编码近年来也受到广泛关注。t r u b o 码是信道 纠错码的一种，它又称并行级连卷积码，是c ，r e r r o u 等1 9 9 3 年提出的它巧 妙地将卷积码和随机交织器结合在一起，实现了随机编码的思想，同时采用软 输出迭代译码来逼近最大似然译码。多次迭代后的误比特率达到了近s h a n n o n 限的性能，这一超乎寻常的优异性能，立即引起信息与编码理论界的轰动，成 为近年来倍受瞩目的一项新技术，在第三代移动通信体制中，非实时的数据通 信已经采用了t u r b o 码【2 3 】。近年来许多研究工作者在信源编码和t u r b o 码联合 编码技术方面做了大量工作。 3 ，多描述编码 还有一种适应研究较多的联合编码：多描述编码。多描述编码和分层编码 不同，它是将信源编码为若干个独立的码流。这些码流可以通过不同的信道传 送给接收端。接收端获得其中的任何一个码流都可以通过边解码器在一定失真 范围内恢复原始信源，即得到对原始信源的一个描述；如果接收端可以同时得 到两个或两个以上的码流描述，则可以通过中央解码器得到更为精细的信源描 述。 1 3 主要工作及论文安撵 论文第二章介绍编码的基本理论知识。第三章和第四章主要介绍具体的编 码方法。第三章针对算术编码易受传输错误影响的缺点做了一些改进，讨论了 一下联合编码的思想。第四章以分层编码为基本思想，设计了一个编解码方案 并对它的性能做了讨论。最后在第五章讨论了一下联合编码的前景和研究方向。 第二章编码理论基础 2 1 传统信息论的编码理论知识 2 1 1 信源与信道 如图2 1 所示，通信系统一般由信源、信道和信宿三部分组成，它用来传 输信息。信息的载体可以是图象、声音、文字等等，但实质上，信息就是一种 不确定性。通信后收信者从未知变为已知，消除了某种不确定。信息的多少用 信息量来衡量，信息量与事件发生概率有密切关系，下边将会介绍其具体的计 算方法。 广 厂 r _ 信源 _ 一信道卜一信宿l 1 j 【一【，一 图2 1 通信系统 信源就是信息的源泉，含有一定的信息，具有随机性，以一定的概率发出 各种不同的符号。若信源是由有限或无限可列个取值离散的符号( 如文字、字 母、数字等) 组成的离散集合，则这种信源称为离散信源。如果信源输出的消 息是时间和取值都是连续的函数，则这种信源称为连续信源。下边介绍几种信 源。 ( 1 ) 单符号离散信源 单符号离散信源是最简单的离散信源。用离散随机变量z 来表示这个单符 号离散信源；x 的可能取值就是信源可能发出的各种不同符号，其状态空间就 是信源可能发出的各种不同符号组成的集合x ：扛，l 2 c “ ，a ， ；x 的概率分布， 就是信源发出各种不同符号的先验概率，其概率空间就是信源发出各种不同符 号的先验概率组成的概率空间p ：扫0 1 p 0 ：x ，p ( a ，) 。所以这个单符号离散信 源的数学模型可完整地表示为表示其数学模型为 防叫高：未。) 如c 1 2 ) i 如a r ) 眩，) 其中 0 p 0 ，) 1 p ( o ，) = 1 ( f = 1 , 2 ，r ) 防尸 称为信源x 的“信源空间”。不同的信源对应不同的信源空间，如信源给 定，这就意味着相应的信源空间已经确定。反之，如果信源空间已经确定， 就意味着相应的信源已经给定。 为 - - + 符号- ( q ) 所携带的信息量用，( 口，) 表示， ，o ，) 乩s 南 称为自信息量，其计算公式 ( 2 2 ) ， ) 的单位取决于对数的“底”。以2 为底时，( 口，) 的单位为“比特”；以e 为 底时，如，) 的单位为“奈特”；以1 0 为底时，0 ) 的单位为“哈特”；若以正 数“r ”为底，( 口) 的单位为“r 进制信息单位”。本论文中，如不加以说明， 采用以“2 ”为底的对数。式2 2 称为信息函数，它的导出在人类历史上第一次 解决了信息的度量问题，是信息理论发展史的里程碑。 能作为信源总体信息测度的确定的量，应是信源x 可能发出的各种不同符 号口i ( f = 1 , 2 ，r ) 含有的自信息量，如。x f = 1 , 2 ，) 在信源的概率空间 p ( a ，l p ( 日：l ，p ( a ，) 中的统计平均值。我们把这个统计平均值计为h 瞳) ，即有 日伍) = p ( 口，) ，0 ，) + p 0 ：l ，0 ：) + + p ( 口，) ，0 ，) = 一p 0 ，) l o g p ( a 。) “川 i = l 我们称h ) 是信源x 的“信息熵”，表示信源x 每发一个符号所提供的信息量。 它的单位取决于对数的底，若以2 为底，单位是比特，信源符号。 ( 2 ) 多符号离散平稳信源与信道 单符号离散信源的基本特征是一个信源符号就代表一个完整的消息，而多 符号离散信源由一系列离散符号组成的时间( 或空间) 序列来表示。如果每个 离散符号都是取于且取遍于同一符号集x ： 口1 ，以，t ；， 的，那么多符号离散信源 可看作单符号离散信源每单位时间发出的离散信源符号组成的时间序列。因 此多符号离散信源是一个随机矢量x ，它可用随机变量丘组成的时间序列来 表示 x = x 。x 2 x 女( 2 4 ) 如果信源的概率分布与时间无关，时间的推移不引起信源统计特性的变化， 即设p ，r 为两任意时刻，若有 p 慨) = p ( x ，) p e d x 。+ l j = p 噬r x n )、 p 。x 0 + l x 。+ 。) - p ( x ，x 。x 。) 则我们把这种信源称之为n 维离散平稳信源。 符号集为x ：如，口：，口， 的n 维离散平稳信源x = x 。x ：x 。的信源空间 刚- 筋：最。) 茹：) ：最) 亿s ) 其中 口， i l ，i 2 ，一，n = 1 , 2 ，一， f - 1 ，2 ，r ” o p 0 ) = p q 。d ，：口。) l ( f = l ，2 ， 9 既 ：。p q 芒 州 i i ， 口 ” 口a p 0 帆口j ) = 1 这就是描述维离散平稳信源孑= x 。x ：x 。的数学模型1 ”。 维离散平稳无记忆信源x = 墨x 2 z 。可看作是离散平稳无记忆信源x 的n 次扩展信源，记为肖”= x 1 五x 。它的信息熵日恤”) = h 伍。x ：x 。) 等 于各时刻随机变量置 = l ，2 ，) 的信息熵h 帆酝= 1 , 2 ，) 之和，七时刻随机 变量墨忙= 1 , 2 ，n ) 的信息熵h 肛。炽= 1 , 2 ，v ) 均等于离散平稳无记忆信源 的信息熵。 日阮) = 一p 0 。) l o g p ) = 一p ( a , ) l o g p ( a 。) = ( z ) ( 七= 1 , 2 ，n ) ( 2 7 ) h ( x “) = h 伍x 2 x 。) = n h ) ( 2 8 ) n 维离散平稳有记忆信源i = x ，x ：x 。的信息熵( _ ) = 暖，x ：x 。) ，等 于离散平稳有记忆信源z 起始时刻的信息熵j v ( 蜀) ，加上1 ，2 ，( 一1 ) 等各维条 件熵之和。 防) = h 似。) 十日伍：x ) + h 伍，五工：) + + h 伍。蜀x ：x 。) 我们把维离散平稳有记忆信源x = x ，x ：x 。某时刻前己知的随机变量个数， 称为离散平稳有记忆信源z 的记忆长度，离散平稳有记忆信源的“有记忆”特 性使离散平稳有记忆信源x 每发一个符号提供的平均信息量随着记忆长度的 增长而减小。对于离散平稳有记忆信源z 来说，因为有记忆，所以在不同时刻 所发符号提供的平均信息量是不同的，那么，平均符号熵 h 。= 日。讧，x 2 ；- - 鼻。) = 些掣 ( 2 9 ) v 就成为评估n ( 特别当一0 0 时) 维离散平稳有记忆信源爿= x ，x ，x 。，提供信 息能力的一个测量标准。平均符号熵。【_ j 当记忆长度( n - 1 ) ( 即n ) 足够大 时的极限值 日。= 3 j mh ，( x ，x ：“) = l i m - 去- h ( x ，五x 。) ( 2 1 0 ) _ 作为离散平稳有记忆信源j 每发一个符号提供的平均信息量的测度函数，作为 一个离散平稳有记忆信源x 提供信息的能力的衡量标准。我们把极限值日。称 为离散平稳有记忆信源x 的极限熵。 对于记忆长度足够长的( n 哼0 0 ) 的离散平稳有记忆信源x ，其极限熵 h 。等于条件熵扭，鼻。置x 。) 在n 弓m 时的极限值。 也= l i m h 憎j i l i m h x i x 2 x )( 2 1 1 ) o _ 这在实际计算中是相当困难的，但对于某些特殊的离散平稳有记忆信源，如马 尔可夫信源可求得其极限熵。 ( 3 ) 单符号离散信道 ， = 、jqp 一n 性 单符号离散信道是最简单的离散信道，如图2 2 所示。 a l a 2 ： a r 图2 2单符号离散信道 用一个信道矩阵【p 作为数学模型，来完整地描述单符号离散信道的传递特 d ， b k 口： a ， b lb 2 一b ， p ( b 。a 。) p ( b ：a ) p a ，) p ( b 。a ：) p ( b ：a ：) p ( b ，a ：) p ( b a ，) p ( b ：a ，) p ( 6 ，a ，) ( 2 1 2 ) 其中x ：a ：，口：，q 是输入符号集；y ：眠，b ：，b ， 是输出符号集； p ( 6 ) 口( x f - 1 , 2 ，r ；j = 1 , 2 ，s ) 是传递概率，表示在q 出现的前提下出现b ，的条 件概率。 不同信道有不同的性质，要研究信道的性质先理解交互信息量，h ；b ，) 和平 均交互信息量i ( x ；y ) 的概念。 ，【口，一) = 信宿收到6 j 前对信簿发口，的先驻不确定性，( 口，) 一信宿收到6 后对信源发符号4 ，仍然存在的后验不确定性，( oj ，6 j ) 2 1 。8 两可一1 。8 两可耵 “p ! 竺2( 2 1 3 】 。 p 【o f j 平均交互信息量1 ( x ；】，) 是信道每传递一个符号所传输的平均信息量，是交互信 息量，( 口。；6 ，j 在和的联合概率空间p ( 打) ：扫( 口。0x f = 1 ，2 ，r ；_ ，= 1 ，2 ，s ) j 中的统计 平均值，即 j ( 工；y ) = p ( 6 ，q p 侈，；研) ( 2 1 4 ) i = 】，；l 传递概率固定的给定信道的平均交互信息量是输入信源的概率分布 p ( 函) 的n 型凸函数，具有极值性，一定能找到一种信源的概率分布，使平均交 互信息量达到其极大值c c = 黼i ，伍；y ) ) ( 2 - 1 5 ) 定义c 为信道的信道容量。它是信道传递一个符号所能传递的最大信息量，是 信道自身的特点，能使平均交互量达到信道容量c 的信源称之为匹配信源。如 已知信道每传递一个符号需要r 秒时间，则信道每秒钟能传输的平均交互信息 量称之为信道的信息传输速率，信道的最大信息传输速率为e c f ：c = m a x f 趔l ( 2 1 6 ) t l t j ( 4 ) 多符号离散无记忆信道 如图2 3 所示，把多符号离散信源与信道相接，其中i = x ，x ：x 。是信道 的输入，x ：“，口：，q 是输入符号集；f = e 是信道的输出， y ： 6 。，b ：，6 ， 是输出符号集。这个信道我们称为单符号离散信道的次扩展 信道，如果它的传递概率p 【- ，zj 等于单符号离散信源的传递概率p ( y j ) 的n 次连乘 , t r x j ：p ( r l e ki x l 五) ：f 1 p 五) ( 2 , 1 7 ) k = l 则这个信道称为次扩展离散无记忆信道。 届 o e 7 ：忖 i = l ，2 ，一j = l ，2 s “ 图2 3 多符号离散信道 输入随机矢量x = x ，x ：x 与输出随机矢量y = 一e y 之间的平均交互 信息1 】 ，e ；y j - 1 ( x 1 x 2 x ；i k j ) 、 = 喜秘, 0 j ) 1 。g 剖 但1 8 ，= l ，= l，、尸， n 次扩展离散无记忆信道的总体平均交互信息量，( _ ；】，) ，一定不会超过离 散无记忆信道传递离散无记忆信源防p 】的平均交互信息量l ( x ；r ) 的n 倍，即 ，怔；yj n i 忱；“ n c( 2 1 9 ) 次扩展离散无记忆信道的信道容量用c 。表示 c 。= n c( 2 2 0 ) 2 1 2 香农三大定理 通信的根本任务是有效、可靠地传输信息。用信源、信道的基本理论，分 析信息传输过程，寻求既有效、又可靠地传输信息的途径和方法，是信息论这 门学科的重要使命。 要把信源发出的消息所携带的信息，高速度、高质量地通过信道传送给接 受者，从一般概念来说，存在三方面需要加以解决的问题：第一，信源发出的 消息( 符号) 有可能不适合信道的传输。解决的方法就是把信道能传输的符号 集作为码符号集，对信源能发出的每一种符号进行一一对应的无失真编码，这 就是所谓的无失真信源编码。第二，解决第一个问题后的第二个问题就是希望 肌西肼 吃 “一 信道能尽快地传输信源发出的消息( 符号) ，也就是说用尽量少的能传输的符号 来代表每一个信源发出的消息( 符号) ，即考虑信源编码的有效性。第三，在无 失真信源编码编出来的有效码输入信道之前，加入适当的抗干扰功能，防止噪 声带来的误码，这就是所谓的有噪离散信道编码。 无失真信源编码定理( 香农第一定理) ：设离散无记忆信源z 的熵为h 伍) ， 离散无噪信道的信道容量为e ，则信源工的无失真信源编码在无噪信道上的平 厂，、 均信息传输速率的限度为每秒【看南一8 j 个信源符号( 其中占是任意小的正 ，、 数) 。要使平均信息传输速率大于l 吾南一占l 是不可能的口1 。 、i ， 抗干扰信道编码定理( 香农第二定理) ：设某信道有r 个输入符号，s 个输 出符号，信道容量为c 。当信道的信息传输率r 0 ) ，以及任意足够长的码字长度，则一定存在一种信源编码 ，其码字个数 ms e x p 忸) + j ( 2 2 1 ) 而编码后码的平均失真度 五( 矿) s d + ( 2