（信号与信息处理专业论文）基于不等差错保护的信源信道联合编码技术的研究.pdf

基于不等差错保护的信源信道联合编码技术的研究 摘要 本文主要介绍了作者在信源信道联合编码( j s c c ) 方面所进行的一些研究工 作。重点研究了基于不等差错保护思想的信源与信道联合编码的设计。 本论文首先对与信源信道联合编码方案设计相关的一些必要背景知识作了 简要介绍。 接着，论文用两章对基于不等差错保护的信源信道联合编码设计方法进行 了深入的研究。第四章提出了一种基于分层编码和不等差错保护思想的联合编 码方案。本文采用的信源编码是目前研究比较多的基于小波变换的图像编码方 法。针对信源编码的特性，采用码率可调删余卷积码( r c p c ) 作为信道编码， 对重要程度不同的数据采用不平等的纠错保护。实验表明此方法可以改善信源 编码后的数据流对比特差错非常敏感的不足。 第五章针对信源与信道编码各自的特点，提出了一个采用s p e c k 信源编码 器和改进的t u r b o 码信道编码器联合实现对信源数据的不等差错保护的联合编 码方案。这里重点研究了t u r b o 码，它的性能可以达到与s h a n n o n 限相差仅在 0 7 d b 以内。这部分中提出的信源信道联合编码方案中，信源编码仍采用基于 小波变换的图像编码方法，而在信道编码中利用了t u r b o 码，因为它也具有不 同码率的特性，因此可根据渐进压缩图像数据的重要性进行不平等的纠错保护。 这种方案充分利用了信源编码后的数据流的特性，使误码率与码长达到了一个 较好的平衡。实验结果表明提出的方案不仅能够在较高的压缩比下得到较高的 峰值信噪比，并且由于t u r b o 码的优异性能使得图像在较低信噪比条件下仍具 有较强的鲁棒性。 关键词：信源编码：信道编码；信源信道联合编码；t u r b o 码；不平等差错保 护( u e p ) r e s e a r c ho fj o i n ts o u r c e c h a n n e lc o d i n g7 i e c h n i q u eb a s e do n u n e q u a le r r o rp r o t e c t e d a b s t r a c t t h i sp a p e ri sm a i n l ya b o u tm yr e s e a r c honj o i n ts o u r c e - c h a n n e lc o d i n g ( j s c c ) t h i st h e s i sp u t si m p o r t a n c eo nd e s j g n i n gj o i n ts o u r c e c h a n n e lc o d i n gs c h e m eb a s e d o nl a y e r e dc o d i n ga n du n e q u a le r r o rp r o t e c t e d f i r s t l y ， t h ep a p e rg i v e sab r i e fo v e r v i e wo ft h en e c e s s a r y b a c k g r o u n d k n o w l e d g ei n v 0 1 v e di nd e s i g n i n gj s c cs c h e m e t h e n ，t h ef o l l o w i n gt w oc h a p t e r si n v e s t i g a t et h eu n e q u a le r r o rp r o t e c t i o n - b a s e d j s c cs c h e m e si n d e p t h c h a p t e r4p r e s e n t s aj o i n ts o u r c e - c h a n n e lc o d i n g a p p r o a c hb a s e do nl a y e r e dc o d i n ga n du n e q u a le r r o rp r o t e c t e d s o u r c ec o d i n gi n t h i sp 印e ra d o p t si m a g ec o d i n gb a s e do nw a v e l e t a c c o r d i n gt ot h ep r o p e r t yo f s o u r c e c o d i n g ， t h i s p a r tp r o p o s e su n e q u a le r r o rp r o t e c tu s i n g r c p c( r a t e c o m p a t i b l ep u n c t u r e dc o d i n g ) f o rt h ep r o g r e s s i v ec o m p r e s s e dd a t aa c c o r d i n gt o e r r o rs e n s i t i v e n e s s s t u d i e ss h o wt h a tt h em e t h o dc a ni m p r o v e st h ei i m i t a t i o no f c o m p r e s s e dd a t at oe r r o rs e n s i t i v i t y c h a p t e r5p r e s e n t s aj s c ca p p r o a c hb a s e do ns p e c ks o u r c ec o d e ra n d r e v i s e st u r b o c o d e sc h a n n e lc o d e ra c c o r d i n gt ot h ec h a r a c t e r i s t i co fs o u r c ea n d c h a n n e lc o d i n gt op e r f o r mu n e q u a le r r o rp r o t e c t e df o rt h es o u r c ed a t a t h i sp a n p u t si m p o r t a n to nt u r b o - c o d e s t h ep e r f b r m a n c eo ft u r b o - c o d e sc a na p p r o a c h w i t h i n0 7d bo ft h es h a n n o nb o u n d s o u r c ec o d i n gi nt h i ss c h e m ea l s oa d o p t s i m a g ec o d i n gb a s e do nw a v e l e t t h i sp a r tp r o p o s e su n e q u a le r r o rp r o t e c tu t i l i z i n g t h ep r o p e r t yo fr a t ec o m p a t i b l et u r b o c o d e sf b rt h ep r o g r e s s i v e c o n l p r e s s e dd a t a a c c o r d i n gt oe r r o rs e n s i t i v e n e s s t h i ss c h e m eu t i l i z e st h ep r o p e r t yo fc o m p r e s s e d d a t aw h i c hg e n e r a t e di no r d e ro fi m p o r t a n c ea n dg e t sb e t t e rb a l a n c eb e t w e e nb i t e r r o rr a t ea n dc o d e1 e n g t h t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e d s c h e m ec a ng e th i g hp s n r ( p e a ks i g n a ln o i s er a t i o ) i nh i g hc o m p r e s s i o nr a t i oa n d p r o v i d et h es t r o n gr o b u s t n e s st ot h ei m a g ei nl o ws n rb e c a u s eo ft h es u p e r i o r d e r f o r m a n c eo ft u r b o - c o d e s k e y w o r d s ： s o u r c e c o d i n g ； c h a n n e l c o d i n g ； j o i n ts o u r c e c h a n n e i c o d i n g t u r b o c o d e s ；u n e q u a le r r o rp r o t e c t i o n 合肥工业大学 本论文经答辩委员会全体委员审查，确认符合合肥工业大学 硕士学位论文质量要求。 答辩委员会签名：( 工作单位、职称) 主席： 锄知耄磊缝 萋灰努伽勰擞 彩1 1 l 庄巧铆记班卜矽7 苏瑷 善扪讫别救五再蟊文， 襻觥技 扮羚 彳 插图清单 图1 1 数字通信系统基本模型2 图1 2 图像变换编码步骤框图3 图2 1 平均互信息与各类熵之间的关系7 图2 2 联合编码系统框架1 0 图2 3 多描述编码的理论模型1 4 图3 1 离散小波变换滤波器组一1 7 图3 2 图像的三级小波分解1 7 图3 3f l w t 原理图s ：分裂p ：预测u ：更新m ：合并2 1 图3 4 将图像羔分解为集合羔和土2 4 图3 5 集合s 的分裂2 6 图3 6 集合i 的分裂2 6 图4 1 循环冗余校验码( c r c ) 的结构3 0 图4 2 码率为2 3 的删余卷积码的生成示意图3 2 图4 3 比特流结构3 4 图4 4 头信息结构3 4 图5 1t u r b o 码编码器结构框图3 9 图5 2 码率为1 2 ，生成多项式为( 1 ，2 1 ，3 7 ) 的r s c 编码器电路图3 9 图5 。3n 曲。码译码器结构框图4 1 图5 4 软输入软输出s i s o 译码框图。4 2 图5 5 信源信道联合编码系统框图4 6 表4 1 表4 2 表5 1 表5 2 表5 3 表5 4 b e r = o 0 1 时的仿真结果 b e r = 0 0 0 1 时的仿真结果 表格清单 e e pe b n o = 1 0 d b 码率r = 1 2i t e r = 8 各帧误比特率( b e r ) e e pe b 悄o = 1 o d b 码率r = 1 2i t e r = 8 各帧误比特率( b e r ) u e p 既w 俨1 0 凹f 招r = 8 5 各帧误比特率( b e r ) u e p 毋萨0 7 d 8 妇，= 8 5 各帧误比特率( b e r ) 3 5 3 5 4 8 4 8 4 9 4 9 独创性声明 本人卢明所晕交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰写过的 研究成果，也不包含为获得盒魍王些杰堂或其他教育机构的学位或证书而使用过的材 料。与我一同t 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签字：签字日期：年月日 学位论文版权使用授权书 本学位论文作者完全了解金g b 三些太堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权盒 世王些太堂可以将学位论文的全部或部分论文内容编入有关数据库进行检索可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名：李葫莉 签字日期：眄年5 月g 日 学位论文作者毕业后去向： 工作单位： 通讯地址： 聊签名：坪另 签字日期：秒( 、毒声g 主i 彳嚏 日 致谢 本论文的选题和研究均得到单承赣教授的悉心指导在论文的撰写和修改 中，更是得到了单老师的热忱关怀和严格要求。单老师严谨的治学态度、渊博 的学识、求实的治学态度、开阔的眼光、平易近人的长者风范以及不知疲倦的 工作精神让我受益匪浅，终身难忘。在此，我谨向尊敬的导师单承赣教授致敬 并表示由衷的感谢! 本论文的顺利完成得益于一个团结友爱、奋发向上的集体一多媒体信息处 理实验室的全体同学。感谢秦川、钟赛飞、潘理刚、王艳、丁传银等，在这个 团结友爱亲密无间的集体里，在学业上我们相互交流，在生活上我们相互帮助， 特别感谢我的师兄张勇和师姐柴斌在学术研究和实验仿真中给予的大量帮助和 有益的指导，正是有了他们的帮助才有我今天的收获。在此向他们表示诚挚的 谢意。 感谢同窗好友李敏和黄卉的勉力和帮助。在攻读硕士期间我们共同生活度 过了难忘的三年时光。 感谢我的父母对我的理解和关心。在二十多年的求学生涯中，他们始终如 一的在生活上给我无微不至的关怀和照顾，在学业上给我大力的支持和鼓励， 使我有坚定的信念和顽强的毅力克服困难，完成学业。 最后感谢为评审本论文而付出辛勤劳动的专家们! 作者：李晓莉 2 0 0 5 年2 月 第一章绪论 1 1 编码的现状及存在的问题 随着计算技术、现代通讯技术、微电子技术、网络技术和信息处理技术的 不断发展，特别是m 招，n p f 和个人无线移动通信的飞速发展，对多媒体通信的 需求也日益增加，其相关技术已成为当今通讯领域的研究重点和热点，在无线 多媒体通信、多媒体电子邮件、交互式多媒体、远程医疗、电子商务等应用中 展现了广阔的前景。其中图像和视频流传输技术作为多媒体通信的一个基本的 组成部分，正日益受到重视，具体表现在以下几个方面【l 2 】： 社会对图像信息的处理、传输和交换的需求越来越迫切，这使图像通信 技术面临着一个巨大的市场需求，孕育着丰富的商业机会； 电子器件及设备处理能力和处理速度的大幅度提高，使图像的实时数字 化处理和传输成为可能，从而使以前提出的许多方法得以实现并有了实 际用途： 图像通信的关键技术，例如图像压缩编码技术、交换技术和现代数字调 制技术已成为异常活跃的研究课题，吸引了越来越多研究工作者和企业 家的兴趣，小波变换、分形和基于模型的编码方法等相继问世，新理论、 新方法和新技术层出不穷； 由于数字化图像传输质量高、处理方便、频带利用率高且易于集成化， 数字化的图像通信已成为当前和未来图像通信的主要发展方向。特别是 在移动通信的3 g 和4 g 时代，数字图像和视频通信将是一项重要的移动 业务。 与话音等其他信息相比，图像信息由于信息量很大，其所需的传输带宽比 较宽。但是在这其中往往存在各种信息的冗余，为了在有限的信道容量下传输 尽可能多的图像信息，也就是降低数码率，必须要进行图像压缩。由于图像在 相邻像素间、相邻扫描行间、活动图像的相邻帧间，都存在着较强的相关性， 因而，可依据信息论中的信源编码原理，去除这些相关性引起的冗余度。另一 方面，图像最终是由人们通过视觉来感觉的，可充分利用人的视觉特性实现图 像压缩，以节省存储容量或传输信道容量。 对编码问题的研究是为了能设计使通信系统优化的编译码设备。通常，通 信系统的性能指标主要是有效性、可靠性和经济性。优化就是为了使这些指标 达到最佳，除了经济性外，这些指标正是信息论的研究对象，根据信息论的各 种编码理论和上述通信系统的指标，编码主要分为信源编码和信道编码。信源 编码的主要目标是压缩每个信源符号的平均比特数或信源的码率，主要指标是 编码效率。信道编码的主要目的是提高信息传送的可靠性，即尽量使处理过的 信号在传输过程中不山错或少出错，即使有错，也能自动检错和纠错。 在实际问题中，上述两类编码的目的往往是相互矛盾的。提高有效性必须 去掉信源符号中的冗余部分，此时信道误码会使接收端不能恢复原来的信息， 有时候一个比特的错误会造成不同步，最终造成重构图像的严重失真。反之， 为提高可靠性而采取信道编码，势必要增加比特率，降低了有效性，在某种程 度上失去了图像压缩的意义。因此，如何有效地结合信源编码和信道编码，提 出一种兼顾压缩比和抗噪性能的图像编码系统是本论文研究的核心。 1 2 信源编码和信道编码方法概述 在信息论发展历史中，作为其两大分支的信源编码理论和信道编码理论， 几乎是相互独立地进行研究和发展的。信源编码通常不考虑信道噪声的影响， 而信道编码则认为信源已经经过最佳处理。因此，一个数字通信系统模型【3 l 一 般可用图1 1 表示。 图1 - 1 数字通信系统基本模型 1 2 1 信源编码方法概述 在香农的信息论中 4 】，信息被假设为是由一系列随机出现的符号所表示的， 而输出这些符号集合的源称为“信源”。根据熵函数的一些基本性质，我们可以 知道，它给出了无失真压缩编码方法中系统所能获得的极限压缩率，即我们只 能找到某种最佳的编码方法使编码后的平均码长任意地逼近信源的熵，而无法 小于信源的熵值。这也是香农的无失真信源编码定理( 香农第一定理) 。 我们知道自然界中的任何数据，包括文本、语音、图像和视频，这些数据 之间都存在着很大的冗余度。采用某些技术可以消除这些冗余，从而达到压缩 的目的。图像数据的冗余一般包括：空间冗余、时间冗余、符号冗余、结构冗 余、视觉冗余以及知识冗余等。在信源编码中，最著名的技术包括变换技术( 如 基于离散小波变换d 矽丁和离散余弦变换d c r 的变换编码等) 以及先进的熵编码 算法( 如算术编码、协砌口胛编码等) 。一般情况下，对信源特别是图像信源进行 变换编码可以分成以下三个步骤： ( 1 ) 映射变换，原始图像经过映射变换后，其数据从原始图像数据空间变换 2 到另一数据空间，由于映射变换都足针对消除原始图像数据的冗余特性 而设计的，从而在新的空间域下，变换后的图像数据之间的相关性要低 于原始图像数据之间的相关性，这样就降低了数据的冗余性，更有利于 下一步的压缩处理。实际上，映射变换是图像编码的一个核心部分，它 决定了量化和编码的对象类型，一个好的映射变换通过与合适的量化器 相配合，能够充分的消除图像信源的各种冗余度； ( 2 ) 量化处理，量化的引入是图像编码产生失真的根源。在要求重构图像与 原图像完全一致的无失真编码器中不能使用量化器，但这样会导致压缩 比很难得到提高。而在有损编码中要对映射后的数据进行量化，这样就 会造成图像信息的丢失，形成失真，即产生量化失真或量化噪声。量化 的精细程度直接关系到图像编码压缩比的高低和图像失真的大小，当量 化的精细度高时，图像的压缩比降低，而失真度减小，反之，则图像的 压缩比提高，而失真度增加。在多数应用中，只要图像失真程度和性质 被控制在允许的范围内，即重构图像的主观质量控制在允许的程度内， 我们就可以在满足应用要求的前提下提高压缩比： ( 3 ) 熵编码，熵编码利用数据信息的概率分布特性和相关特性来消除符号冗 余度。根据香农的信息熵理论，信源中或多或少地含有自然冗余度，这 些冗余度既来自于信源本身的相关性，又来自于信源概率分布的不均匀 性。只要找到去除相关性或改变概率分布不均匀性的方法和手段，也就 找到了信息熵编码的方法。同时，香农的信息熵理论还指出，无论我们 采取何种熵编码器，其输出码率都不可能达到原始图像的信息熵，即信 源所含有的平均信息量( 熵) 就是进行无失真编码的理论极限，我们只能 找到某种适宜的编码方法任意地逼近熵。常用的熵编码方法有：鼢口h 编码、算术编码和游程编码等。 图1 2 为图像变换编码的一般框图： r r 1r r l 原始图像信号l 一_ 一映射变换l - 一量化l _ 一熵编码 l _ j l jl - - - - - - _ jl - - - - - - - - - - - - - - - - 一 图1 2 图像变换编码步骤框图 1 2 2 信道编码方法概述 为了提高数据的有效性而采取的编码称为信源编码，又称数据压缩，而为 了提高数据通信的可靠性而采取的编码称为信道编码1 5 】，又称为纠错编码。 根据信道噪声性质的不同，一般情况下我们把噪声信道分为随机噪声信道、 突发噪声信道和组合噪声信道。某些实际信道如卫星信道或深空信道就属于随 机噪声信道，可近似看成二进制对称信道( b s c ) ；但也有许多实际信道如高频、 散射、有线等信道，由于各种干扰所造成的错误往往是有着相关性的错误串， 这就形成了突发错误信道；大多数信道则是既有随机噪声又有突发噪声的组合 噪声信道。数字通信要求传输过程中所造成的数码差错足够低。引起传输差错 的根本原因是信道内存在着各种噪声以及信道传输特性不理想所造成的码间串 扰。通常，由于信道线性畸变所造成的码间串扰可以通过均衡的方法来消除。 为此，论文常常只把信道中的噪声作为传输差错的根本原因，为了提高数字通 信系统的抗嗓性能，可以采取增大发射功率、降低接收设备本身的噪声、选择 好的调制制度和调制方式、加强天线的方向性等措施。但这只能将差错减小到 一定程度。要进一步提高通信的可靠性，就需要采用信道编码技术，对可能或 已经出现的差错进行控制。 按照对信息元处理方法的不同可以把纠错码分为分组码和卷积码，或者按 照校验元与信息元之间关系可以分为线性码和非线性码等。在信道编码中， t u r b o 码及相关的迭代编码技术代表着当今的技术发展水平【6 1 j 1 3 信源信道联合编码的提出 前面介绍的信源编码和信道编码通常情况下是分开进行的，我们称之为“分 离原理”。在信息论的发展历史中，信源编码理论与信道编码理论的相互分离与 独立之所以可能并得到迅速的发展有着其内在的原因： 分离处理可以使问题的分析得到简化，便于问题的解决 将一个复杂的问题分成若干个相对简单的问题而分别进行研究的方法，是 科学发展史上惯用的一种行之有效的方法。信源与信道因素的相互分离， 使得信源编码理论和信道编码理论各自所关心的问题得到了极大程度的简 化。五十年代初，随着以胁m 埘f 挖譬码为代表的构造编码理论的提出，信道 编码理论开始有了飞速的发展，形成今天的这样一种以代数及代数几何理 论为基础的相当完美的理论体系。七十年代初，随着信息率一失真理论( 简 称率失真理论) 和数据压缩技术的发展，信源编码理论也得到了极大的充 实。所有这些结果的取得，归根结底都应归工于这种分离处理的研究方法 的采用。 分离处理并不影响系统的整体最佳性能 从信息论的观点来看，信源编码和信道编码的相互分离与独立之所以可能 并得到迅速发展，其根本原因还在于这种分离方法并不损失系统的最佳性 能。然而由分离最佳最终达到系统最佳需要建立在实现的复杂性基础之上。 这种分离思想很实用并且在理论上得到香农编码定理雌j 的支持。然而，这种分 离原理是有条件的： 分离原理的成立是有条件的，并不能使所有系统都能得到最佳性能。分离原 理仅关注文件的尺寸和可靠性而并没有考虑到实际系统的复杂度和延时等 问题。因此，对于那些对复杂度和延时有要求的系统来浣应用分离原理就不 能满足系统的性能要求。 理想的假设是建立在一个单独的传送者和单独的接收者系统( 即端到端系统) 4 上的，并且需要知道编码时信源和信道的分布情况。而在现代通信系统经常 不符合这种情况( 例如互联网就是多用户网绍不符合端到端的情况而移动通 信的时变信道也使得信道变得不可预知) ，分离原理在实际中的很多场合都 不适用。 分离原理忽视了实际通信系统的不完美性。应用分离原理的信源编码是在信 道编码能纠正所有错误的假设上来设计的。但是这种假设，即假设信道编码 是完美的，会使得信源编码异常脆弱，传输错误会给信源编码带来灾难性的 错误。这种情况对于实际通信系统来说是很糟糕的，因为没有纠正的错误是 无法避免的。与此类似，信道编码是在信源编码的所有比特都同等重要的假 设上编码的，即信道编码者认为信源编码是最佳的，这样信道编码对所有的 比特进行同等保护。但在实际中信源编码输出的比特流中各个比特的重要性 是不同的，所以这种同等保护会产生资源的浪费。 随着通信的发展，尤其是互联网和多媒体无线通信的快速发展，网络环境越 来越复杂，在这种情况下，分离原理的限制越来越明显，因而近年来，对信源 信道联合编码( 埘c c ) 的研究逐渐受到了人们的广泛的重视，使之成为编码理论 研究中的重要课题。 第二章信源信道联合编码相关知识和方法概论 要设计一个有效的信源信道联合编码系统，就需要对两个基本的研究领域 进行详细的研究分析：信源编码、信道编码。因此，本章简明地介绍了信源信 道联合编码的思想及方法概论。以及与此相关的必要的背景知识。我们从深入 探究香农的信源信道编码定理入手，分析了信源信道联合编码设计的可行性和 方法论。 2 1 信息论的编码理论知识 这里只简要介绍香农信息论的基础知识。更详细的信息论知识可以参考文 献f 9 12 1 。 2 1 1 信源编码理论 信源就是信息的来源，我们在这里只讨论离散信源。离散信源可以用随机 变量肛 西，f = 1 ，2 ，) 来描述，其中每个随机变量均取值于某个集合 z - x l ，x 2 ，z 从 中，z 称为信源字符集( 或消息集) ，其中元素个数用i x i 表示，通 常总是假定训 c 的码，其差错概率都不可能趋近于零。换句话说，信道容量c 就是能 够在转移概率为咖，的信道上无差错传输信源x 所能找到的码的最大信息传输 率。 在失真率函数d ( r ) 的计算中，可采用b 肠 “f “r f 肿o f d 算法得到信道容量的 迭代数字解。同样地，离散信道编码理论的结果也可以扩展适用于连续信道。 例如，一个时间离散的一维加性白高斯噪声( 4 g ，一d 硪f f v p 胁打eg 甜“s s f d 竹 d 如g ) 信道( 也就是信道的输入和输出都是取值连续的一维随机变量，而且加入 信道的是加性高斯噪声) ，该信道的容量为： 1p c = l 0 9 2 ( 1 + 二等) ( 2 - 8 ) z 盯 其中p 。是输入信号的平均功率，而6 2 是高斯噪声的平均功率。只有当信道的 输入信号是均值为零，平均功率为p 。高斯分布的随机变量时，信息传输率才 能达到该最大值。 2 1 3 分离原理 信源编码与信道编码由于其出发点和目的是相互矛盾的，并且根据信源编 码理论和信道编码理论的结论我们可以得到信息论中一个重要的结论：分离原 理。该原理允许对信源编码解码方法和信道编码解码方法分别独立设计，只 要信源编码产生的比特码率能够被信道编码所接受并传送，就不会影响传输系 统的整体最优性能。 其实，香农在他最早的研究工作中并没有明确地说明可以按照图1 1 所示的 那种信源和信道编码分离结构来设计一个可靠的传输系统。但是，为任意给定 的熵为日的离散无记忆信源设计一个可无差错传输的信道编码的问题等价于为 一个具有最大熵的d 埘( 即，当所有的信源符号是等概率时) 设计一个信道编码 问题。这样，可靠传输问题就可以很方便地划分成两个任务：信源编码和信道 编码。任何通信系统传输一个连续无记忆信源所能获得的最小失真，称为理论 上可得最优性能( o p 翻，o p t i m a lp e r f o r m a n c et h e o r e t i c a l l ya t t a i n a b l e ) ，其实就是 失真率函数d ( r ) 中当码率丑等于传输信道容量c 时的值，即d ( c ) 。信源编码和信 道编码的分离实质上提供了一个传输码率r 可任意接近信道容量c 的无差错信 道，采用该信道传输信源编码器的输出，可使得传输失真任意接近d ( r ) 。 2 2 信源信道联合编码 在第一章我们详细说明了1 分离原理的成立是受条件限制的，并且随着通信 的发展，分离原理的限制越来越明显，因而近年来，对信源信道联合编码的研 究逐渐受到了人们的广泛的重视。 2 2 1 信源信道联合编码的目的 信源信道联合编码就是兼顾信源编码和信道编码，两种编码在彼此不独立 的情况下设计和运行，依靠通信系统各个部分的联合优化，使通信系统达到整 体上的最优。 胁j 胛y 指出，信源信道联合编码方法可以获得与串联的分离系统相同或更 好的性能，而系统的复杂度却可以大大降低【l “。他还指出，串联分离编码其实 是联合编码的一种特例，因此联合编码的性能必然会等于或高于其串联编码形 式。为使通信系统的实现更加简单，进一步提高系统性能，近年来对信源信道 联合编码的研究受到了人们的广泛重视。其系统框图如图2 2 所示，不是每一 种联合编码都要利用图2 2 所示的所有联系。j s c c 的研究目的就是为了使通信 系统的实现更加简单、经济，进一步提高系统的性能。 先鼍信息 s 后验信息 值一重蔓性情置信遣状蠢信直译玛可摹性懵量 图2 2 联合编码系统框架 2 2 2 信源信道联合编码的适用情况 随着通信网络的发展，在以下四种情况下，应用信源信道联合编码可以得 到更好的效果l 【”。 1 ) 在通信资源约束苛刻的应用环境中 如低功率无线移动通信，延迟及等待时间受限的视频、语音和多媒体通信 应用等。资源有限包括数据传输时的速率和带宽限制，低成本系统所要求的复 杂度限制，便携设备的功率限制，实时系统的延时限制。在这些应用中将可用 资源在信源和信道之间进行联台分配会大大提高整个系统的性能。 2 ) 在共享信道的多用户环境中 例如，在无线通信系统中，各个用户通过竞争有限资源发送信息。在这种 系统中，多个用户通过统计时分或者码分等复用方式共享信道，一个用户的信 源信息，可能就是另一个用户的信道噪声。在多用户接入下信源编码和信道编 码无法独立进行，信源信道联合编码可以用来减少用户间的于扰，提高系统整 体性能。又例如，在传递数据包的网络中，数据包在源端到目的端之间通过共 享链路( 共享资源) 进行传递，我们能用数据包头来指导路由器的工作，为了避 免溢出，可以丢弃低优先级的数据。这个方法就是利用数据包中某些比特来向 信源和信道解码器描述怎样去解码，根据信源的重要性来控制信道。 3 ) 在异质信源、异类信道或异种用户共存的环境中 异质信源( e 膪r o g e n 8 f 钞) 产生于多媒体通信，在这里指不同种类的数据。它 们对于信道误码和传输延时的要求很不一样，此时应当对不同的信源采用不同 的差错保护方式。异类信道是指同一通信网下的不同信道可能具有不同的信道 质量。异种用户是指同一通信系统中的不同用户的服务质量要求不同，用户系 统的计算能力不同，连接它们的带宽不同。此时需要对多个用户的信源和信道 编码折衷考虑，优化资源分配，以满足所有用户的服务质量要求。例如广播系 统或者蜂窝通信中，距离发射台距离不同的用户，其信道的速率、误码率、时 延或时延抖动相差很大，此时根据信道的特性采用分层编码或多描述方式的信 源编码可以使信息以不同速率传输( 适应多信道) ，或使同一时刻被访问的信息 可以以不同质量来还原，以适应需求和系统性能不同的多个用户。在这些不一 致的环境中，信源编码和不一致的信道的匹配、信道编码参数和调制方法的匹 配以及网络协议和信道编码参数的匹配在本质上都属于联合编码范畴。 4 ) 在信源和( 或) 信道的特性具有不确定性或者较宽的波动的环境中 例如，在无线通信中，无线信道就是典型时变性的，发射机无法获得信道 的即时状态。由于不太可能获得信源和信道的先验概率分布，分离方式下最佳 的信源编码和信道编码设计可能是不可实现的。而如果在编码设计时采用最保 守的方法，即确保在最坏情况下的正常通信，又会给通信资源带来很大的浪费， 而采用自适应联合优化的方法，使得信源编码和信道编码与信源和信道特性相 匹配，有可能提高系统的容量。 具有上述特点的应用很多。例如第二代数字蜂窝电话系统就属于资源受限， 并且信道共享、时变；无线信道用户分布变化很大，并会受与基站距离的远近、 阴影效应、衰落等影响，这使得信源信道联合编码很适用于无线信道；还有互 联网，是信道共享，而且信道变化很大，在同时刻既用于点对点、又用于广 播、多路访问、反馈，网络拓扑变换大：其它的还有视频电话、会议、点播， 实时语音通信对延迟要求很高，这都属于资源有限。 2 2 3 信源信道联合编码的研究现状及方法分类 目前，联合编码系统的构成大致可分为两种模式：( 1 ) 系统中保留信道纠错 编码；( 2 ) 系统中不采用信道纠错编码。对第一种模式的研究较多，而以最小代 价函数为编码准则的联合编码系统【l “1 7 1 是近年来国内外研究较多的一种典型 的第二类联合编码模式，这方面的工作目前多是一些以均方误差失真为测度的 计算机模拟仿真结果。实际上，从信息论的观点看，对于任意给定的有界失真 测度，联合编码方式总是存在的。 纵观国内外对信源信道联合编码的研究，主要包括下列几种技术： 1 ) 残留冗余技术 残留冗余就是信息论定义的额外比特率。基于残留冗余的技术是在实际应 用中考虑到香农编码理论的下列缺陷而提出的：a ) 信源编码不能去除所有冗余； b ) 传统信道编码方法的不充分性，特别是关于有噪信道和衰落信道。基于残留 冗余的联合编码技术就是受上述两个方面原因的启发，在没有额外增加传输比 特并且在有噪信道上没有增加调制编码器的前提下提高信道的鲁棒性。这些方 法在广播传输中特别有用。k s a y o o d 【”1 等人通过使用关于信源信息位的先验信 息和后验信息来实现信源控制信道译码。信源信息位的先验信息和后验信息告 诉译码器即将要译的信息位很可能发生的概率，例如，相关信息和倾向要发生 的值，而不是采用盲译码来限制使用这些知识及错误隐藏技术。信源控制信道 译码的目标是给信道译码器提供信源信息来减少信道译码器的误码率，这种投 术不要求发送端作任何改动。 2 ) 不等差错保护技术 一般来蜕，在许多数字通信系统中传输的数据码流对噪声的敏感程度是不 一样的，有些数据对噪声影响非常敏感，而有些数据受噪声的影响几乎可以忽 略不计。例如小波零树编码中就是将数据按重要性排序的，前面数据对于重 构结果的重要性要大于后面的数据；算术编码后输出的数据流对信道噪声的影 响非常敏感，少数几个错误就可能破坏整个码流的质量。基于上述原因，根据 数据重要性不均匀的特点采用分层发送和分层接收技术。在不同数据组发送时， 信道编码采用不平等的纠错保护策略( 变码率策略) 。在接收端，采用不同的译 码策略( 根据数据重要性，改变迭代译码次数策略) ，使误码率降到最低。 c g u i s e p p e 【” 等人就是通过这种方法实现联合编码技术的。 3 ) 基于软输入软输出的联合译码技术 该方法利用来自传输信道的状态信息和来自信源的先验信息及信道译码器 的软输出来进行软信源译码。最近，软信源译码越来越引起人们的注意，因为 不仅信道译码需要可靠的比特消息，而且信源译码也需要可靠的比特消息。 j h a g e n a u e r 【2 0 】等人提出了变长软译码算法，与变长标准的译码算法相比，性能 得到明显改善，有必要在这方面作进一步研究。 4 ) 基于因子图形的信源信道联合编码技术 f r k s c h i s c h a n g 和b j f r e y 等人1 2 l 。3 】综合了近年他人的工作，提出一种一 般性的图形模型框架一因子图形( n c f d ，g ，印矗) ，并且推导出一种用于计算 全局函数边界的一般性方法。因子图形是一种双向图形，它可以表示如何将一 个全局函数因式分解成几个局部函数的乘积。因子图形本质上是勋 ，z 口，图的 一般化，在因子图形中和变量相关联的局部函数代替了砌h h e r 图中和变量相 关联的局部校验。因子图形包含了许多其它图形模型，如曰口y e s f 甜n 网络、尬，d v 随机域等。前面提到的计算全局函数边界的一般性算法是通过在相应的因子图 形中传递分布式的信息来实现的，信息传递算法可描述为以下过程：图形中的 每个节点可以看成是活动的处理单元，可以沿着节点间的连线接收和发送信 息，并能执行和该节点相关的信息和局部函数的计算。这样，局部函数的知识 就可以通过信息传递沿着图形中的连线传播到非相邻的节点，传递的分布式信 息就是局部函数的乘积，并且满足最小和( m f 疗s “聊) 算法和和积( s “m _ p ，o 幽c ，) 算 法法则。人工智能、统计学信号处理和数字通信理论中的大多数算法都可以由 这种一般性算法推导出来。用因子图形可以表示各类编码，并且可由一般性算 法推导出相应的迭代译码算法。川- ( 0 z f n 坫e v 等人【”l 根据一定的可信度标准和因 子图形框架，建立了一个能包括信源编码和信道编码的全局图形模型，利用信 源编码后的残留冗余特性和和积o “川巾，0 d “c ，) 法则，根据接收信息进行信源信 道联合编码。实验结果显示，该方法优于传统技术的性能。 2 5 ) 在系统中不加纠错码的联合编码技术 不加纠错码的联合编码技术就是利用特殊的性质和变换技巧等，使得变换 域的数据具有自动的检错或纠错能力。对于离散无记忆平稳信源，张豫伟等人 【2 7 。2 8 j 证明了能达到信道容量意义上的率失真限的信源信道联合分组编码方式 的存在性，并给出有限码长情况下的性能限。他们也给出了信源信道联合分组 编码的一种构造性设计算法，得到的最佳编码是叼( 矢量量化) 型的。这是意料 之中的：阳码书的定长特性使其具有抗误码干扰的内在潜力；n f a v a r d i n 等人 【2 9 引l 持续地研究了这些问题；朱策3 2 1 等人利用基于s d m 网络设计的码书具有 结构性强这一特点，发展了一种对于啦码字的自适应局部搜索算法，亦体现 了信源信道联合编码的特点：网格量化编码( 粥q ) 和网格编码调制旨在降低系 统的复杂性，信源网格量化编码在性能上比标量量化和矢量量化优越，可大大 改善率失真性能，并且对信道噪声有适中的鲁棒性。在矢量量化编码中，单个 信道误差可能破坏整个一组数据，而一位误差对网格量化编码码流的影响不会 超过l + ，d 勘j ，这里表示网格状态数，tl t u y e r 等人| ：3 3 】提出基于信道特征优 化网格量化的图像编码技术提高了传输信号对信道噪声的鲁棒性，特别适合在 多媒体无线通信中的应用；另外，利用d c r 变换后的连续性，也可以实现不加 纠错码的联合编码技术。 2 2 4 信源信道联合编码设计方法目前研究热点 对于信源信道联合编码技术的研究，目前的热点主要是以下两种方法： 1 基于分层编码的联合编码的研究 分层信源编码所产生的多个码流具有这样的特点：每一个码流都可以根据 前面已经接收到的码流对原始信源形成更为细致的描述。因此，分层编码又被 称为渐进精细编码( s u c c e s s i v er e 矗n e m e n tc o d i n g ) 。 分层编码的思想在实际的多媒体编码中有很多应用。比如图像编码的渐进 编码( p r o g r e s s i v ec o d i n g ) ，视频编码中的精度连续可调编码( f i n eg r a n u l a r i t y s c a l a b i l i t y ) 等等。 2 多描述码 和分层编码不同，多描述编码是将信源编码分为若干个独立的码流。这些 码流可以通过不同的信道传送给接收端。接收端获得其中的任何一个码流都可 以通过边解码器在一定失真范围内恢复原始信源，即得到对原始信源的一个描 述；如果接收端可以同时得到两个或两个以上的码流描述，则可以通过中央解 码器得到更为精细的信源描述。多描述编码的系统框图如图2 3 所示。 x 蔓爹， 1 4 第三章信源编码及相关知识 3 1 图像信号的信源编码概述 图像信号包含丰富的内容，要用文字来描述图像，也许花上千言万语也不 能穷尽图像的内容。在现代通信中，图像的传输与存储占有越来越重要的地位。 然而图像的传输与存储中面临的一个非常关键的问题，就是图像信号巨大的数 据量对一定的传输通道和存储介质造成了巨大的压力和困难。例如：根据 c c i r 6 0 l 建议，电视演播室数字电视的分量编码亮度信号、色度信号在抽样频 率分别为1 3 5 m 耽和6 7 5 m 并采用8 6 打量化时，总码率= f 1 3 5 m 日r z + 6 7 5 m 日z x 2 ) 8 6 f f = 2 1 6 m 6 f f s 。这样大的数据量将给存储器的存储容量、传输信道的传 输率( 带宽) 及计算机的处理速度等方面增加极大的压力。由此可见，为了提高 信道利用率和在有限的信道容量下传输更多的图像信息，必须对图像数据进行 压缩。 数字图像的大数据量与信道容量