（计算机应用技术专业论文）基于小波域对相关变换的多描述编码研究.pdf

摘要 摘要 随着互联网络的日益普及和无线通讯技术的迅猛发展 多媒体通信正逐步成 为通信的主要业务 图像 视频的编码与传输技术成为当今信息科学与技术的研 究热点 视频信息的庞大数据量和信道带宽的限制迫使视频通信数据通常要经过 压缩编码 而压缩数据对传输过程中的差错非常敏感 会造成误码环境下重建图 像质量严重下降 作为解决这一问题的途径之一 多描述编码近年来受到了广泛 的关注 它提供了一种在不可靠传输系统中提高接收图像或视频质量的方法 既 可兼顾数据传输实时性要求 又能解决数据失真问题 具有压缩效率高 鲁棒性 强的特点 本文主要是结合当前多描述编码技术中的对相关变换和频域下采样两 种方法 基于小波图像的特点 进行小波域的多描述编码研究 本文首先分析了传统多描述变换编码框架中的对相关变换的方法 对这种对 相关变换的冗余率失真进行了详细研究 并推导出了最佳变换矩阵族和正交变换 矩阵族及其冗余率失真函数 接着针对小波图像的特点 提出了一种基于小波域 的分层多描述变换编码方案 在图像的小波变换域 将对相关变换和频域下采样 技术相结合 生成两个描述 其中每个描述各包含一个基本层和一个增强层 针 对每个描述的特点 采用了基于s p i h t 算法的编码方法 与传统的小波域多描 述编码方案相比 该方案在小波的低频域利用对相关变换得到两个基本层描述 而单独将纹理信息比较明显的高频区域梅花下采样为两个增强层 即将多描述编 码与分层编码有机的结合起来 从而增加了多描述编码的自适应性 另外 每一 描述的码流都由两部分组成 而每一部分码流可以独立的编解码 故有利于并行 运算 大量实验结果表明 该方案在提高编码效率和抗误码特性的同时 具备了 多描述编码的自适应性和鲁棒性 是一种简单有效且实用的方法 在上述方案中 对小波图像的高频系数域进行梅花下采样后 当只收到一个 增强层描述时 并不能根据高频系数纹理方向的特点 灵活地预测丢失的增强层 描述 于是又提出了一种改进的小波域分层多描述编码方案 该方案对小波的高 频系数采用自适应下采样的方法 同时利用四个模板算子检测每个高频子带的纹 理方向 当一个增强层描述丢失时 利用小波域零树插值算法对其按纹理方向进 行插值恢复 实验结果表明 该方法比梅花下采样的方法效果好 关键词多描述编码 对相关变换 频域下采样 小波域零树插值 a b s t r a c t i i j i 曼曼曼曼曼 鼍曼曼曼曼曼 蔓曼鼍 a b s t r a c t 昕也t h ei n c r e a s i n gp o p u l a r i z a t i o no fi n t e m e ta n dr a p i dd e v e l o p m e n to fw i r e l e s s c o m m u n i c a t i o nt e c h n o l o g y m o r ea n dm o r es t r e a m so fm u l t i m e d i aa r et r a n s m i t t e d o v e rn e t w o r k s i m a g e v i d e oc o d i n ga n dt r a n s m i s s i o nt e c h n o l o g yh a v eb e c o m eah o t r e s e a r c ht o p i co fp r e s e n ti n f o r m a t i o ns c i e n c ea n dt e c h n o l o g y t h eh u g ea m o u n to f v i d e oi n f o r m a t i o na n dt h el i m i t a t i o n so fb a n d w i d t hm a yl e a d v i d e od a t ao f c o m m u n i c a t i o nt ob ec o m p r e s s e d b u tt h eh i g h l yc o m p r e s s e dv i d e od a t ai sv e r y v u l n e r a b l et ot r a n s m i s s i o ne r r o r s a n di tc a l lc a u s es i g n i f i c a n td e t e r i o r a t i o no ft h e r e c o n s t r u c t e di m a g eq u a l i t y d u r i n gt h el a s td e c a d e m u l t i p l e d e s c r i p t i o nc o d i n g m d c h a se m e r g e da sa ne f f e c t i v em e a n st os o l v et h ep r o b l e m m u l t i p l ed e s c r i p t i o n c o d i n gp r o v i d e sam e t h o d w h i c hc a ni m p r o v er e c e i v e di m a g eo rv i d e oq u a l i t yi nt h e p r a c t i c a ls y s t e mw i t h o u tr e l i a b l et r a n s m i s s i o n i tc a nt a k ei n t oa c c o u n tt h ed e m a n d so f r e a l t i m ed a t at r a n s m i s s i o na n ds o l v et h ep r o b l e mo fi m a g e v i d e od i s t o r t i o n s oi th a s t h ec h a r a c t e r i s t i c so fh i g hc o m p r e s s i o ne f f i c i e n c ya n ds t r o n gr o b u s t n e s s t 1 1 i st h e s i s m a i n l yr e s e a r c h e st h em d c b a s e do nt h ec h a r a c t e r i s t i co fw a v e l e ti m a g e w h i c ha d o p t t h ep a i r w i s ec o r r e l a t i n gt r a n s f o r ma n df r e q u e n c yd o w n s a m p l i n go fc u r r e n tm d c t e c h n o l o g y t m sp a p e rf i r s t l ya n a l y s e st h em e t h o do fp c tu s e di nt h et r a d i t i o n a lf r a m e w o r ko f m d c a n dc a r r yo u tad e t a i l e dr e s e a r c ho nt h er e d u n d a n c yr a t e d i s t o r t i o no ft h i sp c t a n d f i n a l l y t h e o p t i m a l m a t r i xa n d o r t h o g o n a l m a t r i xa n di t s r e d u n d a n c y r a t e d i s t o r t i o nf u n c t i o na r eo b t a i n e d t h e naw a v e l e t b a s e dl a y e r e dm d cs c h e m ei s p r o p o s e dw i t h t h ec h a r a c t e r i s t i c so fw a v e l e ti m a g e w h i c hc o m b i n ep c tw i t h 疳e q u e n c yd o w n s a m p l i n gt og e n e r a t et w od e s c r i p t i o n si nw a v e l e td o m a i n a n de a c h d e s c r i p t i o nc o n t a i n sab a s i cd e s c r i p t i o na n da l le n h a n c e dd e s c r i p t i o n t h ee n c o d i n g a l g o r i t h mb a s e do ns p i h ti si n t r o d u c e dw i t hf e a t u r eo fe v e r yd e s c r i p t i o n c o m p a r i n g w i t ht h et r a d i t i o n a lw a v e l e t b a s e dm d cs c h e m e s t h i ss c h e m ea p p l i e st h ep c t o nt h e l o w f r e q u e n c yw a v e l e td o m a i nt og e tt w ob a s i cd e s c r i p t i o n s a n dt h eh i g h f r e q u e n c y r e g i o nw i t ho b v i o u st e x t u r ew i l lb ei n d e p e n d e n t l yq u i n c u n xd o w n s a m p l e di n t ot w o e n h a n c e dd e s c r i p t i o n s s ot h em d ca n dl a y e r e dc o d i n ga r ei n t e g r a t e dt oi n c r e a s et h e s e l f a d a p t a b i l i t y i na d d i t i o n e a c hs t r e a mi sc o m p o s e dw i t ht w op a r t s w h i c hc a nb e i n d e p e n d e n td e c o d e d s oi t h a sp a r a l l e lc o m p u t i n gf e a t u r e al a r g en u m b e ro f e x p e r i m e n t a l r e s u l t ss h o wt h a t t h i ss c h e m ep o s s e s s e st h es e l f a d a p t a b i l i t ya n d r o b u s t n e s so fm d cw h e ni tc a ne n h a n c et h ec o d i n ge f h c i e n c ya n da n t i e r r o r c h a r a c t e r i s t i c s s oi ti sa ne f f e c t i v ea n dp r a c t i c a la p p r o a c h l a t e rw ef i n dt h a ti ti sd i 所c u l tt of l e x i b l yp r e d i c tt h e1 0 s te n h a n c e dd e s c r i p t i o n b a s e do nt h et e x t u r ec h a r a c t e r i s t i co fh i g h f r e q u e n c yc o e f 五c i e n t sw h e no n l yo n e e n h a n c e dd e s c r i p t i o ni sr e c e i v e da f t e rt h eh i g h f r e q u e n c yc o e 角c i e n t so fw a v e l e t i m a g ea r eq u i n c u n xd o w n s a m p l e di nl a s tm d cs c h e m e s oaa d v a n c e d w a v e l e t b a s e dm d cs c h e m ei si n t r o d u c e d i nw h i c ht h ea d a p t i v ed o w n s a m p l i n g i i i 北京丁业大学工学硕士学位论文 m e t h o di sa d o p t e dt o r e p l a c et h eq u i n c u n xd o w n s a m p l i n go nt h eh i g h f r e q u e n c y c o e m c i e n t sa n df o u rt e m p l a t eo p e r a t o r sa r eu s e dt od e t e c tt h et e x t u r ed i r e c t i o no f h i g h f r e q u e n c ys u b b a n d s t h e nw ea p p l yt h ew a v e l e td o m a i ni n t e r p o l a t i o nf o rt r e e r e c o n s t r u c t i o nt oc o n c e a lc o e f f i c i e n t sl o s sb a s e do nt h et e x t u r ed i r e c t i o nw h e no n l y o n ee n h a n c e dd e s c r i p t i o ni sr e c e i v e d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h e p e r f o r m a n c eo fa d a p t i v ed o w n s a m p l i n gi s m o r ee f f e c t i v et h a nt h a to fq u i n c u n x d o w n s a m p l i n gm e t h o d k e y w o r d sm u l t i p l ed e s c r i p t i o nc o d i n g p a i r w i s ec o r r e l a t i n gt r a n s f o r m 行e q u e n c y s u b s a m p l i n g w a v e l e td o m a i ni n t e r p o l a t i o nf o rt r e er e c o n s t r u c t i o n i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果 尽我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他 人已经发表或撰写过的研究成果 也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料 与我 同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意 虢掣喀嗍啦 关于论文使用授权的说明 本人完全了解北京工业大学有关保留 使用学位论文的规定 即 学校有权 保留送交论文的复印件 允许论文被查阅和借阅 学校可以公布论文的全部或部 分内容 可以采用影印 缩印或其他复制手段保存论文 保密的论文在解密后应遵守此规定 邋吼毕 第1 审绪论 i 一 i i iu o i 曼曼毫曼葛曼曼 1 1 课题研究背景 第1 章绪论 随着计算机 通信和网络技术的发展 网络已逐步成为人们日常工作和生活 的一种重要通信工具和手段 在实际应用中 互联网存在不可靠的传输 图像或 视频数据传输几乎都会遇到数据丢失 数据发生错误的现象 且因传输带宽有限 网络拥塞时常发生 这就导致接收端不能及时地对接收到的数据进行正确地解 码 研究开发实时 鲁棒的流媒体编码与传输技术己成为当前信息技术的一个热 点问题 多描述编码就是在这种背景下产生的 新出现的多描述编码给人们提供了一 种在不可靠传输的现实系统中提高接受图像或视频质量的方法 既可兼顾数据传 输实时性要求 又能解决视频失真问题 它可以在编码端将图像或视频分成同等 重要 相互独立又具有一定相关性的多个子描述 再将这多个子描述分别独立编 码 并通过不同的信道传输 由于所有信道传输失败的可能性很低 故解码端一 个描述都没有收到的概率非常低 解码端收到任意一个子描述时 可解码出视觉 质量较低大但可接受的图像或视频 接受到的描述数量越多 解码出的图像或视 频的质量越高 解码端收到所有子描述时解码出视觉质量最高的图像或视频 因 此 其在满足数据传输实时性要求的同时可减少数据失真 受到广泛关注 如果 再能充分利用分层编码的优点 进一步将多描述编码与分层编码有机的结合起 来 这样 就可使多描述编码在具备高压缩效率和抗误码特性的基础上增强自适 应和鲁棒性 且具有优于分层编码的特点 多描述编码起源于2 0 世纪7 0 年代 是由美国贝尔实验室在研究电话网络中 的语音编码问题时提出的 1 起初 m i l l e r 提出根据语音的频谱衰败特性 将语 音子采样成分别包含奇数样本和偶数样本的两组样本 并通过两个单独的链接或 路径分别传送一组样本 如果数据无损耗 可合并这两组数据 获得通常的声音 质量 如果有损耗 则可通过部分无损的数据获得低的声音质量 1 9 7 8 年 这 一想法在贝尔实验室开始流行 主要应用在语音编码和信息理论中 j a y a n t 在语 音编码中先将语音分离成存在冗余的奇偶两组样本 再用差分脉冲编码对它们分 别进行压缩 并通过两个分离的信道分别传送 它可在只收到单组样本的情况下 预测另一组样本 其后 r e u d i n k 采用标量量化方法 提出不增加大量码率 又 不完全依赖于信源样本预先存在的冗余的信道分裂技术 r e u d i n k 也发展了对相 关信源的技术 成为g e r s h o 的工作基础 g e r s h o 提出了使用g o o d m a n 的方法进 行信道分裂 即一个信道携带偶数样本的最重要位和奇数样本的不重要位 另一 北京工业大学工学硕士学位论文 个信道携带奇数样本的最重要位和偶数样本的不重要位 与此同时 w y n e r w i t s e n h a u s e n w 6 l f 和z i v 由信道分裂引发了信息论的问题 1 2 如 信源由两个 分离的描述来表示时 对这些分开或联合的描述在质量方面的共同限制是什么 这样的问题最终成为了多描述问题 1 2 多描述编码的研究概况 国际上对多描述编码的研究始于1 9 7 9 年的i e e e 信息论研讨会 会上 g a m a l 和c o v e r l 3 给出了失真向量v 和可达到最小描述速率对 r l r 2 间的对应关系 其 中r l 和r 2 分别表示两个描述的速率 d o d l 和d 2 分别表示采用两个描述和只 采用第一个描述或第二个描述重建信号产生的失真 o z a r o w 4 证明对于高斯信 源 采用均方误差作为失真度量时 文献 1 给出的限制范围就是信源的多描述 速率一失真限制范围 r e i b m a n 和o r c h a r d 等人提出了冗余率失真函数 i u 怕 用于估计多描述编码系统的性能 这些研究成果为多描述编码技术的发展奠定了 理论基础 1 9 9 6 年 v a i n i s h a m p a y a n 设计了第一个多描述编码器一标量量化器并提出第 一个多描述图像编码方案1 7 j 随后 s e r v e t t o 等人提出了m d 网格矢量量化器 m d l v q 8 其网格对称结构不仅简化了矢量量化中的索引分配问题 而且降 低了因维数增加而产生的编码复杂度 文献 6 9 中 w a n g 等人从子空间映射的 角度提出了多描述变换编码 m d t c 增加变换系数之间的统计依赖性 称为 成 对相关变换 p a i r w i s ec o r r e l a t i n gt r a n s f o r m 文献 1 0 在子带编码算法中引入多描 述编码 产生高性能的多描述子带编码器 j i a n g 和o r t e g a 在 j 中提出多相变换 和选择量化算法 p t s q 按标量或矢量的方式对信号进行下采样 通过选取不同 相位的采样点以产生多个子信号 形成多个描述 实现了平衡的多描述编码 b m d c 文献 1 2 提出子带系数按位下采样 形成两个描述的编码方案 取得 优于p t s q 的结果 国内期刊上也有少量关于多描述图像编码的研究文章 l 瓦1 4 j 国际上多描述视频编码的研究主要从1 9 9 9 年开始 目前尚处于初步阶段 而国内目前只有极少数关于多描述视频编码的研究成果 现有的视频多描述编码 多数是基于块运动预测估计和运动补偿的编码方案 1 5 1 6 1 7 培 这就不可避免地会 涉及失配校正问题 亦即如何处理由于信道错误导致编解码器所用预测参考帧不 一致而产生的问题 视频多描述编码必须考虑的第二个问题是非理想的多描述信 道问题 现有的多描述编码方法都是基于理想多描述信道假设的前提下提出的 但互联网和无线信道都不是理想的多描述信道 在任何信道都可能随机地发生分 组丢失 因此视频多描述编码方案还必须考虑非理想多描述信道对视频重建产生 的影响 现有的图像视频编码算法主要是对前一个问题进行处理 后一个问题则 很少有文章对它进行讨论 最简单的失配控制方法是各自从自己的描述中重建视 2 第1 章绪论 频 常见的双描述编码是采用类似h 2 6 3 中的视频冗余编码 v r c 的方法 把视 频图像序列分解为奇数帧和偶数帧两个描述 分别进行预测 编码 传输和重建 只接收到一个描述时 通过运动补偿时间插值重建丢失帧 15 1 这类算法不能改变 编码的冗余与边沿失真 而且预测时间的加长也增大了估计误差 v a i s h a m p a y a n 和j o h n l l 8 采用分别在两个预测环内联合量化预测误差d c t 系数的方法解决失 配 但编码效率较低 另一类失配控制算法是在误差信号的多描述编码基础上增 加失配编码 也就是把中心预测 从两个描述重建的图像 和边缘预n r 从一个描 述重建的图像 之间的失配信息部分编码放入各个描述 实现冗余控制和失配控 制 1 6 1 9 2 0 1 这类算法虽然冗余度可控 但结构复杂 冗余量大 k i r n 和l e e 1 7 把帧内所有宏块的运动矢量和预测误差按梅花状分解为两个描述 如果只收到一 个描述 运动矢量丢失的宏块可通过接收到的运动矢量由重叠块运动补偿重建 该方法冗余度低 但存在失配累积问题 p e r e i r a 等人 2 l 从网络通信角度提出一 种多描述编码冗余度自适应调节算法 c h o u 等人1 2 2 j 对基于优先编码传输 p e t 的分层编码算法 l 进行改造 提出分层多描述编码 文献 2 3 提出借助反馈信道 消除失配的分层多描述编码 1 3 课题研究意义及研究目标 本课题属国家自然科学基金项目 图像多描述编码方法研究 随着网络技 术和计算机技术的发展 越来越多的实时的视频应用系统开始出现在网络上 如 何保障数据量巨大的视频信息的在不可靠网络中实时可靠地传输具有重要的科 学研究意义和实际的应用价值 该项目的目标是针对网络流媒体服务的特点 研 究图像的多描述编码技术 开发新型高效的 能够适应各种动态变化条件的网络 编码系统 并实现具有较高图像编码效率和数据传输鲁棒性的多描述编码方法 本课题将在j p e g 2 0 0 0 标准 2 4 j 框架的基础上开展图像 视频多描述编码方法 的研究 充分利用小波域图像的特性 设计出基于小波域的多描述编码系统 在 对相关变换的矩阵选取 图像的空间下采样和多描述的分层设计方面进行深入研 究 结合小波域系数的零树插值恢复技术 开发出新型高效 且具有很强容错能 力的图像多描述编码方法 1 4 本文的内容安排与组织结构 本文主要对图像的小波域多描述编码进行了研究 并将传统的对相关变换技 术和空间下采样结合起来 灵活地用在了小波系数上 产生了两种基于小波域的 对相关变换的分层多描述编码方案 并在j p e g 2 0 0 0 框架基础上设计了模拟试验 平台 对提出的方案进行了有效验证 北京工业大学工学硕士学位论文 本论文的内容安排如下 1 第1 章 绪论 主要介绍课题的选题背景 并简要叙述了多描述编码技术的 研究概况 最后阐述本文的研究目标 研究意义和内容安排结构 2 第2 章 多描述编码 对多描述编码进行全面详细的介绍 包括多描述编码 的定义 发展过程 研究现状和典型算法 3 第3 章 基于相关变换的多描述编码 详细介绍了多描述变换编码的组成 并进行了成对相关变换的冗余率失真分析 最后导出了最佳变换矩阵族和正 交变换矩阵族及其r r d 函数 4 第4 章 基于小波域的分层多描述变换编码算法 本文根据小波图像的特点 提出了一种基于小波域的对相关变换的分层多描述变换编码方案 并进行了 实验验证 5 第5 章 改进的小波域分层多描述变换编码算法 本文在图像小波域的高频 子带 利用自适应下采样取代上一章中的梅花下采样 获得增强层 6 结论 总结本论文研究工作并展望未来工作 7 参考文献 攻读硕士学位期间取得的研究成果和致谢 4 第2 章多描述编码 曼曼i i i i i 一一二 一 m 鼍 曼 曼曼曼曼皇 曼 第2 章多描述编码 2 1 多描述的定义及关键问题 多描述编码 m u l t i p l ed e s c r i p t i o nc o d i n g m d c 的概念最早出现在2 0 世纪 7 0 年代末期 2 酬 是由b e l l 实验室在解决电话信道中语音编码的问题时提出的 在8 0 年代对m d c 的信息理论问题进行了一些有价值的研究 但m d c 应用于图 像和视频编码要晚的多 直到1 9 9 7 年的两篇会议论文才涉及到将m d c 应用于 图像编码中 而多描述视频编码研究则主要从1 9 9 9 年开始 此后 基于m d c 的图像与视频编码技术得到重视 并有一系列论文发表 本章的第三节将较详细 的介绍这些多描述视频编码算法 多描述编码是指在编码端 将图像或视频分成同等重要 相互独立又具有一 定相关性的的多个子描述 再将这多个子描述分别独立编码 并通过不同的信道 进行传输 由于所有信道失败的可能性很低 故解码端一个描述都没有收到的概 率非常低 当解码端只收到一个子描述时 则可解码出视觉质量较低但仍可接受 的图像或视频 接收到的描述数量越多 解码出的图像或视频的质量越高 当解 码端收到所有子描述时 可解码出视觉质量最高的图像或视频 多描述编码可在 较高压缩效率下增强鲁棒性 多描述编码的模型如图2 1 所示 目前多描述的算 法很多 描述的个数也不限于两个但被研究最多的还是两个描述的情况 本文的 主要研究两个描述的情况 图2 1 多描述编码框图 f i g u r e2 1t h ef r a m e w o r ko fm u l t i p l ed e s c r i p t i o nc o d i n g 图2 2 是两个描述的编解码示意图 多描述编码器将源信号分成两个描述 s l 和s 2 分别通过两个信道传输到三个接收端 接收两个信道传输的解码器0 称为 中心解码器 只接收相应信道传输的解码器1 和解码器2 称为 边缘解 码器 信道i i l 2 上的传输速率r i i 1 2 表示该信道的传输比特数 解码 北京1 业大学 t 学硕士学位论文 曼曼 曼曼 曼 曼 曼曼 曼曼 鼍曼 曼 曼曼曼曼曼皇 二 ii 曼曼 曼 曼 曼曼曼曼曼曼 曼 曼曼 源 m d c 解码嚣 图2 2 两个描述的编解码示意图 f i g u r e2 2m d cf r a m e w o r kw i t ht w od e s c r i p t i o n s 来自s 1 的 雕码信号 柬臼s 霹 s 2 的解妈信蟹 舞 臼s 2 的 解码依号 器i i 0 1 2 对信号的重建失真用d i 滓o 1 2 表示 其中d o 表示接收到两个描 述的中心失真 d l 和d 2 则表示单个描述的边缘失真 多描述编码技术不是简单的传统视频编码的多个复制和组合 而是通过引入 描述间的一定量的冗余信息来提高传输鲁棒性 多描述编码的难点在于如何达到 码率与失真的平衡 在提高传输鲁棒性的前提下 提高编码效率 多描述视频编 码中需考虑的关键问题如下 1 视频信息的多描述分解 编码器的冗余率失真分析以及丢失信号的估计与重 建 事实上这三方面中视频信息的多描述分解是根本 它决定了多描述编码对抗 信道噪声的鲁棒性 编码效率和重建信号的失真率 显然 若两个描述非常相似 则其合成效果不会比其中好的 个描述的效果好多少 因此多描述分解的思路应 该是设计好的但彼此有一定差异的单个描述 以便其合成能取长补短 互为补充 从而使中央通道获得具有更好视觉效果的视频信号 在多描述分解时 需考虑冗 余率和失真的平衡问题 因为冗余度提高有利于提高数据传输错误情况下的解码 视频信号质量 但降低无信息丢失情况下的信号质量 丢失信号估计与重建直接影响解码视频信号的视觉效果 在多描述视频编码 中 丢失的单描述信号可通过描述间的相关性进行估计与重建 利用视频信号在 空间和时间上的连续性 结合f e c 误码隐藏技术等 可进一步提高解码视频信 号的视觉效果 这也是目前多描述视频编码技术的一个趋势 2 预测编码的误匹配问题 传统的视频编码利用运动补偿预测来消除帧间冗余 而多描述情况下由于通 常存在多个预测环 问题变得复杂 中央预测环能利用所有描述的信息来进行预 测 而边缘预测环却只能利用自身通道的信息即部分信息 由此造成预测的所谓 误匹配问题 由于信息丢失引起的编解码器预测所用参考帧不一致而产生的误匹 配 会影响解码信号的视觉质量 为避免误匹配的产生 可对各描述独立进行预 测和补偿 这样可避免单个描述的误匹配 但导致中央通道的编码增益不理想 6 第2 章多描述编码 因为尽管中央通道的重建信号质量优于边沿通道重建信号质量 但当前帧的重建 却没有利用中央通道重建的前面帧的信息 通常在多描述视频编码中采用中央环 重建会引起误匹配 而不采用中央环则编码效率较低 3 多描述间的冗余度调节 在能够获得传输信道质量的网络传输中 多描述编码方法应能自适应调节信 号冗余度 以便使得在不同带宽 丢包率下传输鲁棒性和编码效率的综合性能最 佳 量化区间重叠范围的动态调整 相关变换的参数调整 可分级扩展思想等是 实现描述间信号冗余度调节的有效手段 目前多描述视频编码中存在的主要问题 包括 1 如何选择编码参数以使给定冗余度下的边沿失真最小 2 在实际网络 发生随机或突发丢包时 如何选择编码参数调整多描述的冗余度 以适应网络传 输状况的变化 3 如何进行运动估计与运动补偿 解决由于编解码器预测所用 参考帧不一致带来的误匹配问题 如何减少误匹配导致的解码视频信号质量降 低 4 如何进行丢失描述帧的估计等等 2 2 多描述编码算法的评价标准 在多描述算法中 中央失真和边缘失真实际上是一对矛盾 中央失真实际上 是压缩效率的一种体现 而边缘失真则是码流鲁棒性的一种衡量标准 设计一个 好的多描述编码算法应该同时考虑到这两种性能 多描述算法中的速率失真函数 和冗余失真函数从数学的角度精确的描述了这两种性能 另外 还有其它一些标 准用来评价一个实际的多描述算法 如算法的复杂度 多描述视频编码是应用在 实时的系统中的 如果一个算法过于复杂 不能达到实时编解码的目的 那么即 使它的其它各项性能再好也失去了意义 是否容易与当前的视频编码标准相结合 也是一个重要的评价标准 一个脱离了视频编码标准的多描述视频编码算法可能 具有很重要的理论研究价值 但却很难应用于现实的视频应用系统中 还有一个 标准就是该算法是否灵活 这点主要体现在该多描述编码算法的冗余度是否可以 方便的控制 这一点也非常重要 网络的带宽是有限的 在网络状况较好时 我 们希望引入较少的冗余 这样在同样的码率下 用户将得到图像质量更好的视频 信息 2 3 多描述编码的典型研究方法 从1 9 9 9 年多描述技术第一次被应用到图像 视频编码中以来 多描述图像 视 频编码技术就受到了广泛的重视 国内国际上涌现出许多优秀的多描述编码算 法 文献 2 7 将多描述视频编码算法从如何引入相关性生成子描述的角度分为五 类 1 多描述量化编码 设计量化区间相互重叠的量化器 通常一个量化器的 7 北京工业大学工学硕十学位论文 i ii 一i 曼 曼曼 皇 曼曼 曼曼曼 篡 量化区间是另一个的平移 每个量化器量化原信号产生一个描述 对两个描述的 多描述编码 收到一个描述时 相当于原信号经两倍的量化步长量化得到重建信 号 粗量化 收到两个描述时则相当于使用原量化步长量化 精细量化 2 多描述变换编码 将系数对进行相关变换 采用线形预测估计丢失描述 3 基 于运动补偿的多描述编码 对视频信号进行空域上的采样 然后再使用一定的技 术处理运动向量和残差数据 4 基于时域采样的多描述编码 对视频信号进行 时域次采样 然后每个子流单独编码 5 基于频域变换的多描述编码 主要介 绍基于d c t j b 零法的多描述编码和基于小波域的多描述编码 2 3 1 基于量化的多描述编码 多描述量化的基本思想是对一个信源使用多个不同的量化过程 产生不同的 量化结果 它需要设计一个量化函数 索引分配 用于对信源进行不同精度的量 化 即对单个描述进行大步长的量化 而多个描述相互结合时 则可得到精细的量 化 这种方法的主要问题在于冗余度较高 因此关键之处在于要设计出好的量化 函数 不产生大的冗余 通过调整匹配方式 以调整冗余量 多描述量化编码又 可分为多描述标量量化 m d s q 和多描述矢量量化 m d v q 2 3 1 1 标量量化 早在19 9 3 年v a is h a m p a y a n 就设计了具有好的渐进特性的多描述标量量化器 7 1 其目标是设计一对编解码器 使只有一个信道工作时所取得的失真处于一定 约束之下 并最小化两个信道都工作时所取得的失真 下面以两个描述的标量量化为例 如图2 3 所示 x 是来自信源的样本 经 过编码器得到索引l a 是一个索引匹配器 将索引l 匹配 映射 为索引 对 i j i j 相当于索引匹配器产生的两个描述 i j 分别通过信道1 信道2 传送 在解码端 如果收到两个索引 即两个描述都收到 则利用中央解码器g o 解码出质量高的信源样本重建值文 如果只收到i j 即只收到一个描述 则 利用边缘解码器9 1 9 2 解码出质量可接受的信源样本重建值文 文 图2 3 两描述标量量化 5 1 f i g u r e2 3m d s q w i t ht w od e s c r i p t i o n s 5 j m d s q 方案中关键之处在于索引分配函数a 的设计 即索引分配 i n d e x 第2 章多描述编码 a s s i g n m e n t 问题 它将索引l 匹配 映射 为索引对 i j 也可以从 i j 逆匹配 逆映射 出l 系统的性能依赖于所使用的索引分配 i n d e x a s s i g n m e n t 索引分配的好坏由索引区间的长度决定 拥有最小索引区间长度 的索引分配的系统性能最好 根据此原理 可以得到两种索引分配方法 分别称 为嵌套索引分配和线性索引分配 如图2 4 所示 二者共同点是索引对处于主对 角线上或主对角线附近的位置上 在上述的m d s q 中 v a i s h a m p a y a n 采用定长码在信道上输送信息 2 引 其码书 也是固定大小的 在固定的码率下 m d s q 使用统一的中央量化器 只能获得中央 和边缘失真之间离散的折中点 2 9 1 为提高系统的性能 1 9 9 4 年 v a i s h a m p a y a n 在原有的基础上进行了改进 提出了受熵约束的m d s q e c m d s q 1 2 8 它的重要改 善在于采用变长码代替了定长码 设计受熵约束的量化器避免了固定大小的码书 3 0 1 但m d s q 与e c m d s q 都假设所设计的码书是最优的 且适于信号的统计特性 3 0 1 编码复杂性也较高 2 0 0 2 年 这种方法扩展到两个以上的描述情况 3 对m d s q 使用需要训练码书的非统一的中央量化器 即称为通用的多描述标量量化器 u m d s q 可以获得中央和边缘失真之间连续的折中点 2 9 1 它可达到具有最优 码书的熵约束多描述标量量化器 e c m d s q 的性能 同时具有较低复杂度 睁 3 l 2 4 5 r l 6 79 l 81 0l 1 21 31 5 j 1 4 1 61 7 1 81 92 1 2 0觊j a 嵌套索引分配 a n e s t e di n d e xa s s i g n m e n t l2 34 6 i 518 9i ol l 1 2l 毒 31 5j 6 1 71 8 1 92 l b 线性索引分配 b l i n e a ri n d e xa s s i g n m e n t 图2 4m d s q 的两种索引分配方法 f i g u r e2 4t w oi n d e xa s s i g n m e n tm e t h o d su s e di nm d s q 2 0 0 3 年 g a v r i l e s c u 等提出一种嵌入式多描述标量量化器 j 州 使用多描述统 一标量量化m d u s q 以达到在不可靠的信道上鲁棒且渐进地传输 它还使用了一种 嵌入式的索引分配 t h ee m b e d d e di n d e xa s s i g n m e n t 策略 其性能优于m d s q 中的嵌套索引分配策略 改善了渐进传输信息的率失真性能 它在编码每个描述 时采用e b c o t 编码原则进行位平面编码 m d u s q 与嵌入式的标号函数可以一起整合 到j p e g 2 0 0 0 模型 j p e g 2 0 0 0v e r i f i c a t i o nm o d e l 中 该方案很好的适用于细 粒度的媒体 并可对每个描述进行渐进传输 并提出以任意信道数目为目标的 嵌入式多描述标量量化器的一般形式 使设计实际多信道通信编码器成为可能 9 北京工业大学工学硕士学何论文 在低码率 高冗余的情况下 用m d u s q 和嵌入式的标号函数的多描述方案可获得 很好的边缘p s n r 另外 m d s q 与小波变换阮3 3 1 子带编码 和网格量化 3 5 1 相结合也取得了较 好的编码效果 文献 3 2 3 3 中设计并优化了基于小波的多描述图像编码算法 它将高效的小波图像变换算法与多描述标量量化结合起来 其中 使用了利于理 解的小波变换来去相关 优化了量化变换系数的量化器的参数 在低码率的情况 下 其编码性能很好 有一定的竞争力 文献 3 4 中提出了一种使用多描述量化 器的有效m d c 方案 它将图像按高频 低频将子带分类 形成信源的分层表示 并根据对编码码率和边缘失真的整体限制及子带的重要性程度 为图像子带的类 分配较优的码率 插入合适的冗余 其优势保护了边的信息 文献 3 5 提出一个 多描述的网格编码量化器 使用网格的张量基来构建网格 并将其应用到多描述 编码中 该网格结构具有多描述的特性 编码过程可以同时产生所有的传输序列 该方案具有线性的复杂性 且与码率无关 取得了显著的性能 2 3 1 2 矢量量化 多描述矢量量化相当于对多描述标量量化的扩展 但在相同码率下 矢量量 化的失真比标量量化的小 故多描述矢量量化优于多描述标量量化 且更适合低 码率的情况 多描述矢量量化 m d v q 主要有直接矢量 3 6 树形矢量 3 7 3 8 和格型矢 量量化 l v q 3 9 4 0 1 9 9 1 年 v a i s h a m p a y a n 提出了一种两信道多描述矢量量化器 36 1 该方案块 图如图2 5 对于每个矢量x 编码器q 将其转变为两个索引i n d e x l i n d e x 2 每 个索引再分别通过y y 映射为变长二进制码 经相应的信道 传送到解码端 b 解码收到的两个索引 0 b 分别解码相应的单个索引 y o y l y 2 是相应解码器再生的矢量 葛 l 珈 珈 图2 5 二信道矢量量化块图p 4 1 f i g u r e2 5m d v q w i t ht w od e s c r i p t i o n s 3 4 l 1 9 9 9 年 m i c h a e lf l e m i n g m i c h e l l ee f f r o s 提出了一种适用于任意数量信 道的多描述矢量量化器 3 7 1 这种方法基于三元树结构 由树形矢量量化 t s v q 的方法得到 如图2 6 所示 树中的每个叶结点代表一个码字 其中 处于最深 层的叶结点代表不丢包情况下的码字 剩下的叶子相当于所有其它丢包情况下的 l o 第2 章多描述编码 再生矢量 其中 处于水平路径的代表丢失一个包 处于向下路径代表成功接受 了一个包 该多描述矢量量化器 适用于较宽范围的丢包情况 可以在码率和失 真的任意限定条件下产生固定码率或变化码率 2 0 0 1 年 c a r d i n a l 提出了另一个基于树形矢量量化的方法 3 8 l