（模式识别与智能系统专业论文）视频编码传输的容错纠错优化方法.pdf

摘要 由于数字压缩视频对于传输差错极为敏感，比特差错将会导致视频图像质量显著下降， 因此如何在具有时变、高误码特征的无线信道上实时、可靠的传输视频数据，提高视频通信 质量成为一项重要课题。本文深入研究了差错信道下的视频传输所面临的问题，并提出多种 容错或纠错的优化算法。以下是本文提出的四种容错纠错优化方法。 传统的视频码率控制在差错信道上工作时具有这样两个缺点：差错信道上纠错编码导致 信道实际的传输码率大于视频编码的设定码率，从而超出信道带宽限制；纠错编码在信道误 码率很高时，占用过大带宽。针对这些问题，本文提出一种面向无线信道的码率控制方法， 该方法具有这样一些特点：综合了纠错编码和视频编码；混合f e c a r q 的纠错编码，其有 根据信道状况自适应选择最优纠错模式的能力：优化的带宽资源分配，建立率失真模型优化 纠错编码和视频编码的比特分配。 参考帧选择是一种降低图像错误扩散，增强视频抗差错能力的有效方法。原有的参考帧 选择方法具有复杂度高，编码效率低的特点。为解决这些问题，本文提出一种基于率失真优 化、低复杂的参考帧选择方法。该方法通过在编码器上同步解码的误码掩盖过程，使得错误 掩盖图像也可乍为可选参考帧，增加了编码效率。此外，该方法使用率失真优化方法选择参 考图像，进一步增加了编码效率。在率失真优化的过程中，使用图像差值的预测值代替运动 估计，大大简化了系统的计算复杂度。 多描述视频编码是一种面向多信道传输的视频编码方法。它通过多信道传送多个同等重 要的视频流，来增强视频的抗差错能力。多描述编码存在一个重大问题，即当差错发生时， 编解码器上的参考图像会产生失配，这样将引起图像错误扩散。本文提出一种基于误码掩盖 补偿的多描述视频编码方法。该方法传输错误掩盖图像与理想图像之间的差值到解码器，理 想状态下，解码器可利用这些差值完全无损的恢复错误图像。为提高这种方法的编码效率， 本文面向差错信道，进一步提出白适应调节补偿程度的优化方法。通过自适应调节，解码器 在有限带宽下，可获得最优的图像质量。 在i p 分组交换网络中，一旦发生误码，整个报文将被丢失，这样的工作机制将丢弃报 文中很多有用信息。针对这个问题，本文提出一种联合信道编码和多报文解码的优化方法。 该方法通过跨层优化，修改网络协议层，并在信道纠错编码中综合使用比特f e c 和报文f e c 。 通过上述优化，解码器可以收到误码报文。在视频解码过程中，解码器利用报文f e c 产生 的多个报文解码，从而充分利用了误码报文中的有用信息，有效增加了解码成功率。 本文的仿真实验表明了上述四种优化方法的有效性。 关键词：视频传输，纠错编码，码率控制，率失真优化，参考帧选择，多描述视频编码 a b s t r a c t c o m p r e s s e dv i d e os t r e a mi sh i g h l ys e n s i t i v et ob i te r r o rw h e ni ti st r a n s m i t t e di ne r r o r - p r o n e c h a n n e l ，p i c t u r ei sd a m a g e dt o os e r i o u s l yt oa c c e p t a b l ew i r e l e s sc h a n n e li sak i n do fe r r o r - p r o n e c h a n n e l i ti sc h a r a c t e r i z e db ys t a t ev a r i a n c ea n dh i g he r r o rr a t e h o wt oi n c r e a s ee r r o r - r e s i l i e n c e i so n ei m p o r t a n tw o r kf o rw i r e l e s sv i d e oc o m m u n i c a t i o na p p l i c a t i o n i nt h i st h e s i s ：w ed e e p i n v e s t i g a t et h ep r o b l e mi nv i d e ot r a n s m i s s i o n ，a n dp r o p o s ef o u ro p t i m a le r r o r r e s i l i e n ts c h e m e s t r a d i t i o n a lv i d e or a t ec o n t r o ls c h e m eh a st w od i s a d v a n t a g e sf o re r r o r - p r o n en e t w o r k ：f i r s t ， t h ee r r o rc o r r e c t i o nc o d i n gm a k e sr a t ec o n t r o lb u f f e ro v e r f l o w , a n di n c r e a s e st h en u m b e ro f s k i p p e df r a m e s ；s e c o n d ，t h ee r r o rc o r r e c t i o nc o d i n gu s e st o om u c hb a n d w i d t hi nh i g he r r o rr a t e c h a n n e l i no r d e rt or e s o l v ea b o v et w op r o b l e m s ：o n er a t ec o n t r o ls c h e m ei sp r o p o s e df o rw i r e l e s s c h a n n e lt h e s c h e m ei so ft h e s ec h a r a c t e r s ：j o i n te r r o rc o r r e c t i o na n dv i d e oc o d i n g ；h y b r i d f e c a r qe r r o rc o r r e c t i o nc o d i n g ；o p t i m a lb i ta l l o c a t i o nb e t w e e ne r r o rc o r r e c t i o nc o d i n ga n d v i d e oc o d i n gb ye n dt oe n dr a t e d i s t o r t i o nf o r m u l a r p s ( r e f e r e n c ep i c t u r es e l e c t i o n ) i so n eo fe f f e c t i v es c h e m e sf o r 、j i d e oe r r o r r e s i l i e n c e i t s e l e c t sa p p r o p r i a t er e f e r e n c ep i c t u r et oc e a s ee r r o rp r o p a g a t i o n r p si so fh i g hc o m p l e x i t ya n d l o we f f i c i e n c y i nt h i st h e s i s ，a no p t i m a ll o w - c o m p l e x i t yr p ss c h e m ei sp r o p o s e df i r s t l y , t h e e n c o d e rp e r f o r m se r r o rc o n c e a l m e n ts t e p st h es a l n ea st h ed e c o d e ro nt h eb a s i so ft h ef e e d b a c k i n f o r m a t i o n s e c o u d l y , t h ee n c o d e rs e l e c t sa l lo p t i m a lr e f e r e n c ep i c t u r eb e t l v e e nr e c o n s t r u c t e d e r r o rp i c t u r ea n dp r e c e d i n gp i c t u r eb yp r o p o s e dr a t e d i s t o r t i o na l g o r i t h m i na b o v ep r o c e s s ， p i c t u r ee r r o rv a r i a n c ei sp r e d i c t e dl i n e a r l yt od e c r e a s et h en u m b e ro fm o t i o ne s t i m a t i o np r o c e s s ， a n dt h e nc o m p u t a t i o nc o m p l e x i t yi sl o w e r e d m d v c ( m u l t i p l ed e s c r i p t i o nv i d e oc o d i n g ) i sf o rm u l t i p l ec h a n n e l ss y s t e m i nt h i ss y s t e m ， m u l t i p l ee q u a li m p o r t a n t s t r e a m sa r et r a n s n f i t t e di nd i f f e r e n tc h a n n e l s m d v ch a so n e w e l l - k n o w nd i s a d v a n t a g e ：b i te r r o rc a u s e st i l em i s m a t c ho fr e f e r e n c ep i c t u r ea n dd e g r a d e st h e p i c t u r eq u a l i t ) ，t os o l v et h i sp r o b l e m ，a ne r r o rc o m p e n s a t i o nm d v cs c h e m ei sp r o p o s e d i nt h i s s c h e m e ，e r r o rc o m p e n s a t i o ni n f o r m a t i o ni st r a n s m i t t e da l s ow i t hg e n e r i cd e s c r i p t i o ni n f o r m a t i o n d e s c r i p t i o nd e c o d e rd e c o d e s e r r o rc o m p e n s a t i o ni n f o r m a t i o nt or e c o n s t r u c tt h ee r r o rp i c t u r e a d d i t i o n a l ，ab i ta l l o c a t i o na l g o r i t h mi sp r o p o s e dt oa d ju s te r r o rc o m p e n s a t i o nd e g r e ea d a p t i v et o t h ec h a n n e ls t a t e i ne r a s u r ec h a n n e ls u c ha si pc h a n n e l e r r o rp a c k e ti sw h o l ed i s c a r d e d i no r d e rt om a k ef u l l u s eo fc o r r e c tb i t si ne r r o rp a c k e t ，m u l t i p l ep a c k e t sd e c o d i n gs c h e m ei sp r o p o s e d f i r s t l y , t h r o u g h c r o s s - l a y e ro p t i n u z a t i o na n db i tl e v e lf e cc o d i n g ：d e c o d e rc o u l dr e c e i v ee r r o rp a c k e t s s e c o n d l y ， b yp a c k e tl e v e lf e cc o d i n g ，d e c o d e rc o u l dd e c o d en m l t i p l ee r r o rp a c k e t s e x p e r i m e n t ss h o wa l lo ft h ea b o v ef o u ro p t i m a ls c h e m e sc o u l di m p r o v ep i c t u r eq u a l i t y g r e a t l y k e yw o r d s ：v i d e ot r a n s m i s s i o n ，e r r o rc o r r e c t i o nc o d i n g ，r a t ec o n t r o l ，r a t e d i s t o r t i o n ，r e f e r e n c e p i c t u r es e l e c t i o n ：n m l t i p l ed e s c r i p t i o nv i d e oc o d i n g 图表目录 图ll 误码发生时丢弃大量数据 图l2 误码扩散导致图像质量持续下降 图2 1h 2 6 1 的视频编解码器 图2 2 基本的d p c m d c tm p e g 1 编码侑翠码器结构 表2 1m p e g l 和m p e g 2 的基本参数比较 图2 - 3m p e g 4 图像视频编码工具分类 图24m p e g 4 视频编解码器 图2 5s l i c e 的各种划分方式 图2 6g o b 与s l i c e 在码流中的表现 图2 7r v l c 解码过程 图2 8r v l c 码字 图2 9 码流数据分区示意图 图2 1 0r s 码保护 图2 1 l 独立分区预测示意图 图21 2 错误对解码图像序列的影响 图2 1 3 多参考帧选择模式 图2 1 4 分层编码示意图 图21 5 时域可缩放性结构 图2 1 6m d c 编码工作示意图 图2 1 7 联合信源信道编码 图2 1 8 空域恢复方法 图3 1 码率控制工作示意图 图32 率失真模型示意图 图3 3t m n 8 工作框图 图34 无线信道m a r k o v 模型 图3 5 本文采用a r q 的报文重传示意图 图3 6e c 编码效率随报文分组大小k 变化关系 图3 7e c a r q 发送报文个数与丢包率关系 表3 1 预测纠错编码对跳帧的影响 图3 8 尺玎对于h y b r i d 、p r e a r q 和p r e f e c 的性能影响比较图 图3 9 p 对于h y b r i d 、a r q 和f e c 的性能影响比较图 图31 0 部分报文重传示意图 图3 1 1 不同码率下带比特分配a r q 与一般a r q 比较 图3 1 2 矽= 1 0 不同码率下不同f e c 纠错报文图像质量比较 图3 1 3 不同报文丢失率下f e c 的工作：| 犬况 v i 2 2 6 8 8 1 2 1 3 1 8 1 8 1 9 1 9 2 0 2 0 2 l 2 2 2 2 2 3 2 4 2 5 2 5 2 6 3 0 3 2 3 5 3 7 3 8 4 l 4 l 4 4 4 5 4 6 4 9 5 3 5 6 5 7 图3 1 4 不同报文丢失率下比特分配效果图 图4 1 误码扩散示意图 图42 帧内编码中止误码扩散示意图 图4 3r p s 的两种工作模式 图4 4 误码重建及多参考帧选择示意图 图45 妒3 ，1 2 8 k b p s 不同报文丢失率三种方法图像比较 图4 6 妒3 ，旷1 5 不同码率三种方法图像质量比较 图4 7a f 2 ，1 2 8 k b p s 不同报文丢失率三种方法图像比较 图48 妒2 ：矿1 5 不同码率三种方法图像质量比较 图5l 多描述编码基本框架 图5 2i f m d v c 图像分割方法一 图5 3i f m d v c 编解码示意图 图5 4e c i f m d v c 编码和误码掩盖补偿过程一 图55 报文丢失率1 0 ，r 取不同值时两种方法比较一 图56r = 2 2 4 k b p s ，各种报文丢失率两种方法比较 图6lo s i 架构中跨层优化示意图一 图6 2 报文f e c 工作原理 图63 跨层优化网络各层示意图 图64 信道纠错编码示意图 图6 6j f e c 、e c 和b f e c 不同误码率环境性能比较 图67w c d m a 网络协议框架 四 甜 甜 观 舛 卯 卯 勰 加 佗 乃 弛 力 跎 奶 蚪 踮 鼯 黔 中国科学技术大学博士学位论文 第l 章绪论 1 1 研究的背景和意义 第l 章绪论 近十年来，多媒体通信技术飞速发展并获得巨大的商业成功。有线多媒体通信技术己趋 于成熟，如建立在集成服务数字网( i s d n ，i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 上使用的 h 2 6 1 h 2 6 3 标准的视频电话、使用m p e g 的视频点播( v o d ：v i d e oo nd e m a n d ) 、多媒体电 子邮件、有线数字电视、电子商务和视频监控等技术己获得广泛应用。随着第三代( 3 g ) 个人通信标准、宽带接入网络标准和无线宽带网络设施的建设，无线多媒体通信技术己成为 人们关注和研究的热点。第三代移动通信网可以在一般移动状态下，达至0 3 8 4 k b p s 的传输速 率，在车速行进中，也可达1 2 8 k b p s ，在固定应用上可达2 m b p s ，无线局域网( w l a n ) 可提 供高达每秒数兆至数十兆的传输速率。在这样的带宽下，各种多媒体业务如实时视频传输将 成为可能。可以预期，在未来的几年内，无线多媒体业务不论在种类，质量还是市场占有率 都将超过目前的有线多媒体业务。 在多媒体数据中，视觉信息作为人类最“赏心悦目”的信息将大放光彩。视频是连续运 动的图像序列，每幅图像称为一帧，由于人眼的视觉惰性，每秒2 4 帧播放图像，就在视觉上 形成了具有连续活动影像感觉的视频。视频信息的重要性取决于： 人类接受的信息有7 0 来自视觉； 视频信息有系列的优点：确切、直观、具体、生动、效率高、应用广等； 视频信息容量大，通过视觉获得的视频信息，比通过听觉获得的音频信息具有更大的信 息量。 1 1 1 存在的问题 数字视频的数据量也是非常巨大的，视频通信要求网络能提供很高的数据传输速率。由 于网络带宽的限制，直接传输未压缩的视频序列是不现实的。为节省视频所占用的带宽，视 频传输前，必须对其进行压缩编码。 通过多年的研究，研究者提出了多种成熟的视频压缩编码标准，如h 2 6 3 、m p e g 4 等。 这些标准无一例外的采用了可变长编码和帧间预测编码技术。这些编码技术在极大增加视频 编码效率的同时，也使得压缩视频易受信道误码或丢包影响。从某种程度上说，压缩比越大 的编码算法，其对信道错误越敏感。这是因为，视频压缩的从本质上说是利用图像序列中的 相关性来消除信息冗余，压缩比越大，冗余消除越多，压缩图像之间的相互依赖就越强。这 样就导致了，当整个图像序列中有部分出错时，错误会扩散到后续的图像序列中，并且这种 错误具有累积效应。因此，视频传输可靠与否对于视频图像质量具有重大影响，严重时，视 频甚至无法解码。图1 1 给出了变长编码对于视频抗误码能力的影响，由于使用了可变长编 码，解码器在检测到错误后只能直接跳到下个同步头继续解码而导致丢弃大量数据。图l2 给出错误扩散对于图像质量的持续影响，从图中可以看出，无错误图像在质量上是稳定的， 而错误图像质量显著下降，并且随着帧数增加而递增。 中国科学技术大学博士学位论文 第1 章绪论 错误检测定位 解码 解码 图1 1 误码发生时丢弃大量数据 、 、 t 、 | ；。 卜n 0e r r o r t 卜e n o r l j 、 ；、 。瓯、 * 。、 。一e 誊- 一。：b 图1 2 误码扩散导致图像质量持续下降 i p 分组交换的具有广泛的应用基础，很多数据业务都构建于i p 分组交换网络之上。在 无线视频通信领域，i p 分组交换模式同样被广泛采用。本文的研究针对i p 分组交换的无线 网络。在这样的网络中，视频传输存在两种问题： ( 1 ) 当视频报文在网络各个节点上传输时，遇到网络拥塞，如果传输采用的是不可靠的通信 协议( 如u d p ) ，报文将被丢弃；如果传输采用的是可靠的通信协议( 如t c p ) ，报 文被丢弃后，协议会进行超时重传，但是如果重传时间大于视频播放时限，那么报文将 是无效报文。 ( 2 ) 由于无线信道具有时变、高误码率的特征。当视频报文在传输过程发生错误时，报文将 被丢弃。与( 1 ) 相似如果采用不可靠协议，报文被永久丢弃，如果采用了可靠传输协 议，报文将被重传，但是重传时间必须小于视频播放时限。 综合上述讨论，在i p 分组交换的无线网络中，视频传输面临两种丢包情况，一种为拥 塞丢包，一种为误码丢包。这也是优化视频传输面临的两个主要问题。 1 1 2 面临的困难及课题的意义 优化视频传输涉及两方面的内容，网络传输优化和视频编解码优化。这两个问题本身都 可独立作为课题研究。而对视频传输而言，却需要综合考虑这两方面的因素，通过联合优化 来达到目的。因此，优化视频传输具有相当的复杂度。 网络具有复杂的结构，而在其上传输的报文也在一定程度上具有不确定性。这种不确定 性表现为： 2 中国科学技术大学博士学位论文第1 章绪论 ( 1 ) 报文传输时延具有不确定性 报文的传输时延与网络的工作状况有关，也与传输时采用的协议相关。当网络拥塞时， 产生拥塞时延：当报文因为误码或拥塞而被丢弃时，可能产生重传时延，是否重传取决于所 采用的传输协议( 如t c p 或u d p ) 。 ( 2 ) 报文丢失率具有时变性 在视频应用中，超过播放时限的报文也视为无效的报文。因此，网络的拥塞状况，误码 状况，以及传输协议都会影响网络中的报文丢失率。由于上述几个因素会随着时间变化，从 而导致报文丢失率也是时变的。 上述两种不确定性表明，为了优化视频的网络传输，需要让优化参数随着网络工作状态 变化而改变。这加大了视频优化的难度，也是本文工作的重点之一。 视频编解码是视频通信中的重要课题。一般情况下，视频编码研究的中心课题是如何增 大数字视频的压缩率并保持图像质量。由节1 1 1 的讨论可知，正是由于视频压缩导致视频 图像易受传输差错影响。为了增加视频的抗误码能力，需要在进行纠错编码。纠错编码增加 了视频的冗余，这与视频编码追求大压缩率的目标互相矛盾。因此，需要在这两个相互矛盾 的方法上进行平衡，其目的是使得端到端的视频图像质量达到最优。此外，网络带宽作为一 种希缺资源，视频通信对于带宽占用的要求是很苛刻的。如何在有限带宽下，平衡视频编码 压缩率和纠错编码冗余度是视频编码传输优化的另一个难点。 由上述讨论，本文的工作难点和重点在于，根据信道时变的工作状态，优化调节视频编 码和纠错编码参数，使得视频通信应用在满足带宽限制时，取得端到端的最优图像质量。 根据上述工作难点，本文提出了四种优化方法。这四种方法面向不同的应用环境，采用 了不同的优化策略。实验结果证明，这些方法显著增强了视频抗误码的能力，有效提高了差 错信道上的视频图像质量。 1 2 论文的主要工作和成果 论文的工作重点是研究数字压缩视频在易错信道( 如无线移动信道、i p 交换网络等) 上传输时，应该选择何种容错或纠错算法，以及在有限的资源下，如何优化这些算法，从而 尽可能提高视频的抗误码能力，改善视频图像质量。论文中提出的容错或纠错算法有： 1 针对易错信道优化的码率控制算法 码率控制算法是视频编码中的关键技术，它控制视频编码的输出码率，使其满足信道带 宽的需求。在易错信道中，由于采用了a r q 或f e c 的纠错方法，使得信道实际需要传输的 数据大于信道的带宽。论文提出的基于易错信道优化的码率控制算法是一种联合了视频纠错 编码与视频编码的优化控制方法。算法采用混合a r q f e c 纠错方法，并对每种纠错模式， 基于信道带宽，进行资源分配。从而使得该算法在不同的信道环境下( 信道时延、信道误码 率) 都具有很好的性能。 2 基于率失真优化的低复杂度参考帧选择 参考帧选择是一种有效的视频抗误码方法。它通过选择不同的参考图像以避免使用误码 图像作为参考帧，从而终止了由图像预测编码引起的图像错误扩散。论文提出一种基于率失 真优化的参考帧选择方法。论文首先建立了基于参考帧选择的误码图像失真扩散模型，并在 中国科学技术大学博士学位论文第1 章绪论 这个模型上，建立了率失真( r a t e d i s t o r t i o n ) 优化表达式，然后根据这个表达式，选择编 码图像的最优参考帧。 3 基于率失真优化的多描述视频编码 多描述视频编码利用多个信道传输多个同等重要的视频数据流，每个数据流部可解码， 并一定程度上恢复整个图像。利用多个信道同时误码概率较低的特点，多描述视频编码具有 良好的抗信道误码能力。论文提出一种基于误码掩盖补偿的多描述编码方法，并在该方法上 使用率失真优化，控制误码掩盖补偿比特与视频编码比特的分配，从而使得该方法能够根据 信道特征自动调节冗余比特与视频编码比特。 4 联合信道编码和多报文解码的优化方法 在i p 分组交换中，误码会导致整个报文丢失，这种方法将会浪费误码报文中很多有用 信息。论文提出一种联合信道编码和多报文解码的优化方法，该方法通过跨层优化和信道编 码使得i p 误码报文也能够尽可能的传输到视频解码器，然后利用多个误码报文进行解码。 这样就有效利用了误码报文中的正确信息，提高了误码i p 分组交换网络中的图像质量。 1 3 论文的内容安排 论文的内容主要围绕节1 2 给出的几种视频传输的容错纠错优化算法展开，其内容的章 节安排如下： 第一章是绪论，主要说明选题的背景，及选题的意义，并对目前视频传输中遇到的一些 困难作简要说明。 第二章是综述，简要介绍了当前主流的视频编码标准，以及视频传输中可能采用的容错 纠错技术。 第三章给出一种无线视频的码率控制方法。其主要内容包括：分析在不考虑时延情况下 f e c 和a r q 的效率：讨论时延对f e c 和a r q 工作效率的影响，并给出一个判决式，用于 根据时延选择f e c 或a r q 纠错模式；建立基于f e c 的率失真模型，优化f e c 的比特分配； 建立a r q 的率失真模型，优化a r q 的比特分配。 第四章给出一种率失真优化的参考帧选择方法。其主要内容有：建立基于多参考帧的信 道和信源失真模型：根据失真模型得到参考帧选择判别式；简化参考帧选择的计算复杂度。 第五章给出一种基于率失真优化的多描述视频编码方法。该方法针对i f m d v c ( i n d e p e n d e n tf l o wm u l t i p l ed e s c r i p t i o nv i d e oc o d i n g ) 提出误码掩盖补偿方法。第五章中给出 了这个方法的框架和原理，并基于误码信道建立了补偿信息与视频编码的比特分配表达式。 第六章给出一种联合信道编码与多报文解码的优化方法。其主要内容包括：给出跨层优 化框架；对网络层的各层采用不同的纠错算法，综合应用了比特纠错f e c 和报文纠错f e c ： 给出多报文解码的算法流程：讨论了算法实现困难及一些解决办法。 第七章是全文总结，主要是对上述算法的工作总结，并提出将来的工作方向。 最后是参考文献与致谢以及本人在攻读博士学位期间的发表的论文及其它一些工作成 果。 4 中国科学技术大学博士学位论文 第2 章视频编码及传输的容错纠错 第2 章视频编码及传输的容错纠错 视频编码传输是当前很活跃的研究课题，涉及信号处理和网络通信两大技术领域。前者 主要专注于视频编码算法和错误掩盖算法的研究；后者结合信道特征研究数据报文的可靠传 输问题。 2 1 图像数据压缩的原理 1 数据压缩就是力图以最小的数码( 比特数) 表示信源发出的信号，减少必须分配给指定 信息集合或数据采样集合的信号空间的数值。数据压缩的原理应从信源和信宿两个方面进行 分析。 信息论的观点认为信源中总是或多或少含有自然冗余，这些冗余即来自信源本身的相关 性，又来自信源概率分布的不均匀性。从信息论我们可以得出两个重要结论： ( 1 ) 离散无记忆信源的冗余度存在于信源符号的非等概率分布中，这是数据压缩的基本 途径之一； ( 2 ) 联合信源冗余度也寓于信源间的相关性中，消除或减少它们之间的相关性，使之成 为不相关信源，是数据压缩的又一基本途径。 因此，消除或减少信源的冗余度是实际数据压缩的基本依据。图像数据的冗余包括以下 几类： 空间冗余，在同一幅图像中，规则物体或规则背景的表面物理特征具有相关性。这些相 关性在相应的数字图像数据中表现为空间冗余。 时间冗余，图像序列中前后两帧图像之间的时间域相关性很大，这反映为时间冗余。 信息熵冗余，信息熵是信源的平均信息量，信源以等概率分布时，熵为最大值，熵的最 大值与非等概率分布时的熵值之间的差值就是信息含有的冗余度，称为信息熵的冗余。 视觉冗余，人类的视觉系统对于图像的感知是非均匀和非线性的，充分利用视觉特性是 图像压缩编码从信宿角度获得数据压缩的基本依据。 结构冗余，有些图像在较大的区域存在很强的纹理结构，称为结构冗余，如果已知这些 纹理的分布模式，可以通过某一过程生成图像。 知识冗余，对许多图像的理解、分析、综合与一些基础知识有关。对于某些图像内容确 定的特定场合，可由先验知识、背景知识一类规律化的结构，建立图像景物模型。这类冗余 称为知识冗余。 局部相似性冗余，给定图像某一区域，往往可以在该区域附件找到一个更大的区域，两 者在仿射变换下相等或非常相近，这种特性称为局部相似性。 图像区域的相同性冗余，在图像的两个或多个区域所对应的所有象素相同或相近，从而 产生的数据重复性存储，这就是图像区域相同性冗余。 纹理的统计冗余，有些图像纹理在统计意义上服从某一分布规律，利用这种性质也可以 减少表示图像的数据量，称之为纹理的统计冗余。 在上述各种冗余数据中，空间冗余和时间冗余具有普遍性，从而在现有视频编码技术中 中国科学技术大学博士学位论文第2 章视频编码及传输的容错纠错 被着重考虑。 数据压缩编码技术可分为在某种程度上可逆和实际上不可逆的两大类。可逆压缩称为冗 余度压缩，又称为信息保持编码、无失真( 1 0 s s l e s s ) 编码或熵编码( e n t r o p yc o d i n g ) 。冗余 度压缩是依靠消除或减少信源的冗余度。它没有信息的丢失，可以根据压缩后的数据完全地 恢复原来的数据。它始终是一个可逆过程。 不可逆压缩是一类有失真的( 1 0 s s y ) 编码方法，信息论中叫做熵压缩( e n t r o p y c o m p r e s s i o n ) 。熵压缩导致信息丢失，丢失了的信息是无法恢复的，所以熵压缩是一个不可 逆过程。 冗余压缩与熵压缩结合形成混合编码技术，它体现了不同类型技术的交叉和综合。许多 国际标准都采用混合编码技术。 2 2 视频压缩标准 目前，i s o 和i t u 等国际组织正式颁布的图像和视频编码标准主要有i t u th 2 6 1 、 i s o i e cl l l 7 1 ( m p e g l ) 、i s o i e c1 3 8 1 8 ( m p e g 2 ) 、i t u t h 2 6 3 、i s o i e c1 4 4 9 6 ( m p e g 4 ) 、 i t u th 2 6 3 + + 和i t u th 2 6 4 等。本文选择部分有代表性的编码标准作简要介绍。 2 2 1h 2 6 1 标准 2 i t u th 2 6 1 标准( i t u tr e c o m m e n d a t i o nh 2 6 1 ，v i d e oc o d e cf o ra u d i ov i s u a ls e r v i c e sa t p x 6 4k b i t s ) 是c c i t t ( i t u t 的前身) 于1 9 9 0 年制定完成的，是视频压缩编码的第一个国 际标准。视频压缩编码的许多标准如m p e g 和h 2 6 3 等都是在它的基础上发展起来的。它 的制定集中体现了人们在图像压缩编码方面数十年的研究成果。 c c i t t 制定h2 6 1 标准的主要目标是在p x 6 4k b i t s ( 1 卸s 3 0 ) 的信道上提供可视电话和 视频会议等业务，在h 2 6 3 标准颁布之前，h 2 6 1 是i t u 在可视电话和视频会议应用中的推 荐标准。 h 2 6 l 编码算法采用了基于d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 的混合编码方案。其编码器 如图2 1 所示： 图2 1h 2 6 1 的视频编侑翠码器 6 中国科学技术大学博士学位论文第2 章视频编码及传输的容错纠错 h 2 6 1 为提高编码压缩率，编码器除了减少空间冗余外，还利用图像的时域相关性来减 少图像的时间冗余。为此，h 2 6 1 采用了帧内( i n t r a ) 编码和帧间( i n t e r ) 编码两种编码模 式。在解码器端，将预测帧用作当前帧的预测之前，先让它通过一个低通滤波器，可降低预 测误差，这个滤波器称为环路滤波器( 可选项) 。 2 2 2m p e g l 标准 3 】 4 】 m p e gl 标准( i s o d e cl ll7 2 ，c o d i n go fm o v i n gp i c t u r e sa n da s s o c i a t e da u d i of o rd i g i t a l s t o r a g em e d i aa tu pt oa b o u t1 5 m b i t s ) 是i s om p e g 工作组第一阶段的工作成果，于1 9 9 2 年完成，是混合的视听信号在约1 5 m b s 比特率下的编码。标准分为五个部分：系统、视频、 音频、符合性测试( 指明用哪种方法来验证设备制造商和比特流生产商自称符合标准的声 明) 、软件模拟( m p e g l 标准的全c 语言实现) 。 m p e g 1 视频编码只支持亚采样图象( 一帧只有一场，且一行只有一半样本) ，压缩技 术基于宏块结构、运动补偿。 输入图象被分成8 x 8 像素的宏块。每个宏块y ：u ：v 亮度和色度像素之间的采样比率为 4 ：1 ：l ，编侑翠码以宏块为单位。在运动补偿中，图象帧被分为四种类型： i 帧：帧内编码帧( i n t r a c o d e df l a m e ) 。编码时采用类似j p e g 的帧内d c t 编码，压 缩比最低。视频序列的第一帧是i 帧。 p 帧：预测编码帧( p r e d i c t i v e l yc o d e df r a m e ) 。采用前向运动预测补偿及误差d c t 编 码技术，预测的参考图像为其前面的i 帧或p 帧的编码重建图像。 b 帧：双向预测编码帧( b i d i r e c t i o n a l l yp r e d i c t i v e l yc o d e df l a m e ) 。采用双向运动预测 和补偿及误差d c t 编码技术，预测的参考图像为其前面或后面的i 帧或p 帧。b 帧的压缩 比最高。 d 帧：直流编码帧( d cc o d e df r a m e ) 。该帧只包含宏块d c t 变换后的直流分量。 m p e g 1 采用基本的d p c m d c t 混合编码侑翠码器结构，如图2 2 所示，其编码过程为： 选择合适的空间域分辨率，使用基于8 x 8 块的运动补偿( m c ) 以减少时域冗余；差值信号 利用d c t 压缩以消除空间域相关性，并通过量化( q ) 控制编码的信，皂、损失程度；用变长 编码( v l c ) ，一般是行程编码来进一步压缩生成传输的码流。解码和编码过程相反。 编码器 码流 f s ：f r a m es t o r e ，v b ：v i d e o 7 解码器 中国科学技术大学博士学位论文 第2 章视频编码及传输的容错纠错 图2 2 基本的d p c m d c tm p e g l 编码解码器结构 在编码器和解码器端传输的除了码流，还有d c t 的量化步长。通过调整量化d c t 系数 时的量化步长，可以调整传输比特率，从而改变重建视频的质量。压缩视频的码率控制方法 不是m p e g 1 标准的部分，开发有效率的策略留给了编码器的实现者。 2 2 3m p e g 2 标准 5 】【6 】 m p e g 2 标准( i s o i e c1 3 8 1 8 ，g e n e r i cc o d i n go fm o v i n gp i c t u r e sa n da s s o c i a t e da u d i o i n f o r m a t i o n ) 是m p e g 工作组第二阶段的工作成果，于1 9 9 4 年制定完成。m p e g 2 是m p e g l 编码标准的超集，并且向后兼容m p e g i 。相对于m p e g l ，m p e g 2 有新的视频编码特性： 支持编码4 ：2 ：0 、4 ：2 ：2 、4 ：4 ：4 格式的隔行序列，4 ：2 ：0 格式的色度采样点位置水平移动 0 5 个像素。 运动补偿引入了场预测。 增加可分级的视频编码，实现了变质量的视频传输。 引入p r o f i l e 和l e v e l 的概念。一个p r o f i l e 是个算法集合，是下一层p r o f i l e 的超集。l e v e l 指明了实现支持的参数取值范围。每个应用都是用到的编码工具的子集，此举限制了应 用的复杂性。 引入图像组( g o p ) ，可以支持随机访问或编辑功能。 引入条带结构( s l i c es t r u t u r e ) ，包含多个宏块，方便处理传输过程中出现的误码和丢包。 系统层语法有较大扩展，定义了两类码流，传送流( t r a n s p o r ts t r e a m ) 和节目流( p r o g r a m s t r e a m ) 。 更加精确的时间标签。 矗篁f 熏x j k m e g 誓 标准化 1 9 9 21 9 9 4 主要应用c d r o m 上的视频数字t v ( 和h d t v ) 空间域分辨率 s m 格式( 1 4t v ) 2 8 8 3 6 0 像素t v ( 4 x t v ) 5 7 6 x 7 2 0 ( 1 1 5 2 1 4 4 0 ) 时域分辨率2 5 3 0 帧秒5 0 6 0 场秒( 1 0 0 1 2 0 场秒) 比特率 1 5 m b s4 m b s ( 2 0 m b s ) 质量可同v h s ( 家用录象机系统) 相比可同n t s c p a l 电视相比 在p c m 上的压缩比率 2 0 3 03 0 4 0 表2 1m p e g l 和m p e g 2 的基本参数比较 m p e g 2 主要用于数字视频存储，视频广播和通信，如d v b 、h d t v 、c a t v 、d v d 以 及v o d 和m o d 等，表2 1 给出了m p e g i 和m p e g 2 在应用表现上的一些不同。m p