（交通信息工程及控制专业论文）基于AVSM标准的参考帧选择算法研究.pdf

西南交通大学硕士研究生学位论文第1 页 摘要 同其他视频编码标准一样，a v s m 视频编码标准采用基于块的混合编码技术 来对数据进行压缩，其压缩后的视频流，抗差错能力十分脆弱。通过带宽受限 的i n t e r n e t 或无线移动网络等主要通信网络实时传输视频流时，需要在满足带 宽限制的同时克服传输差错的影响。传输过程中一旦出现差错，错误信息将会 在时间和空间上迅速蔓延和扩散，使视频质量急剧下降，有时甚至会导致整个 视频通信完全失败。经典的率失真优化算法只考虑了带宽限制和编码器的量化 失真，用于不可靠信道视频传输时，面临着众多技术挑战。因此，在带宽受限 的不可靠网络传输条件下，视频差错恢复技术成为当前视频压缩及视频通信领 域中十分关键的技术。 本文首先介绍了视频编码中率失真优化的基本思想；在综合分析a v s m 视 频传输过程中扩散失真和掩盖失真的基础上，从像素级对端到端的视频传输失 真情况进行了详细地研究，实现了一种通用的传输失真度估算模型。基于包丢 失的仿真实验表明，该模型能够较好地近似估计出端到端的传输失真情况，为 在不可靠环境下实现编码参数的率失真优化选择提供了一种有效的估算方法。 研究了抑制差错扩散的无反馈参考帧选择技术，采用了一种基于关键参考 帧的无反馈参考帧选择方法，同时将通用传输失真度估算模型和率失真优化引 入关键参考帧选择算法，通过比较选择前一个关键参考帧和前一个参考帧的失 真度期望，来决定参考帧的选取，使传输失真达到最小，有效地阻止了两个关 键参考帧之间的视频差错扩散。模拟实验表明，这个方法可以有效地提高视频 传输的鲁棒性，与不采用关键参考帧的传统方法比较，明显地提高了图像的质 量。 本文还研究了在有反馈信道条件下的参考帧帧选择技术，设计了一种基于 关键帧反馈的参考帧选择算法，通过对关键帧信息的反馈来选择已经正确接收 的关键帧作为当前编码关键帧的参考帧。模拟实验表明，与其他方法相比，该 方法能在帧存开销不大的情况下准确的将差错控制在两个正确的关键帧之问， 极大提高了视频差错恢复性能。 关键词：视频编码；差错恢复；率失真优化；端到端失真；参考帧选择 西南交通大学硕士研究生学位论文第1 i 页 a b s tr a c t b l o c k b a s e dh y b r i dc o d i n gt e c h n i q u ei su s e dt oc o m p r e s sv i d e od a t ai na v s v i d e oc o d i n gs t a n d a r da n da l lo t h e rv i d e oc o d i n gs t a n d a r d s t h el o wb i t r a t ev i d e o s t r e a mc o m p r e s s e db ym o t i o nc o m p e n s a t e dh y b r i dc o d e c si se x t r e m e l yv u l n e r a b l e a g a i n s tt r a n s m i s s i o ne r r o r s r e a l t i m ev i d e os t r e a m t r a n s m i s s i o ni n i n t e r n e to r w i r e l e s se n v i r o n m e n t si sac h a l l e n g i n gt a s kr e q u i r i n gh i g h c o m p r e s s i o ne f f i c i e n c ya s w e l la sr o b u s te r r o rc o n t r 0 1 o n c ea ne r r o ro c c u r r e di nt r a n s m i s s i o n ，n o to n l yt h e e f f e c t so ff a u l ti n f o r m a t i o nw o u l db ep r o p a g a t e di ns p a t i a la n dt e m p o r a lr a p i d l y w h i c hm a yr e s u l ti nv e r yp o o ro b j e c t i o n a b l ev i s u a lq u a l i t ys e v e r e l y , b u ta l s ot h e v i d e oc o m m u n i c a t i o ns y s t e mc o u l db ei nf a i l u r e j u s tb a n d w i d t hl i m i t a t i o na n d q u a n t i t a t i v ed i s t o r t i o na l ec o n s i d e r e di nt r a d i t i o n a lr a t e d i s t o r t i o no p t i m a la l g o r i t h m w h i c hi sn o ts u i t a b l ef o rp a c k e tl o s s ye n v i r o n m e n t h e n c eh o wt oi m p r o v et h ev i d e o q u a l i t yw i t ht h el i m i t e da v a i l a b l eb i tr a t eh a sb e c o m eas e r i o u st a s k t h i st h e s i sf i r s tr e v i e w st h ep r i n c i p l eo fr a t e - d i s t o r t i o no p t i m a lf o rv i d e oc o d i n g i np a r t i c u l a r , t h ee n d t o - e n de r r o rp r o p a g a t i o nd i s t o r t i o no np i x e ll e v e lp r e c i s i o ni s s t u d i e db a s e do nt h ea n a l y s i so ft h ep r o p a g a t i o nd i s t o r t i o n a n dc o n c e a l m e n t d i s t o r t i o ni na v s mv i d e oe n c o d i n ga n dt r a n s m i s s i o n s u b s e q u e n t l y , t h i st h e s i s a d o p t sag e n e r a lt r a n s m i s s i o nd i s t o r t i o ne s t i m a t i o nm o d e l t h ea c c u r a c yo ft h i s e s t i m a t i o ni sd e m o n s t r a t e dv i as i m u l a t i o nr e s u l t sf o rv i d e ot r a n s m i s s i o no v e rp a c k e t l o s sc h a n n e l 。w h i c hi l l u s t r a t e s t h a ta c t u a ld i s t o r t i o nc a l lb ee s t i m a t e db yu s e d e x p e c t a t i o nm o d e la p p r o x i m a t e l y t h i sm o d e lp r o v i d e sa ne f f i c i e n t m e t h o df o r c o d i n gp a r a m e t e r so p t i m a ls e l e c t i o no v e re r r o rp r o n ee n v i r o n m e n t t h er e f e r e n c ep i c t u r es e l e c t i o nm e t h o d sw i t hn o n f e e d b a c kf o re r r o rr e s i l i e n t c o d i n ga r er e s e a r c h e di nt h i st h e s i s an o n f e e d b a c kk e yr e f e r e n c ep i c t u r es e l e c t i o n a l g o r i t h mi sr e a l i z e d c o m b i n e dw i t hg e n e r a lt r a n s m i s s i o nd i s t o r t i o n e s t i m a t i o n m o d e la n dr a t e d i s t o r t i o n o p t i m a ls t r a t e g y , t h ek e y r e f e r e n c ep i c t u r es e l e c t i o n a l g o r i t h mc a nd e t e r m i n e w h i c hr e f e r e n c ep i c t u r es h o u l db es e l e c t e dt h r o u g h c o m p a r i n gt h ed i s t o r t i o ne x p e c t a t i o no fp r e v i o u sk e yp i c t u r ea n dp r e v i o u sp i c t u r e t h i sm e t h o dc a nl i m i te r r o rp r o p a g a t i o nb e t w e e nt w ok e yr e f e r e n c ep i c t u r e sa n d m i n i m i z e se r r o rd i f f u s e dd i s t o r t i o n s i m u l a t i o nr e s u l t ss h o wt h a tk e yr e f e r e n c e p i c t u r es e l e c t i o na l g o r i t h mi m p r o v e sv i d e oq u a l i t ye f f i c i e n t l y a n de n h a n c e st h e r o b u s t n e s so fv i d e oc o d i n go b s e r v a b l y r e f e r e n c ep i c t u r es e l e c t i o nm e t h o d sw i t h f e e d b a c ka r ea l s os t u d i e di 1 1t h i st h e s i s 西南交通大学硕士研究生学位论文第1 i i 页 ar e f e r e n c ep i c t u r es e l e c t i o na l g o r i t h mb a s e do nt h ef e e d b a c ko fk e yp i c t u r e si s p r o p o s e d ，w h i c hc h o o s et h ec o r r e c t l yr e c e i v e dk e yp i c t u r ea st h er e f e r e n c ep i c t u r eo f t h ec u r r e n tc o d i n gk e yp i c t u r e s i m u l a t i o nr e s u l t ss h o wt h a tt h i sm e t h o dc a l lr e s t r i c t t h ee r r o rp r o p a g a t i o nb e t w e e nt w oc o r r e c t l yr e c e i v e d k e y r e f e r e n c e p i c t u r e s a c c u r a t e l ya n da c h i e v eb e t t e re r r o r - r e s i l i e n tp e r f o r m a n c e k e yw o r d s ：v i d e oc o d i n g ；e r r o rr e s i l i e n c e ；r a t e - d i s t o r t i o n o p t i m i z a t i o n ； e n d - t o e n d d i s t o r t i o n ； r e f e r e n c ep i c t u r es e l e c t i o n 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文复印件和电子版， 允许论文被查阅和借阅。本人授权西南交通大学可以将本学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书 2 不保密i 适用本授权书 ( 请在以上方框内打“”) 学文论文作者签名：代志阻 日期：j 印写年5 月“日 指导教师签名：弋u 谚 日期：培年l ，月i b 日 西南交通大学 学位论文创新性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下独立进行研究工 作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人 或集体已经发表或撰写过的研究成果。对本文研究做出贡献的个人和集体，均 已在文中做了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本文的创新点有以下3 个方面： 1 在综合分析视频传输过程中扩散失真和掩盖失真的基础上，从像素级对 端到端的视频传输失真情况进行了详细地研究，在a v s m 标准中实现了一种 通用的传输失真度估算模型，并通过模拟实验验证了该模型对于a v s m 标准 的实用性。 2 失真度估算模型在a v s m 标准中的实用性得到验证之后，将其与传统 的率失真优化相结合，在a v s m 标准中实现了基于率失真优化的无反馈参考 帧选择算法，提高了视频传输的鲁棒性。 3 在仔细研究了传统的有反馈参考帧选择技术的基础上，本文设计了一 种基于关键帧反馈的参考帧选择算法。该算法较传统算法既节省了帧存开销， 又能提高视频质量。 学位论文作者签名：代志 日期：a 口汐5 年了月肜日 冈j 西南交通大学硕士研究生学位论文第1 页 第1 章绪论 1 1 课题研究背景及意义 随着视频处理技术和网络通信技术的飞速发展，对多媒体通信业务的需求 日益增长，使多媒体通信逐渐深入到社会生活的各个方面。多媒体通信业务不 再局限于传输传统的文本信息和简单的语音信息，它除了可以为用户提供融合 声音、文字、图像、视频等多媒体信息之外，还支持诸如视频会议、可视电话 等实时多媒体通信功能。在移动通信领域中多媒体通信业务特别是实时多媒体 通信业务必将会成为一个重要的发展方向，它将会使我们的生活变得更加丰富 多彩。 实时视频传输技术的新进展促进了视频标准的不断更新。2 0 世纪8 0 年代后 期以来，先后出现了用于电视电话会议的国际标准c c i t t 的h 2 6 1 标准，用于 低码率可视电话的玎u t 的h 2 6 3 1 j 标准，用于活动视频图象压缩的m p e g 1 标准、m p e g 2 标准和m p e g 4 标准。2 0 0 1 年7 月，删t 的视频编码专家 组( v c e g ) 与国际标准化组织的活动图象专家组( m p e g ) 组成联合视频组 ( j v t ) ，并在2 0 0 3 年推出了最新的视频编码标准h 2 6 钏a v c ，或者说m p e g 4 p a r t1 0 1 2 1 。2 0 0 2 年6 月，“数字音视频编解码技术标准工作组( a v s 工作组) 成立，并制定了具有自主知识产权的数字音视频编解码技术标准( a y s ) 。 视频信息具有信息量大、传送带宽要求高的显著特点。因此在进行视频传 输前必须对视频信息进行压缩。目前的视频编码标准通常依赖于基于块的混合 编码( b l o c k b a s e dh y b r i dc o d i n g ) 技术，采用运动补偿预钡l j ( m o t i o nc o m p e n s a t i o n p r e d i c a t i o n ，m c p ) 、离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ，d c a 3 和可变长编码 ( v a r i a b l el e n g t hc o d i n g ，v l c ) 等技术来去除视频图像的各种冗余信息，以达到数 据压缩、降低视频信息在信道中传输所占用带宽的目的【m 。 对于高效的视频通信系统，降低原始视频码率只是其中的一个方面，另一 个同等重要的任务就是处理通信网络中信息传输存在的不可避免的差错和损 失。对视频传输信道而言，其产生的差错可分类为【5 j ：不可靠的有线无线信道 在传输比特流中引入的随机误码；由于网络阻塞，有线i p 网络中的“尽力”( b e s t e f f o r t ) 传输而引起的包丢失；在无线信道或移动无线网中，由于多径传播而导 致的突发误码等。传统的基于块的混合编码技术的视频压缩编码方法，压缩后 西南交通大学硕士研究生学位论文第2 页 的码流数据对传输差错十分敏感，传输中一旦出现丢包等差错情况，错误信息 将会在时间和空间上迅速蔓延和扩散，使视频质量急剧下降。当其在误码率较 高的信道中传输时，不但服务质量无法得到保障，甚至整个视频通信都有可能 完全失败。 视频差错控制技术( e e r r o rr e s i l i e n c e ) ，又称抗误码技术，包含视频编解码 系统和传输系统中的一切处理及对付差错的方法和机制。根据控制机制作用的 位置和工作方式的不同，差错控制技术可粗略分为以下三个方面【6 , 7 1 ：前向技术、 后处理技术或掩盖技术以及交互技术。前向技术又称为基于发送端 ( s e n d e r b a s e d ) 的技术，主要指差错恢复编码( e r r o rr e s i l i e n te n c o d i n g ，e r c ) 技术，即编码器在信源和信道编码中增加冗余信息，使比特流对潜在的传输差 错有更好的鲁棒性( r o b u s t n e s s ) ，主要包括鲁棒熵编码【8 9 】、宏块模式选择【1 0 , 1 1 】、 限制区域预测【1 2 1 、非对等保护的可扩展性编码【1 3 】，多描述编码( m u l t i p l e d e s c r i p t i o nc o d i n g ，m d c ) 1 1 4 - 1 6 1 i ，多假设预测编码【1 7 】和传输控制技术【1 8 】等。后处 理技术又称为基于接收端( r e c e i v e r b a s e d ) 的技术，既差错掩盖或遮掩( e r r o r c o n c e a l m e n t ) 技术，指解码器根据正确接收到的图像信息中的有效冗余来修复 或掩盖被传输差错损坏的数据，使接收图像的视觉效果接近于原始图像。差错 掩盖以视频像素和运动场平滑特性为依据，使用空域( s p a t i a l ) l l w 以及时域 ( t e m p o r a l ) 1 2 0 - 捌和频域( f r e q u e n c y ) 的连续性或平滑性准则，通过像素和运动向量 插值等技术恢复受损图象四】。当视频序列有场景切换和物体突然出现等情况时， 空域和频域的掩盖技术通常比时域掩盖技术更有效，其它情况下一般时域掩盖 更有效。根据图象特性和差错情况，选择合适的掩盖算法很重要。交互技术指 当反馈信道存在时，编码器根据解码器的反馈信息，精确地估计解码器的实际 解码情况并选择更恰当的编码策略。交互式技术主要包括自适应编码参数调整 1 2 4 】、差错跟踪( e r r crt r a c k i n e t ) 【2 5 ，2 6 】和参考帧选择( r e f e r e n c ep i c t u r es e l e c t i o n , ， r p s ) 1 2 7 3 1 1 等技术。 本论文将主要研究基于a v s m 标准的参考帧选择算法。由于编码器端不容 易准确的知道视频信息在网络传输过程中和接收端可能存在的信息丢失。因此， 如果能够在编码时准确估算出各方面可能出现的失真或者利用反馈信道知道解 码器端的丢包情况，就可以在率失真( r a t ed i s t o r t i o n ，r d ) 框架下选取最优的 编码模式，提高视频编码算法的抗误码能力，保证视频传输的鲁棒性。研究基 于a v s m 的视频差错控制技术，对于a v s m 标准在各类视频通信系统中的成 功应用具有十分重要的现实意义。 西南交通大学硕士研究生学位论文第3 页 1 2国内外研究现状 1 2 1 失真度估算方法 视频通信的过程，可以分为编码，网络传输和解码三个过程。相应的，编 码器端的编码量化、网络传输错误而引起的差错扩散以及解码器端的差错掩盖 这三方面都会带来或有可能带来失真。文献 3 2 1 将现有的各种失真度估算方法归 结为以下三类。 1 ) q d e ( q u a n t i z a t i o nd i s t o r t i o ne s t i m a t e ) 算法：此算法忽略了网络和解码 器端这两者可能引起的潜在的失真，将编码器端产生的量化失真作为总失真。 此算法简化了计算，但准确性也最低，因此只能作为无损情况下的失真计算。 目前h 2 c 标准采用的就是这种算法。 2 ) b w d e ( b l o c k w e i g h t e dd i s t o r t i o ne s t i m a t e ) 算法1 3 3 , 3 4 】：此算法 不仅考虑到了编码器端的失真，而且还考虑了当发生传输错误后在解 码器端进行差错掩盖所带来的失真。若以d q 表示编码器端量化过程产生 的一个宏块的失真度，d c 表示解码器进行差错掩盖后产生的一个宏块的失真度， p 表示网络丢包率，即传输发生错误的概率。则此算法使用式( 1 1 ) 来对一 个宏块的总失真度进行估算。 d p d c + ( 1 一p ) d o ( 1 1 ) 此算法在一定程度上考虑了网络和解码器行为，提高了估计的准 确性。当传输不发生差错时，此算法认为产生的失真就只有量化失真。 但是，当对当前视频帧进行帧间编码时如果使用的预测帧中存在错误， 即使当前视频帧被解码器正确收到，错误也会扩散至当前帧。因此， 此算法未考虑到差错扩散造成的失真，也不能很好的估算出总失真。 3 ) r o p e ( r e c u r s i v eo p t i m a lp e r p i x e le s t i m a t e ) 算法1 3 5 , 3 6 】： 此算法使用一种基于像素级的递归估算方法，将整个视频传输过程中 可能引起失真的各种因素都考虑在内，因此能够比较精确地估计出视 频帧经过网络传输后的总失真度。 此外，文献 3 7 提出了一种通用失真度估算模型，在分析差错扩散、 掩盖以及信道丢包率等基础上，从像素级对端到端的失真情况进行分析，通过 计算帧相关系数和掩盖系数得到了一种统一的涵盖各种掩盖方法的失真度通用 模型，估算解码端每个像素的失真度期望。该模型能够较准确地反映差错失真 西南交通大学硕士研究生学位论文第4 页 情况，可以适应于各种不同的时域掩盖方法。 1 2 2 参考帧选择算法 参考帧选择( r e f e r e n c ep i c t u r es e l e c t i o n ，r p s ) 技术在差错控制方面效率明 显比帧内编码帧更新高，传统的基于反馈的r p s 技术根据反馈方式主要有a c k 模式和n a c k 模式【2 7 , 2 8 】。 在a c k 模式中，解码器端每正确收到一个编码段( 比如h 2 6 4 中的s l i c e ) ， 就给编码器发送a c k 反馈信号。编码器根据收到的a c k ，对参考帧作相应的 更新。如果有差错出现，编码码器收不到a c k 信号，编码器端在编码下一个p 帧时，其参考帧就会保持不变。在这种情况下，由于当前帧与其参考帧的间距 增大，编码效率将有所降低。由于编码器不得不使用经过确认后的正确接收信 息作参考，而该参考的确认信号需一个系统往返时延才能得到，因而，即使没 有传输差错发生，编码效率也会有所下降。从另一方面来看，正是由于这一特 点，才使得差错扩散得以完全避免。如果在反向信道中发生了差错，参考帧的 确认信号a c k 不能到达编码器：从编码器来看，其结果等同于前向信道数据传 输中发生差错情况，此时，尽管编码效率和图像质量会有轻微下降，但比起真 正在前向信道发生差错的情况要好的多。 在n a c k 模式中，当编码器没收到n a c k 信号时，表明视频数据流传输中 无差错，前一帧的相应编码区域可以被作为参考。当传输中发生差错时，解码 器将表明有差错的信息n a c k 信号送给编码器，请求编码器用更早的、无差错 的图像帧提供参考。如果在传输n a c k 时发生了差错，编码器将无法知道在正 向信道传输时发生了差错，仍将前一个图像作为参考帧。由于参考图像不正确， 无法正确解码，解码器会连续不断地发出表明同一个无差错参考帧的n a c k 信 号，直到正确的参考图像送回来为止。因此，n a c k 模式的r p s 在出现传输错 误时，差错会在一个系统往返延迟周期内扩散。 在无反馈信道的情况下，w e n g e r 等人提出了在无反馈信道的情况下的参考 帧选择编码方案即视频冗余编码( v i d e or e d u n d a n c yc o d i n g ，v r c ) 1 3 8 , 3 9 1 。v r c 采用多参考帧和多预测线程的思想，相邻图像帧分别赋予在不同的线程，各个 线程之间相互独立预测编码，但同时起始于一个同步帧，结束于另一个同步帧。 同步帧等间隔设置，可以是i 帧，也可以是p 帧。当一个线程由于数据丢失而 损坏时，另一个线程虽然只能提供较低帧频的图像直到下一个同步帧，但仍然 西南交通大学硕士研究生学位论文第5 页 可以解码，避免了差错的扩散。但这种方法的缺点是线程数目的选取以及每个 线程中图像帧数的确定较为困难，需要依靠网络特性来决定。通常情况下，多 线程、包含帧数少，适用于高丢包率的场合，但编码效率也会由于预测间隔的 增加而有所降低。 文献【4 0 】引入了关键参考帧概念，提出了一种基于率失真优化的无反馈关键 参考帧选择算法，通过比较参考普通帧和参考关键帧的失真度期望来决定参考 帧的选取，并在率失真框架下进行编码，使解码端的失真度达到最小。 1 3a v s m 标准差错控制研究现状 以上算法都是基于h 2 6 3 标准或者h 2 6 4 标准进行的研究，对于a v s m 标准【4 1 】中差错控制技术的研究起步较晚，相关文献报道较少。 文献【4 2 】提出了a v s m 的灵活参考帧技术，每个p 帧按照反馈信息选择正 确接收的帧作为参考，如果帧存中所有帧均错误，则该帧定为i 帧。这种方法 能有效地抑制差错扩散，但是和a c k 模式、n a c k 模式参考帧选择技术一样增 加了大量的帧存，不适用于移动设备存储能力弱的特点。 文献【4 3 】在拥塞控制的基础上，建立了一个适用于差错控制的基于a v s m 码流的包传输和控制系统，从网络传输的角度抑制数据包的丢失，但是并没有 与视频编码本身的特性相结合。 文献1 4 4 编码器对每帧图像进行三次编码，每次编码采用不同量化参数， 对编码结果分三个包独立传输，解码器只要收到一个包则能粗略恢复视频图像， 完全收到所有包则能还原出精细的图象，该方法增加了编解码的运算复杂度和 大量的冗余码流。 本文将研究重点放在a v s m 标准中的差错控制上，包括端到端失真度估算 和在有反馈及无反馈情况下的参考帧选择算法。 1 4 论文研究的主要工作与机构安排 本论文首先研究视频编码中r d 优化的基本思想，然后分析了视频通信过 程中差错扩散的情况，通过分析视频通信的各个过程，对可能产生失真的几部 分，包括编码器量化失真、网络传输失真和解码器掩盖失真，分别进行研究， 得到了a v s m 标准中的一种端到端的通用失真度估算算法。另外，根据失真度 估算算法，本论文研究了a v s m 中基于率失真优化的无反馈参考帧选择算法。 西南交通大学硕士研究生学位论文第6 页 最后，本论文还研究了反馈信道在参考帧选择技术的作用，提出了一种在有反 馈信道条件下的基于关键帧反馈的参考帧选择算法。全文共分五章。 第一章是绪论，说明了本论文研究的意义，介绍了国内外在视频压缩编码标 准中失真度估算方法和参考帧选择技术的基本研究现状，概括了本论文的主要 研究工作和论文的组织结构。 第二章是对基于块的混合编码技术和a v s - m 视频编码标准的概述，简要介 绍了基于块的混合编码技术的主要关键技术和a v s - m 标准相对与以往标准所采 用的新技术和新特点。 第三章简要介绍了r d 优化的基本思想，讨论了m b 的编码模式选择所涉 及到的r d 优化问题，对端到端( e n d t o e n d ) 的视频传输差错扩散进行了详细 分析，在a v s m 视频编码标准中实现了文献 3 7 1r 扣提出的一种涵盖各种时域差 错掩盖方法的通用传输扩散失真度估算模型。试验结果表明，该方法能很好的 适应a v s m 视频编码标准。 第四章中，根据失真度估算，实现了基于率失真优化的无反馈参考帧选择 算法，将信道数据丢包率引入率失真框架，通过比较前一帧和关键帧的失真度 来选择参考帧，从而有效地阻止了两个关键参考帧之间的编码帧出错引起的视 频差错扩散。 第五章介绍了在有反馈信道条件下，传统的基于反馈的r p s 技术帧存开销 大的普遍缺点，提出了一种基于关键帧反馈的参考帧选择算法，能在帧存开销 不大的情况下很好的提高图象质量。 最后是本文的结论部分，讨论进一步的研究方向和关键技术难点。 西南交通大学硕士研究生学位论文第7 页 第2 章a v s m 视频编码标准 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 标准为数字音视频编码技术标准 系列标准的简称【4 5 1 ，其包括了系统、视频、音频、版权管理、文件格式、网络 传输等从视频压缩技术到系统规范的一整套标准。a v s 标准由中国数字音视频 编解码技术标准工作组( a v s 工作组) 负责制定。该组织由国家信息产业部科 学技术司于2 0 0 2 年6 月批准成立，目前工作组成员几乎涵盖了以中科院计算 所、清华大学、华为、中兴等为代表的国内所有著名科研机构、大学及企业， 同时包括了诺基亚、德州仪器、松下、飞利浦等国际知名跨国公司。工作组的 任务是：面向我国的信息产业需求，联合国内企业和科研机构，制订数字音视 频的压缩、解压缩、处理和表示等共性技术标准，为数字音视频设备与系统提 供高效经济的编解码技术，服务于高分辨率数字广播、高密度激光数字存储媒 体、无线宽带多媒体通讯、互联网宽带流媒体等重大信息产业应用。 a v s 标准中涉及视频压缩编解码的有两个独立的部分：a v s 的第二部分和 a v s 的第七部分。a v s 第二部分主要是针对高清晰度数字电视广播和高密度存 储媒体应用，而a v s 第七部分主要针对低码率、低复杂度、较低图像分辨率的 移动媒体应用。 2 1 a v s 标准产生的背景及标准简介 目前国际上普遍采用的标准主要有m p e g 2 、m p e g 4 和h 2 6 4 。其中，1 9 9 4 年提出的m p e g 2 是第一代压缩标准。随着数字编解码技术的进步和芯片集成 度、计算速度的发展，m p e g 2 已经落后【删【4 7 】，国际标准组织和一些跨国公司 纷纷制定新一代数字音视频编解码技术和标准，以期掌握核心专利，控制产业 上游。m p e g 4 和h 2 6 4 就属于第二代压缩标准，它们在性能上比第一代压缩 标准有了很大的提高，编码效率提高了一倍以上。目前和将来的高清和移动视 音频应用将主要采用第二代数字视音频编解码标准。 然而，m p e g 2 、m p e g 4 、h 2 6 4 等国外标准有苛刻的专利收费政策，采 用这三种标准都将面临高昂的专利费用问题1 4 8 1 。例如，m p e g 2 收费标准是向 终端制造商每个编解码器收费2 5 0 美元，向节目运营商每个节目收0 0 3 美元； m p e g 4 收费标准是对于终端制造商来说每个编解码器收费o 2 5 美元，或者编 西南交通大学硕士研究生学位论文第8 页 解码器年封顶费1 0 0 万美元，对于节目运营商每个企业参加费5 0 0 1 0 0 0 万美元， 另外还要按照节目数量、使用时间收费；h 2 6 4 从2 0 0 6 年1 月1 日起开始收费， 终端厂商每制造一个编解码器交费o 2 0 美元，或者缴纳编解码器年封顶费3 5 0 万美元，p c 厂商编解码器的收费是年封顶费3 5 0 万，对于节目运营商参加费每 年3 5 0 万美元，然后还要按照节目收费，并增加了对广播的收费，按照编码设 备或转发设备收费。 面对国外标准的收费政策，从终端制造、节目运营到普通用户，所有相关 的企业、人员没有一个可以“幸免”。未来1 0 年，我国至少有4 亿台m p e g 2 设备需要交费，数字超过1 0 亿美元。如果采用m p e g 一4 或者h 2 6 4 ，除了单个 的编解码设备要交费外，我国有线电视用户数量巨大、转发设备多，节目运营 商也要交纳庞大的专利费用。企业、运营商的利润要拱手让人，消费者要花更 多的钱才能欣赏到本来不必花这么多钱就能欣赏到的娱乐节目。 更为重要的是，这些标准的核心技术和专利由国外机构和企业所控制，知 识产权将成为制约我国视频产业未来发展的瓶颈。2 0 0 2 年以来，我国的d v d 产业经历迅速窜升到迅速衰落的戏剧性变化的直接原因就是一些国际厂商组成 的专利联合体征收高额专利费。 为避免专利上受制于人，提高国内视频产业的核心竞争能力，我国抓住了 数字音视频编解码标准更新换代的历史机遇，在长期参与国际标准制定的基础 上，于2 0 0 2 年提出了具有自主知识产权的第二代数字视音频编解码技术标准 a v s 标准。 a v s 标准的技术方案采用国际主流技术方案，主要采纳公开技术和我国的 自主创新技术，把握了技术主动权。a v s 建立了完备的知识产权政策，其基本 原则为：a v s 标准不反对专利技术，以保证标准的先进性，但专利进入a v s 标 准必须遵守公平非歧视性原则、专利许可模式简易可行的原则和有竞争力的许 可费用原则。为避免高额专利费影响，a v s 标准工作组承诺，在授权商业模式 上将奉行“一元人民币”策略。这也就是说，把实施a v s 标准所需的必要专利 组织成a v s “专利池”，并进行“一站式”许可，欲使用a v s 标准的企业只要 交纳1 元专利费。简言之，a v s 标准既采纳了先进的专利技术，又在标准发布 前将专利的利益索求限制在一个合理的水平，保证了标准的公益性，为标准的 实施提供通畅的最方便的便利条件，有利于标准的快速产业化，把握了发展的 主动权。 与目前国际上其他类似标准相比，a v s 标准具有如下优势【4 6 】【4 7 】：基于我国 西南交通大学硕士研究生学位论文第9 页 自主创新技术和部分公开技术构建的丌放标准，较好地解决了知识产权许可问 题。通过简洁的一站式许可政策和低廉的许可收费，解决了h 2 6 4 被专利许可 问题缠身、难以产业化的死结，易于推广；高效率、低复杂度，编码效率比第 一代标准( m p e g 2 ) 高2 3 倍，与h 2 6 4 标准相当，而且技术方案简洁，芯片 实现复杂度低，达到了第二代标准的最高水平；是一套包含系统、视频、音频、 媒体版权管理在内的完整标准体系，为音视频产业提供了完整的信源编码技术 方案。 2 2 a v s m 视频编码原理 a v s m 是我国自主知识产权的第二代信源编码标准a v s 的第七部分。在 a v s m 的制定过程中，视频组专家以当前世界上最先进的h 2 6 4 a v c 框架为起 点，自主制定适合移动视频应用的中国标准，其中强调自主知识产权，同时充 分考虑实现复杂度。在相同条件下，a v s m 的编码效率接近现有的h 2 6 乱删c 的b a s e l i n ep r o f i l e 的编码效率，而其计算复杂度则比之更低。 2 2 1a v s - m 编解码框架 2 2 1 1编码器 与其它视频编码标准( h 2 6 1 ，m p e g 1 ，m p e g 2 ，h 2 6 3 ，h 2 6 4 ，m p e g 4 ) 类 似，a v s m 也是建立在块匹配的混合编码框架上。基本算法依然是通过帧问预 测和运动补偿来消除视频序列中的时域冗余，经过变换编码消除频域冗余。因 此基本的功能模块例如预测、变换、量化、嫡编码等都没有发生根本的变化。 图2 1 为a v s m 编码器框图。 考虑到移动设备的处理能力和存储限制，a v s - - m 将图像分为两种类型：i 帧图像和p 帧图像，舍弃了对参考帧数要求较高的b 帧图像。编码时先根据相 应的模式进行帧内或帧间预测，亮度和色度分别预测。帧内预测根据最优预测 模式得到预测值。帧间预测包括运动估计和运动补偿，由前一帧或前两帧参考 帧预测后得到当前帧的预测值。对预测值与当前值的残差进行变换、量化，然 后对量化后的系数和运动估计、运动补偿时的运动位移数据进行熵编码，形成 最终的a v s m 码流。同时，对变换量化后的残差数据进行反变换反量化，与预 测值做和之后进行环路滤波，构成当前帧的重构帧，并作为下一帧的参考帧。即 下一帧再把前一帧的重构帧作为参考帧来进行运动估计、运动补偿，进行帧间 西南交通大学硕士研究生学位论文第1 0 页 预测。 i 帧播放时通过帧内解码，是实现随机点播和快进快退功能的基础，但压缩 率稍低。p 帧要根据前面的i 帧或p 帧解码，压缩率高，是实现压缩效率的关键， 但编码误差累积会导致模糊的图像质量，因此在一定量的p 帧之后需要i 帧来 更新图像质量。在a v s m 编码时，i 帧p 帧间隔可以根据压缩率和图像质量、 随机点播的要求确定。 图2 - 1a v s m 编码框架图 2 2 1 2 解码器 解码器则是编码器的反处理，首先通过嫡解码器解出变换系数和运动矢量等， 其次，通过反变换重建残差图像同时解码器根据参考帧和运动矢量产生预测帧， 最后预测帧与残差图像相加即得到了重建图像。对应于编码器的解码器主要的 模块依次是：变长解码、反量化、反变换、运动补偿。除了变长解码模块和运 动补偿模块，反量化和反变换都在编码器的后向通路中用到，运动补偿和变长 解码则是编码器中运动补偿和变长编码的逆运算，所以解码器所做的工作实际 西南交通大学硕士研究生学位论文第1 1 页 上是编码器工作的一个部分。图2 2 为a v s m 解码器框图。 图2 2a v s m 解码框架图 2 2 2a v s - m 的视频结构 a v s m 支持4 ：2 ：0 格式的图像。一幅图像是一帧，帧由三个样本矩阵构成， 样本矩阵元素的值为整数，包括一个亮度样本矩阵( y ) 和两个色度样本矩阵( c b 和c r ) 。c b 和c r 矩阵水平和垂直方向的尺寸都只有y 矩阵的一半。亮度和色 度样本位置如图2 - 3 所示。图中“o 代表亮度样本，“x 代表色度样本。 ooo ooo ooooo o ooooo o 0oo oo o 图2 - 3 亮度和色度样本位置 a v s m 标准中定义了两种图像：帧内编码图像i 帧，和前向帧间编码图像 p 帧。p 帧最多可参考前向的两帧。运动矢量所指的参考像素可超出参考图像的 边界，在这种情况下对超出参考图像边界的整数样本应使用距离该整数参考样 西南交通大学硕士研究生学位论文第1 2 页 本所指位置最近的图像内的整数样本进行边界扩展。对亮度样本矩阵，参考块 的像素在水平和垂直方向均不应超出参考图像边界外1 6 个像素。对色度样本矩 阵，参考块的像素在水平和垂直方向均不应超出参考图像边界外8 个像素。 a v s m 标准中，每帧图像划分为1 6 1 6 的宏块，宏块左上角的点不应超 出图像边界。一个宏块包括4 个8 8 亮度块( y ) 和2 个8 8 色度块( 1 个 c b ，1 个c r ) 。如图2 4 所示，图中数字为宏块中8 8 子块的顺序号，宏块中 的各个8 8 块在比特流中出现的顺序由图2 4 中的数字规定。 口口 yc bc