（计算机应用技术专业论文）校园局域网中视频教学系统的分层传输研究.pdf

华中科技大学硕士学位论文 摘要 随着信息化的发展和教学形式的多样化，多媒体教学系统在整个教学体系中占有越 来越重要的地位。最早传统的多媒体教学系统一般选择在局域网内采用广播方式，随着 校园网络结构组成的复杂化，这种结构越来越无法满足实际教学的需要。9 0 年代中期， 随着视频传输技术研究的发展，一种薪的视频传输技术出现了，它就是流媒体技术。这 种技术被迅速地应用到多媒体视频教学系统中。采用流媒体方式的视频系统有一般有两 种工作模式。采用多码率单播虽然可以保证高带宽用户获得高质量服务，但会导致网络 主干线流量过高，从而限制了用户的接入量；采用组播技术可以控制干线流量，但高带 宽的用户被迫接收低码率的视频信号，无法体现网络的服务质量q o s 。针对传统视频教 学系统中无法充分利用信道容量的局限性，有必要提出新的解决方案。 一种采用p f g s 编码技术的视频教学系统解决方案能在减少校园网络主干线数据 流量、提高网络资源利用率的同时用户端接收到尽可能高质量的视频。精细的可伸缩 性的视频编码f g s ( f i n eg r a n u l a r s c a l a b l e ) 是m p e g 4 标准的视频编码框架中的关键技 术。f f o s ( p r o g r e s s i v ef i n eg r a n u l a rs c a l a b l e ) 是由微软亚洲研究院提出的一个渐进的精 细可伸缩性的视频编码框架。与f g s 相比，p f g s 在增强层的编码过程中采用了高质 量的参考来提高编码效率，能更有效地提高视频编码对网络带宽的适应性，能更好地 实现网络的q o s 质量服务保证。 在这种新的视频教学系统中，服务器方发送一个多层次的视频流，其基本层可以 提供分辨率较低的有效视频质量，每一个附加增强层将逐步提升图像质量，接收方变 被动为主动，根据自身的信道条件决定接收多少层的媒体流。 采用p f g s 编码技术后，数据包的丢失是网络视频教学中面临的最大问题。为了 使接收方能获得高质量的解码效果，在新的解决方案中，针对不同层次的视频编码对 视频质量的贡献不同，对视频信号采用了不等长的前向纠错编码技术f e c ( f o r w a r d e r r o r c o r r e c t i o n ) ，对视频数据进行非均匀保护，并且在接收方的解码设计中引入了时 域与空域相结合的错误隐藏算法。 关键词：视频传输，精细可伸缩分层编码，视频教学，前向纠错码，错误隐藏 华中科技大学硕士学位论文 a b s t r a c t a l o n gw i t hd e v e l o p m e n to fi n f o r m a t i o ns c i e n c ea n dd i v e r s i f i c a t i o no f t e a c h i n gf o r m ，t h e m u l t i m e d i at e a c h i n gs y s t e mh o l d st h em o l ta n dm o r ei m p o r l a n ts t a t u si ne n t i r et e a c h i n g s y s t e m t h ee a r l i e s tt r a d i t i o n a lm u l t i m e d i at e a c h i n gs y s t e mg e n e r a lc h o i c es e l e c t st h e b r o a d c a s tm e t h o di nt h el o c a la r e an e t w o r k , a l o n gw i t i lt h ec a m p u sn e t w o r ka r c h i t e c t u r e c o m p o s i t i o nc o m p l i c a t i o n , t h i sk i n do f s t r u c t u r em o l la n dm o l li su n a b l et os a t i s f yt h ef i e l d r e s e a r c ht h en e e d i n9 0 si n t e r m e d i a t es t a g e s a l o n gw i t l lv i d e of r e q u e n c yt r a n s m i s s i o n e n g i n e e r i n gr e s e a r c hd e v e l o p m e n t , o n ek i n d o fn e wv i d e ot r a n s m i s s i o nt e c h n o l o g y a p p e a r e d ，i ti st h es t r e a m i n gm e d i at h i sk i n do ft e c h n o l o g yi sa p p l i e dr a p i d l yi nt h e m u l t i m e d i av i d e of r e q u e n c yt e a c h i n gs y s t e m t h ev i d e os y s t e mu s i n gs t e a m i n gm e d i ah a s t w ok i n d so fw o r k i n gp a t t e r n sg e n e r a l l y a l t h o u g hu s i n gm u l t i - r a t eu n i c a s tc a l lg u a r a n t e e t h eh i g hb a n dw i d t hu s e ro b t a i n st h eh i 【g hg r a d es e r v i c e ，b u ti tc a nc a u s et h en e t w o r k b r a n c hf l o wt om e a s u r ee x c e s s i v e l yh i g h , t h u sh a sl i m i t e du s e r st u r n i n go nq u a n t i t y ；u s e s t h em u l t i c a s tt e c h n o l o g yt ob ep o s s i b l et oc o n t r o lt h es k e l e t o nl i n ec u r r e n tc a p a c i t y , b u t 1 1 i 曲b a n dw i d t hu s e rb e i n gc o m p e l l e dr e c e i v e st h el o wc o d er a t et h ev i d e os i g n a l ，i su n a b l e t om a n i f e s tt h en e t w o r kq u a l i t yo fs e r v i c e ( q o s ) i su n a b l ei nv i e wo ft h et r a d i t i o n a lv i d e o f r e q u e n c yt e a c h i n gs y s t e mi nt ou t h ec h a n n e lc a p a c i t yf u l l yt h el i m i t a t i o n , i ti sn e c e s s a r y t op r o p o s et h en e ws o l u t i o n an e wv i d e ot e a c h i n gf r a m e w o r ka b o u tp f g sc a nn o to n l yr e d u c et h ef l o wo fd a t ai n c a m p u sn e t w o r kb a c k b o n e ，b u ta l s oi m p r o v et h eu t i l i z a t i o no fn e t w o r kr e s o u r c e sw i t h c l i e n t sh i g hq u a l i t yv i d e o t h ef i n eg r a n u l a rs c a l a b l ev i d e oc o d i n g ( f g s ) m e t h o di so n eo f t h ek e y t e c h n o l o g i e si nm p e g - 4 t h ep r o g r e s s i v ef i n eg r a n u l a rs c a l a b l e ( p f g s ) f r a m e w o r k i san e wc o d i n gt e c h n o l o g yp r e s e n t e db yt h em i c r o s o f ta s i a ni n s t i t u t e c o m p a r ew i t ht h e f g s , t h ep f g su s e sm u l t i p l el a y e r so fr e f e r e n c e sw i t hi n c r e a s i n gq u a l i t yt om a k em o t i o n p r e d i c t i o nm o l la c c u r a t ef o ri m p r o v e dv i d e oc o d i n ge f f i c i e n c y ，s oi tc a l li m p r o v et h ev i d e o c o d i n ga d a p t a b i l i t yt ot h en e t w o r kb a n d w i d t h sm o l la f f e c t i v e ，a l s oc a na c h i e v et h en e t w o r k q o s i nt h en e wv i d e ot e a c h i n gf r a m e w o r k , t h es e r v e rs i d et r a n s m i t sam u l t i l e v e lv i d e oc l a s s 华中科技大学硕士学位论文 t h eb a s i cl e v e lm a yp r o “d eal o w q u a l i t yv i d e o ，a n de a c ha d d i t i o n a le n h a n c e m e n tl e v e l g r a d u a l l yw i l lp r o m o t et h ep i c t u r eq u a l i t y t h er e c e i v i n ge n dc h a n g e sa d j u s tt h ed e c o d e q u a l i t yp a s s i v e l y ，a c c o r d i n gt oo w nc h a n n e lc o n d i t i o n a f t e ru s i n gp f g si nt h ef r a m e w o r k , t h ed a t ap a c k e tl o s si st h em o s tm a j o rp r o b l e m w h i c hi nt h en e t w o r kv i d e of r e q u e n c yt e a c h i n gf a c e s i no r d e rt oe n a b l et h er e c e i v i n ge n d t oo b t a i nt h eh i g hg r a d ed e c o d i n ge f f e c t ，f o r w a r d a c t i n ge l t o rc o r r e c t i o nc o d et e c h n o l o g yi s u s e di nt h en e ws y s l e mt op r o t e c t i o nv i d e of r e q u e n c yd a t ai n h o m o g e n e o u s ，b e c a u s et h e d i f f e r e n tl e v e lv i d e of r e q u e n c yc o d ei sd i f f e r e mt ot h ev i d e of r e q u e n c yq u a l i t yc o n t r i b u t i o n , a n dt h et i m ed o m a i na n dt h ea i rz o n eu n i f ye r r o rc o n c e a l m e n ta l g o r i t h mi su s e di nt h e r e c e i v i n ge n dd e c o d i n gd e s i g n k e y w o r d s ：v i d e ot r a n s m i s s i o n ，p f g s ，v i d e ot e a c h i n g , f e c ，e r r o rc o n c e a l m e n t i i i 独创性声明 y 1 0 1 7 4 0 乏 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本入完全意识至8 本声明的法律结果由本人承担。 学位论文作者签名：t 簏 日期：俨i 口月 口日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有 权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口， 在年解密后适用本授权书。 本论文属于 不保密似 ( 请在以上方框内打“4 ”) 学位论文作者签名：伽廷 日期：、价乙年【，, e l 如日 指导教师签名：触名 日期：6 年c 。月j 口日 华中科技大学硕士学位论文 1 1 课题背景 i 绪论 形象生动的音视频信息能为学生的学习白日提供最生动、真实的场景，促进学生 的有效学习。随着网络新视频传输技术的研究发展，流媒体技术应运而生，它克服了 传统视频传输需要等待视频文件完全下载后才能播放的局限性，为视频数据的在线传 输提供了可能。目前，这种技术也被迅速地应用到多媒体视频教学系统中。 采用了流媒体技术的多媒体教学系统一般选择在校园网内采用单播方式或组播 方式来组织在线教学，随着校园网络结构组成的复杂化，这种方式越来越无法满足实 际教学的需要。 本课题来源于湖北省自然科学基金基于mb u s 协议的松耦合型因特网多媒体会议 系统研究，是松耦合型因特网多媒体会议系统研究中的扩展部分，主要研究多媒体视频 教学系统中引入可分层编码技术后，如何实现分层传输及错误隐藏。研究目的是针对传 统视频教学系统中无法充分利用信道容量的局限性，提出新的解决方案，实现在减少网 络上数据流量、提高网络资源利用率的同时客户端能接收尽可能高质量的视频。 1 2 国内外研究概况 2 0 世纪9 0 年代中期，因特网的快速发展及广泛应用推动了基于i p 的网络视频传 输技术的研究。目前，在网络上传输视频常用的有两种方式，第一种可以采用文件下 载方式，这种方式需要建立传输机制，如在传输层采用t c p 协议，上层采用f t p 或 h t t p 协议。虽然这种方式可以保证视频质量，可是由于视频文件十分庞大，下载时 需要漫长的时间并耗费巨大的存储空间，因此它无法应用于一些实时性强的场合，如 远程医疗、多媒体会议、多媒体课堂等等。第二种方式采用流式传输方式，这种传输 方式的基本原理是将视频分割成小块进行连续传输，接收方可以对接收到的部分进行 解码而不用等到全部文件传输完毕，传输和播放可以同时进行。目前，这种流媒体传 输技术已经得到广泛地应用。 基于i p 的网络只提供“尽力而为”服务，它对带宽、延迟和分组丢失率不提供 任何保证。对于网络的延迟问题，我们一般采用在接收端设置缓存的方法解决。网络 华中科技大学硕士学位论文 上的带宽是未知的、时变的，码流的传输速率必须与网络带宽相匹配，可伸缩层次编 码1 1 7 】技术是适应带宽波动的最有效方法。可伸缩性的形式有很多种类，如时域可伸缩 性、空域可伸缩性、s n r ( 质量的) 、精细可伸缩性( f i n eg r a ms c a l a b i l i t y , f g s ) u j 和渐进 精细的可伸缩性( p f g s ) 4 等等。网络上的视频传输，分组的丢失是无法预测的，用来 消除丢失分组对视频的影响，最好的方法当然是重传，但由于视频信息往往具有时问 与空间的相关性，因此在接收端采用错误隐藏技术也有不错的效果。 目前，国际上有众多的科研工作者在探索着如何在网络环境下更好地传输视频。 1 2 1 压缩编码技术的研究 现代图像和视频压缩技术使有效地而且可靠地储存和传输海量数字图像和视频 数据成为可能。数字图像和视频编码研究开始于2 0 世纪5 0 年代和6 0 年代，当时使 用空间域差分脉冲( d p c m ) 编码。到2 0 世纪7 0 年代，开始研究变换编码。在1 9 7 4 年， a h m e d 介绍了著名的基于宏块的离散余弦变换( d c t ) 策略。运动补偿预测误差编码也 于2 0 世纪7 0 年开始了，而且随着基于宏块的混合运动补偿系统d c t ( m c d c t ) 的到 来，这项技术也于1 9 8 5 年成熟并运用到实际技术当中。m c d c t 编码策略运用到了 今天所有的m p e g 和i 弧j 视频编码算法中。m c d c t 技术相对于帧内d c t 编码大大 提高了压缩增益，但却增加了编码器的复杂性，因为要进行运动估计和补偿，如图1 1 所示。近来对基本m c d c t 的扩展是以增加编码器的高复杂性甚至解码器的高复杂性 为代价来得到更商压缩比。 钮泉瞧 缀矾妓串 图1 1不同编码策略编码解码器复杂度分析图 2 华中科技大学硕士学位论文 更深入的研究目标应朝向图像和视频压缩算法效率更高、更灵活、对比特流和数 据包错误的鲁棒性更强的方向发展。许多研究聚焦于为达到更高级运动预测而对序列 图像中有意义的，出现概率大的语义信息进行识另i j 。视频编码研究经过了盲目的低层 次的计算机视觉技术( d c d 和半盲的中级技术( m c n ) c a - ) ，到了高层次的计算机视觉策 略。这预示着将来的分割和基于模型的方法会增加计算量，在编码器和译码器中都希 望通过成熟的技术来大大提高压缩增益。 在过去1 5 年里，针对视频编码的分级方法一直被广泛地研究，而且被许多应用 迫切需求。这样分级方法的例子包括数据分割和精细粒度分级( f g s ) 标准，这在 m p e g _ 2 t s ! 和m p e g - 4 1 6 l d p 被标准化。这些方法把d c t 系数转换成高粒度的分割比特 流进行传输，它在本质上是低复杂的。但是，在解码器方面，从分离的比特流重构可 能导致质量会随着时问而明显退化。 从上世纪9 0 年代开始，视频编码进入了个标准化的时代，i t u - th 2 6 1 标准朝 着这个方向发展数字视频电话信号以n 6 4 k b s ( n = l ，2 ，3 3 0 ) 的数据率在i s d n 信 道上传输。自从那时以后，i t u t 和i s o m p e g 发布了一系列国际视频编码标准，目 标是能应用于多个领域。表1 1 列出了几个主要视频编码标准的简要比较【7 1 。 i t u t 为了可以在低比特率下传输可视电话的信号，于1 9 9 5 年发布了h 2 6 3 标准 1 8 1 和在2 0 0 2 年发布了h 2 6 4 标准【9 ( 如同i s o m p e g 和m p e g - 4a v c 发展的一个交 点) 。h 2 6 4 提供了更广阔的比特率，而且在应用上提供更好的压缩效率和附加功能， 本质上包括所有h 2 6 3 的应用领域。 i s o m p e g 在1 9 9 3 年发布了m p e g 1 标准，而且一起又发布了m p e g 2 标准。 m p e g 2 是为数字电视信号在大约4 6 m b s 传输下而开发的，而且已经被指示用于全 球范围内的数字电视中。m p e g - 4 是为在甚低比特率下的视频压缩和提供基于对象的 额外功能而开发的。m p e g - 4 已经成为英特网流、无线视频、消费型数码摄像机、移 动电话和掌上电脑上最广泛使用的标准。 所有的上述标准都是建立在基于块的运动补偿d c t t l o 】方法之上。然而，在过去 十多年里，基本方法的各种细节被提炼出来，导致了更复杂、也更有效率的压缩标准。 表现在基于先进的运动矢量精度和更复杂的运动模式而产生的更高压缩比。i t u h 2 6 4 是目前在压缩效率方面最先进的标准。在h 2 6 4 ( m p e g - 4a v c ) 标准中，在沿用 基于内容算术编码上采用可变尺寸m c 块的更高精度运动补偿预测j 。另外一个新颖 之处是在h 2 6 4 中引用长期帧内存，它可以存储在过去的时问预测的多帧图像，但是 华中科技大学硕士学位论文 也增加了复杂性。 表1 1 主要视频标准的简要比较 标准名称标题比特率 主要技术特征 p x 6 4 k b s 的 h 2 6 1 p x 6 4 k b s , 8 8 d c t ；自适应晕化；z 扫描；运动补偿预测； 音视频服务 ( 1 9 9 】)p ：1 3 0 运动估计；h u f f m a n 编码；容错编码：2 dv l c 的编解码 低比特率通h 2 6 1 所有技术：双向运动补偿；半象素运动估 h 2 6 3 信的视频编 8 k h l 5 m b s计；高级运动估计；重叠运动补偿；算术编码； 0 9 9 6 ) 码 3 d v l c 面向数字存 8 8 d c t ；自适应量化；z 扫描；运动补偿预测； m p e g 1储的运动图 1 s 双向运动补偿：半象素运动估计：h u f f m a n 编码； ( 1 9 9 3 )像及其伴音 m b s 2 d v l c 。 的编码 运动图像及 m p e g 2m p e g 1 所有技术；基于帧场的运动补偿；空间、 其伴音信息 4 8 0 m b s ( 1 9 9 4 ) 时间和质量三种可扩展编码；容错编码 的通用编码 m p e g - 2 所有技术；小波变换( 纹理) ；高级运动 m p e g 4 音视频对象估计：重叠运动补偿；视相关可扩展编码；位图 8 b 3 5 m b s ( 1 9 9 9 )豹通用编码 形状编码；对象编码；脸部动画；动态网格编码； l ，4 象素精度搜索：3 dv l c 。 h 2 6 3 所有技术；7 种不同块大小的运动搜索； h 2 6 4 下一代视频 多参考帧运动估计；l ，4 象素精度搜索；改进的 ( 2 0 0 3 ) 编码标准帧内预测方式；去块效应滤波器；熵编码( u v l c 、 c a b a c 、c a v l c ) ：自适应块变换( a b d 。 1 2 2 避免传输错误的研究 许多传输通道由于比特错误或包丢失会在视频流或视频广播传输中引起巨大的 4 华中科技大学硕士学位论文 挑战。那些使用预测编码算法的压缩视频对网络损害很敏感【l e l 。如果解码器和编码器 都没有采取一定措施，那么个别的比特错误就能引起实质上的退化，而且能引起严重的 错误蔓趔h 】。视频压缩数据包的损失可能会更严重。取决于包的长度，数据包的丢失 可能会引起长期的比特错误爆发和重构视频的严重退化。实时视频流的应用同样对于 传输延时和延时的变化有非常敏感的反映。如果一个数据包到达的时间过晚会导致解 码器无效，如果延时很长的话，还会被当作数据包丢失。近二十年来，对如 可避免传 输错误的研究主要集中在如下三个方面： 1 ) 错误隐匿：即视频的编码器没有为传输错误进行专门的优化，比特流中的同步机 制允许在解码器端监测误差，这是因为在解码器中应用了有效的隐藏策略。这些策略 包括在相同帧或前一帧中用像素内容取代丢失的块等。 2 ) 抗错误源编码：过去的1 5 年中，许多研究都是朝向容错编解码器方法i 】4 】。这 些策略减少了损害区域和解码错误的损失，而且有些技术已经被现有的标准标准化， 像j p e gj p e g 2 0 0 0 ，m p e g - 1 2 4 和h 2 6 3 4 。 3 ) 联合源信道编码：在过去数年里，一个重要的领域被开发出来，它试图将图像 信源与信道编码结合起来，这样做是为了在解码器失真的情况下优化视频信号的整体 传输比特率。通过这些方法分析比特流的不同部分，是为了保护它们免受在网络中丢 失产生的影响，这个通常会导致没有同样错误保护的图像或视频的分级描述。信道编 码和信道解码器方法是对视频数据的特别优化【1 4 1 。 1 3 课题的主要研究工作 本课题的主要研究内容是以传统的多媒体教学系统为基本模型，应用分层编码技 术，利用软件实现局域网范围内尽可能降低视频服务器端网络干线的数据流量，提高 其信道利用率；对分层视频数据根据其对视频质量贡献不同采用非等长的信道编码， 降低网络丢包对数据传输的影响；对接收端采用时域与空域相结合的错误隐藏算法， 达到高带宽高质量的视频服务目的。 华中科技大学硕士学位论文 2 1 视频的流式传输 2p f g s 视频教学系统 不同于文件下载方式，视频的流式传输是视频传输与播放同时进行的，它减少了 接收端的等待时间，由于在任何一个时间点上只需要保存极少部分的视频信息，从而 降低了对存储空间的要求。但视频传输也有一定的约束条件，即每一帧必须在它的回 放时刻到来之前完成传递和解码过程。一个帧序列里，帧的传递、解码、显示的时序 关系为( 假高帧的显示时间间隔为) ： ( 1 ) 第n 帧必须在t n 时刻完传递和解码 ( 2 ) 第n + i 帧必须在t n + i 时刻完成传递和解码 ( 3 ) 第n + 2 帧必须在t n + 2 时刻完成传递和解码 ( 4 ) 依次类推 带宽波动与分组丢失是有线网络环境下视频流传输面临的两大主要问题。数据的 发送速率必须与网络带宽相匹配，否则会引起网络拥塞或带宽的利用率降低i ”】。目前， 不同的网络技术在不同的层次上采用不同的速率控制方法。由于网络结构越来越复 杂，为了方便起见，通常由发送端主机来实施速率控制。常用的控制方法有两种：( 1 ) 采用t c p 协议进行流媒体速率控制。( 2 ) 采用u d p 协议进行流媒体速率控制。 2 1 1 采用t c p 协议控制流媒体速率 发送数据时，无法对网络结构和载荷情况作出假设，因此很难决定如何以合适的 速率来发送数据。t c p 中的速率控制基于简单的“加性递增，乘性递减”规贝j j ( a d d i t i v e i n c r e a s em u l t i p l i c a t i v ed e c r e a s e ，a i m d ) 。 在实际应用中，采用t c p 来传输流媒体存在许多困难：首先，为了保证可靠传输， t c p 持续地采用重传方式，这潜在地加大了传输时自j 和带宽需求；其次，a i m d 引起 瞬时流量大幅度变化，使流量轮廓呈现锯齿形，这些都不合适流媒体的传输。 2 1 2 采用u d p 协议控制流媒体速率 目前在网络上传输流媒体的传输协议大多采用u d p ，它可以灵活地进行错误 6 华中科技大学硕士学位论文 控制和速率控制。在错误控制上，u d p 不仅仅依赖重传方式，还可以采用如信道 编码等技术来替代或补充；在速率控制上，可以摒弃t c p 的a i m d 算法，避免流 量瞬时大幅度变化，同时可以在应用层提供类似t c p 那样确定的可伸缩的速率控 制方法。 多媒体视频教学系统是“对多”的通信，同一个媒体流要被传输给所有加入的 接收者，而不同信道的信道条件( 如拥塞程度、带宽。延迟等) 并不一样。这种情况下， 如果仅仅由发送方单独实施速率控制变得十分困难，采用层次组播技术i t 6 j ( 1 a y e t e d m u l t i c a s t ) 来控制流媒体组播的传输速率则十分有效。层次组播技术的基本思路为视频 发送端采用可伸缩的技术产生多层次的压缩媒体流，基本层可以提供分辨率较低的有 效视频质量，每一个附加的层将逐步提升图像质量，接收端可以根据自身的信道条件， 自主决定接收多层的媒体流。 2 2p f g s 视频编码 编码技术是多媒体通信中使用的基本技术之一。多媒体通信的一个显著特点就是 要传输的信息量非常大，尤其是视频数据，其编码技术甚至会在较大程度上影响多媒 体传输的质量，因此视频编码技术在多媒体信号传输中的地位非常重要。随着人们对 视频编码技术研究的不断深入，一些视频编码技术成果相继诞生。m p e g - 4 作为新一 代的多媒体标准之一，为网络传输高质量的多媒体视频提供了很好的技术平台，更加 适合用来设计各种基于流媒体技术的视频系统上，如多媒体会议系统、在线医疗系统 及多媒体教学系统等。 2 2 1 经典m p e g 视频编码框架 视频信号需要传输的数据量非常大，在保证视频质量的前提下如何最大程度地压 缩图像是视频编码技术的关键。图像压缩的原理是利用了图像中的两种特性：空间相 关性和时阃相关性。一帧图像内的任何一个场景都是由若干像素点构成的，因此一个 像素通常与它周围的某些像素在亮度和色度上存在一定的关系，这种关系称为空间相 关性；一段视频信号常常由若干帧连续图像组成的图像序列构成，一个图像序列中前 后帧图像阍也存在一定的关系，这种关系称为时闯相关性。这两种相关性使得图像中 存在大量的冗余信息。如果我们能将这些冗余信息去除，只保留少量非相关信息进行 华中科技大学硕士学位论文 传输，就可以大大节省传输频带。而视频接收方利用这些非相关信息，按照一定的解 码算法，可以在保证一定的图像质量的前提下恢复原始图像。一个好的压缩编码方案 能够最大限度地去除图像中的冗余信息。 变换域编码在最近4 0 年来的视频压缩方法研究中非常流行。目前最成熟的变换 技术是应用于有损j p e g 、m p e g 和n u 编码标准中著名的d c t 变换技术和应用于 m p e g - 4 和j p e g 2 0 0 0 标准中的d w t 变换技术。在这些标准中采用的d c t 是严格采 用8 8 像素大小宏块的基于块的方法。对于视频压缩来说，变换编码方法通常与运 动补偿预测结合在一起形成一个混合的运动预测变换方法，借此来完成高效率的压 缩。 一个基本的基于d c t 变换的视频编码系统框图如图2 1 所示： 雠鲡溅 输八 图2 1m p e g 视频编码系统框图 m p e g 视频编码中主要包含以下关键技术： ( 1 ) 离散余弦编码( o c t ) 对于基于块的d c t 变换来说，把输入图像分割成n x n 像素大小的不相连的宏块 ( 例如8 x 8 像素) ，如图2 2 中所示。一般来说，一个线性可分的、单一前向= 维转换 可以由对每个n n 的块矩阵i 的一个矩阵变换来表示，获得n x n 矩阵的转换系数 c ： c = a t a l ( 2 1 ) 8 华中科技大学硕士学位论文 图2 2d c t 变换图像分割不慈图 这里，a o 表示一维转换矩阵a 的转置矩阵。只要变换矩阵是可颠倒的，这个变 换就是可逆的，转换系数是不能被量化的，c + = c 。对于一元变换，a - 1 是矩阵的逆 变换，它是与转置矩阵a ，一样的，即a - 1 = a t 。这个一元变换是可逆的，因为n n 块像素的矩阵i 可以用一个线性和可分离逆变换重建。这个重建过程可以如下描述： nn i = a 7 c + a = 曰( 七，) c + ( 七，) ( 2 2 ) 西百 b ( k ，1 ) 是一个位于( k ，1 ) 大小为n x n 的基础图像。在实际的编码策略中，系数将会 被量化( c tc ) ，而且最初的图像块i 会用基图块b c k ，1 ) 的加权重叠来近似，对量化 变换系数c ( 七，) 进行加权，因此编码策略造成有损重建。量化越粗糙，存储及传送图 像所使用的比特率越少，在解码器端的图像重建质量就越差。 基于多种选择，d c t 应用于更小的图像块，通常是8 x 8 像素，这已经在静止图 像和视频编码中成功的应用。图2 3 描述了a ( k ，1 ) 的8 x 8 d c t 变换，这在预测编码的 图像重建中被使用。在大多数标准的编码策略中，系数的每个8 x 8 块被量化，而且 编码成可变长度或固定长度的二进制码字。 今天，由于d c t 的高去相关性能和满足实时应用的快速d c t 算法，基于块的 d c t 在大多数图像和视频编码中被应用。 d c t 是一个所谓的紧凑变换，因为大多数信号的能量集中在低频系数上。大多数 高频系数在量化后会很小或者为零，而且小的或零值系数容易聚集到一起。因此，一 般说来只有少数的d c t 系数被量化，系数需要被传送到接收器，获得一个以图2 3 和基础图像的图像块的好的近似重构。 9 华中科技大学硕士学位论文 图2 38 x 8 d c t 变换示意图 在非常低的比特率下，只有极少数的系数会被编码，而且d c t 块将是可见的。 例如，在低质量j p e g 或m p e g 图像和视频中。 ( 2 ) 量化 量化是针对d c t 变换系数进行的，量化过程就是以某个量化步长去除d c t 系数。 量化步长的大小称为量化精度，量化步长越小，量化精度就越细，包含的信息越多， 但所需的传输频带越高。 不同的d c t 变换系数对人类视觉感应的重要性是不同的，因此编码器根据视觉 感应准则，对一个8 x 8 的d c t 变换块中的6 4 个d c t 变换系数采用不同的量化精度， 以保证尽可能多地包含特定的d c t 空间频率信息，又使量化精度不超过需要。 ( 3 ) i n t r a 块d c 系数和a c 系数的帧内预测 在基本的m p e g 和1 1 u - t 视频编码方案中，视频序列的第一帧以i n t r a 模式编码， 没有参考任何过去和将来的帧。由于i n t r a 编码方式的各块之间的d c 和a c 有较强的 连续性，所以我们量化后可以进一步进行预测。d c 和a c 的预测方向有两个：水平 方向和垂直方向。其预测方向主要取决于相邻块d c 系数的相关性，a c 的预测只对 块的第一行或第一列进行预测，是对第一行进行预测还是对第一列进行预测主要取决 于预测方向，其预测方向和d c 预测方向一致。 ( 4 ) 之型扫描与游程编码 由于经量化后，大多数非零d c t 系数集中于8 8 二维矩阵的左上角，即低频分 量区，之型扫描后，这些非零d c t 系数就集中于一维排列数组的前部，后面跟着长 l o 华中科技大学硕士学位论文 串的量化为零的d c t 系数，这些就为游程编码创造了条件。所谓游程编码就是对扫 描后“个系数进行编码：用非0 系数的大小( l e v e l ) 、其前面连续0 的个数( r u n ) 及终 止标志( l a s t ：“o ”便是其后还有不为0 的系数；”1 ”表示该系数为最后不为0 的数，余 下的系数全为o ) 加起来构成一个三维矢量( l a s t ，r u n ，l e v e l ) 。然后就可以对这些矢 量进行熵编码。 ( 5 ) 变字长编码( v l c ) 游程编码形成的三维矢量是一种有效表示方式，实际传输前，还须对其进行比 特流编码，产生用于传输的数字比特流。其中用得最多的就是h u f f m a n 编码， h u f f m 强编码中，根据所有编码信号的概率生成一个码表，码表中对大概率信号分 配较少的比特表示，对小概率信号分配较多的比特表示，使得整个码流的平均长度 趋于最短。 ( 6 ) 运动估计与运动补偿 运动估计用于帧间编码，即p 帧和b 帧编码。通过在参考帧图像中搜索到与当前 块最接近的块。从而使传输的误差块可以用更少的比特表示，从而达到压缩目的。运 动估计的准确程度对帧间编码的压缩效果非常重要。运动估计以宏块或块为单位进 行，计算被压缩图像与参考图像对应位置上的宏块或块间的位置偏移。这种位置偏移 称为运动矢量( m v ) ，一个运动矢量代表水平和垂直两个方向上的位移。现在m p e g 所用的运动估计算法主要有：m v f a s t ( m o t i o nv e c t o rf i e l da d a p t i v es e a r c h t e c h n i q u e ) ，改进的p m v f a s t ( p r e d i e t i v em v f a s n 和e p z s ( e n h a n c e dp r e d i c t i v ez o n a l s e a r c h ) 算法。 运动补偿实际上是一种预测编码的思想，因此，运动补偿又可称为运动预测。运 动预测的过程为：根据前面在运动估计中得到的匹配m v ，在当前宏块块和参考帧中 的匹配宏v a 块之间进行预测( 即计算差值) ，编码器只需对预测误差和使用的m v 进行 码流编码。 这种以块或宏块为单位的运动预测方法虽然精度稍低，但是位移跟踪能力较强， 且实现简单，所以很有实用性。其基本思想如图2 4 所示。 首先，将当前帧( 第k 帧) 划分为m x n 图像子块，其x 和y 方向上的宽度分别是 w x 和w y ，并假设同一子块内的象素具有相同的位移，在前一帧( 第k 一1 帧) 内开辟大 小为( m + 2 、) ( n + 2 w y ) 的搜索区，在搜索区内寻求图像子块的最优匹配来得到运动 矢量的估计值( d x ，d y ) 。常用的匹配准则有归一化互相关函数m c c f ) 、均方误差( m s e ) 华中科技大学硕士学位论文 和帧间绝对误差( m a d ) 等。由于计算量小，硬件实现简单，m a d 算法用得比较多，其 定义为： 心明= 嘉姜喜阻小神一亿( 肼“厅+ 刊 ( 2 3 ) 其中，f k 表示第k 帧灰度值，i 。j 为水平和垂直方向的偏移量。 图2 4m p e o 中m x n 子块与搜索区的几何关系 最佳匹配的搜索算法也有很多种，最简单可靠的是全搜索法，即对搜索范围内的 每一个点都计算m a d 值。最小的m a d ( i ，j ) 值对应最优匹配。这种方法算法简单， 但是计算量比较大，一共要计算( m + 2 w x ) ( n + 2 w y ) 个m a d 值。为此，提出了 很多快速算法，如正交搜索算法o s a 、交叉搜索算法c s a 、共轭方向搜索c d s 、三 步搜索t s s 、二维对数t d l 和全搜索f s m 等，但均是以实现的复杂度和预铡误差为 代价的。 m p e g 中，采用d c t 变换的编码图像通常被分为三类，分别称为i 帧、p 帧和b 帧。l 帧图像一般采用帧内编码方式，即只利用了单帧图像内的空间相关性而没有 利用帧与帧之间的时间相关性。i 帧图像周期性出现在图像序列中，可作为解码的同 步信号，出现频率可由编码器自行选择。p 帧和b 帧图像则采用帧间编码方式，即同 时利用了空问和时间上的相关性。p 帧图像只采用前向时间预测，可以提高压缩效率 和图像质量。p 帧图像中可以包含帧内编码的部分，即p 帧中的每一个宏块可以是前 向预测，也可以是帧内编码。b 帧图像则采用双向时闻预测，可以大幅度提高数据的 压缩倍数。 帧内图像i 帧不参照任何过去的或者将来的其他图像帧，压缩编码采用类似j p e g 压缩算法。首先将每幅图像分成8 x 8 的图像块，对每个图像块进行离散余弦变换d c t ， 具体的二维d c t 变换如下： d c t 变换： 1 2 华中科技大学硕士学位论文 i d c t 变换： 其中： 刖= 三螂c 以匿骞m 加s 鱼案塑c o s 鱼尝卜 脚，= 糖奎c ( u ) c ( v ) c o sc o s 鱼篆叫， c ( “) ，c ( v ) = 忑1 且村，v = 。( h ) ，c ( v ) = l ( 2 6 ) c ( ) ，c ( v ) = l 且“，v 0( 2 7 ) d c t 变换压对每个系数进行量化，然后对量化后的系数进毒亍d c 、a c 预测，对 预测后的差值按照z i g - z a g 进行扫描然后再进行游程编码，最后用霍夫曼( h u f f m a n ) 编码或者用算术编码得到最后的码流。其中d c 预测后的d c 差值可直接查表得到对 应的码字。 预测图像p 帧的编码是以图像宏块为基本编码单元，一个宏块定义为1 6 x 1 6 像素 的图像块。预测图像p 帧使用两种类型的参数来表示：一种参数是当前要编码的图像 宏块与参考图像的宏块之间的差值，另一种参数是宏块的运动矢量。首先通过运动估 计求得最佳运动矢量，然后求出当前宏块与参考宏块之间的差值，如图2 5 所示。最 后仿照i