（电路与系统专业论文）视频编码和编码转换中的运动矢量估计.pdf

视频编码和编码转换中的运动矢量估计 摘要 摘要 随着无线通信的广泛应用，视频图像的编码和传输技术面临巨大的挑战。由于视频的 数据量巨大，为了满足视频在频带受限的无线信道上传输的实时性要求，必须使用数据量 压缩比大而且复杂度小的快速编码算法，尽量用最少的数据传输最大的信息量。运动估计 是运动图像压缩中的关键技术之一，视频信号在时间上有很强的相关性，利用块匹配估计 和运动补偿技术，可以有效地去除图像帧间冗余度，实现高压缩比。通常，在编码器运行 中，运动估计算法需要消耗7 0 左右的执行时间，因此为了提高编码器的速度必须首先提 高运动估计算法的效率。 此外，由于i i l l e m e t 和移动通信的高速发展，出现了各种具有不同性能的客户机，如 蜂窝手机、p d a 、手提电脑和膝上电脑等等，这些客户机迫切要求能够无线接入1 1 1 t e m e t ， 浏览i n t e m e t 上的内容。由于i i l t e m e t 和无线网络具有不同的带宽，因而也就对应着不同的 传输码率。如果将己压缩的视频信号流由互联网直接通过无线网络传送给客户机，将会出 现视频编码流与传输信道失配的情况。此时，就需要在h l t e m e t 和客户机之间设置代理服 务器，对已压缩编码的视频信号流进行码率转换，将已压缩的高速视频码流转换成低速率 的视频码流，以保证视频信号流在移动无线网络中的正确传输，为移动用户提供不同服务 质量的视频服务。 本文在以下几个方面进行了研究： ( 1 ) 在传统的运动估计算法的基础上，根据视频中物体的运动隋况提出了一种基于图像运 动特征的快速运动估计算法。仿真实验结果表明，本文算法适用于各种运动情况的图像序 列，其性能接近于全搜索算法，同时极大地降低了计算复杂度。 ( 2 ) 介绍了视频编码转换中的各种转换模型。视频编码转换既可以在像素域中进行，也可 以在变换域一d c t 域中进行。具体的转换方式有三种：码率转换、分辨率转换、编码制式 的转换。码率转换一般是降低视频的码率，提高不同网络的兼容性；分辨率转换一般是降 低视频的空间分辨率和时间分辨率；编码制式的转换是对已用一种标准编码后的视频流用 另外一种标准来编码。 ( 3 ) 在基于降低时间分辨率的转换中，本文分析了合成运动矢量的线性内插法、f d v s 方 法，并在此基础上提出了一种运动矢量合成的新方法。仿真实验结果表明，该算法同已有 的台成算法相比，不仅提高了视频的转换质量，而且提高了转换速度。 关键词：视频编码：编码转换；运动估计；块匹配；自适应；降低帧率：合成运动矢量 蠹绝_ f 乍蒋、 一i 一 细薹曼定公乏j 塑塑塑型翌塑型堑堡! 竺望垫叁量焦盐 垒! ! 竺坐 a b s t l a c t w i t hg r e a t a p p l i c a t i o n so f w i r e l e s sc o i n m u n i c a t i o n ，t h e r ea r eg r e a tc h a l l e “g e si nt h ec o d i n g a n dt r a n s r l l i s s i o nt e c h n 0 1 0 9 yo fv i d e o b e c a u s e 出恤q u a n t i t y 。fv i d e oi s v e r yb i f a s tc o d i n g a l g o r i t h mu s e dm u s t h a v eh 培hd a t ac o m p r e s s i o n r a t i oa n d l o w c o m p l e x i t y ，a n dl e a s td a t aq u a n t i y u s e dc a nn a n s 商tn 1 0 s ti n f o n i l a t i o nq u a n t i t yi no r d e rt os a t i s f yv i d e o sr e a lt i m er 。q u e s t ，w h e n v i d e oi s 仃a n s m i t t e di nn a f r o ww i r e l e s sc h a n n e l m 。t i o ne s t i m a t i o ni so n eo f k e yt e c h n 0 1 0 9 yi n t h ev i d e oi m a g ec o m p r e s s i o nc o d i n g v i d e os i g n a l sh a v ev e r yh i 曲m o t i 蚰c o r r e l a t i o ni n t e m p o r a ld i r e c t i o n ，m o t i o ne s t i m a t i o n a n dm o t i o nc o m p e n s a t j o nt e c h n o l o g yb a s e do nb l o c k m a t c h i n g c a ne l i 丽n a t er e d u n d a n c yo f i n t e r _ 丘a m e se f f e c t i v e l yt oa c h i e v eh i 曲c o m p r e s s i o nr a t i o c 。m m o n l y m o t i o ne s t i r n a t i o na l g o r i t h mc o n s u m e sa b o u t7 0 c o r r l p u t m gt i m ei nc o d e ls ot 0 i m p r o v e t h ec o d e r ss p e e d ，t 1 1 ee m c i e n c yo f m o t i o ne s t i m t i o nm u s tb ei m p r o v e d f i r s t l 弘 f u n h e n o r e ，w i t hi n t e m e ta n dm o b i l ec o 咖u n i c a t i o n sh i g hd e v e l o p m e n t ，v a r i o u sc l i e n t d e v i c e sh a v i n gd i 脏r e n tp e r f o m l a n c ea p p e a os u c ha s ：c e l l u l a rp h o n e ，p d a ，h a n d _ h e l dc o m p u t e l 1 印t o pc o m p u t e t e t c t h e s ec l i e n td e v i c e sh o p et og a i na c c e s st oi n t e m e ti nw i r e l e s sc h a n n e i ，a n d b r o w s ei n c e m e t sc o n t e n t a s 王n t e m e ta n dw i r e l e s sn e t w o r kh a v ed i 位r e n tb a n d w i d t l l ，m e yh a v e d i 雎r e n tc o d er a t e a c c o r d i n 9 1y i fv i d e os i g r i a l s 廿e a mc o m p r e s s e di st r a 【n s m i t t e di nw i r e l e s s c h a n n e lf r o mi n t e m e tt oc l i e n td e v i c e s ，c o d e dv i d e os i g n a ls t r e a mw i l ln o tm a t c ht l l ew i r e l e s s c h a n n e is o ，p r o x yn e e dt ob es e tb e t w e e ng e n e r i cw w w s e “e r sa n dc l i e n td e v i c e s ，t r a n s c o d i n g v i d e os i g n a ls t r e a mw h i c hh a sb e e nc o 出da n dc o m p r e s s e d p r o x yc a nt r a n s f b 皿h i g hs p e e d v l d e os t r e a mi n t ol o w s p e e dv i d e os t r e a mt om a k e v i d e os i g i l a ls t r e a mn 彻s r n i t t e da c c u r a t e l yi n m o b i l ew i r e l e s sn e n v o r k ，a n dp r 0 v i d e sc l i e n td e v i c e sd i f r e r e n tq u a l i t yo f s e r v i c e t h ew o r k sw eh a v er e s e a r c h e di n c l u d es e v e m la s p e c t sa sf 0 1 1 0 w s ： ( 1 ) t r a d i 廿o n a lm o t i o ne s l i m a t i o na l g o r i t h m sa r ea n a l y s e d ，a n daf a s tr r l o t i o ne s t i m a t i o n a l g o r i t h mb a s e do nv i d e o 。b j e c t s i i l o d o n c h a r a c t e ri 5 p r o p o s e d t h es i r n u l a t i o ne x p e r i m e n t r e s u l ts h o w sc h i sa l g o f i t h mi sa d a p c 酣t 0j m a g es e q u e n c e sw i f hd i 腼r e n tm o 石o nc h a r a c t e r i s d c ， a n di t s p e r f b m 肌c e i sc l o s et o f u l ls e a r c h a l g o r i t h m w h i l eg r e a t l yr e d u c i n gc o m p u l a t i o n c o m p k x i t 弘 ( 2 ) v a r i o u sl r a n s c o d i “gm o d e l sj nv i d e o 妇n s c o d j n ga r ea n a l y s e d v i d e o 缸锄s c o d i n gc a nb e c a r r i e d 。u tn o to n l yi np j x e ld o m a i l lb u ta l s oi nt r a n s f b d o m a i n ，n a m e l y d c td o m 8 i nv j d e o 一2 一 塑警掣燮型型型l 垒塑! t 。8 “s c o d l n gh a st t l r e em e a n s ：c o d er a t ec o n v e r s i o n ，r e s o l u t i o nc o n v e r s i o n ，c o n v e r s i o nb e t w e e n 。o d l n g5 t a n d a r d c o d er a t ec o n v e r s i o n c o r 啪o n l yi sr e d u c i n gv i d e o ，sc o d er a t e r e s o l u t i o n c o “”e s l o “。o m m o “l y1 sr e d u c i n gv i d e o s 衄叩o r a l r e s 0 1 u t i o na n d s p a t i a lr e s 0 1 u t i o n ，c o n y e r s j 伽 。o d i n gs t a n d a r di sr e c o d m gv i d e ow i t l la n o m e rc o d j n gs f a n d a r dw b j c hh a sb e e nc o d e dw i c ha s t a n d a r d ( 3 ) i nr e d u c i n g t e m p o r a lr e s o i u t i o nt r a l l s c o d i n gt w om o t i o nv e c t o rc o m p o s e dm e t h o d sa r e a n a l y s e d ：l i n e a ri n t e r p o l a t i o nm e t h o da n df d v sm e 血o d an e wr r l o t i o n v e c t o rc o m d o s e d m e t h o di s p r o p o s e d e x p e r i m e n tr e s u l t sr e v e a l 血ep r o p o s e da l g o r i t h r ni s c o m p u t a t i o n a l l v e m c i e n tw h i l ek e 印i n gb e n e r i 圩m g eq u a l i t yc o m p a r e dw i t ht h ep r e v i o u sp r e s 朋t e da l g o 咖1 r n s k e y w o i m s ：v i d e 。c 。d i l l g ；t r a n s c 。d i n g ：m 。t i 。ne s t i r n a t l 。n ；b l 。c k m a t c h i n g ；a d a p t i v e r e d u c e df r a m er a t e ；r e s u l t a n t m o t i o nv e c t o r 3 一 塑塑堕竺塑! ! ! 燮堡! 堕兰垫墨墨堕盐 塑二翌堑笙 1 1 研究背景 第一章绪论 在技术发展史上，计算机技术、通信技术和广播电视技术一直是三个互相独立的技术 领域，各自有着互不相同的技术特征和服务范围。但是，自2 0 世纪9 0 年代以来，随着数 字技术的发展，这三个原本各自独立的领域相互融和、相互渗透丽形成一门三位一体的崭 新的技术多媒体技术，成为当代科技发展的主导领域之一，而视频信息是其中最为重 要和复杂的媒体。多媒体技术的应用和发展又反过来进一步加速了这三个领域的融合，使 多媒体通信成为通信技术今后发展的主要方向之一。 多媒体数据有效传输、存储的一个关键问题是数据压缩技术，尤其是视频数据的压缩。 视频的数据量十分巨大，如考虑分辨率6 4 0 4 8 0 像素，全屏幕显示( f u l ls c r e e n ) ，真彩色 ( t r u e c o l o r ，2 4 位) ，帧速2 5 3 0 帧绣的视频，播放1 秒钟的视频画面数据量为：“o 4 8 0 3 3 0 = 2 7 ，6 4 8 ，o o o 字节，相当于存储一千多万个汉字所占用的空间。如此庞大的 数据量，给图像的传输、存储以及显示造成了难以想象的困难，如果不进行数据压缩，将 无法进行存储和传输，因此数据压缩技术己成为计算机、通信、数字消费电子三大信息支 柱产业的共性核心技术，也是现有电话网、计算机网、广播电视网三网逐步融和最终走向 合一的技术基础之一。近1 0 多年来，视频压缩编码这门新学科取得了突飞猛进的进展和丰 硕的成果，已在众多领域进入了实际应用阶段。国际电信联盟( i t u ，1 1 1 t e m a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ) 和国际标准化组织( i s o ，i n t e m “o n a ls t a n d a r d i z a t i o no 唱a n ) 所 制定的 l 2 6 x ，”、m p e g p ，5 ，6 噜标准是这些进展和成果的集成和结晶，新的标准还在向纵 深发展，充满蓬勃生机。 互联网是一个高速数据网络集，通过采用网际互联协议( i p ，i n t e m e t p r o t o c 0 1 ) 在网络 层进行互联，解决了异构网络的互通互联问题，实现了资源的共享需求，同时直接导致了 计算机网、电信网和电视网三网的融合和信息产业结构的改组。随着高性能路由器和密集 ( q 。s ，q u a l j t yo f s e r v i c e ) 相关问题的解决，宽带p 技术的逐步成熟，从声音到视频，从 传统数据业务到基于w 曲的新数据通信业务，都可以在i p 网上进行，出现了e v e r y 嘶n go n l p 的局面，宽带p 网将取代b i s d n 网，提供多媒体综合业务。另一方面，移动通信技术 因具有移动性、自由性、不受时间与地点限制等特性，正改变着人们的生活和思维方式。 视频编码和编码转换中的运动矢量估计 第一章绪论 移动通信从第一代模拟方式发展到第二代数宇方式后，也开始了向提供综合业务的第三代 移动通信系统( 3 g ) 演化。如何将移动通信技术与互联网技术相结合，是目前国际上该领 域的研究热点之一( 7 j a 随着网络数量的增加，不同网络和系统之间的相互兼容性显得越来越重要。然而由 于不周的网络具有不同的带宽，因而也就对应着不同的传输码率f 8 】。在移动无线互联网的多 媒体通信中，例如w 曲服务器同时向两个能力不同的移动终端传送同一节目。在这种情况 下，如果将已压缩的视频信号流由互联网直接传送给移动终端，将会出现视频编码流与传 输信道失配的情况。此时，就需要对已压缩编码的视频信号流进行编码转换，将已压缩的 高速视频码流转换成低速率的视频码流，以保证视频信号流在移动无线网络中的正确传输， 为移动用户提供不同服务质量的视频服务【9 】o 可见，编码转换在各个网络和系统的互联互通中起着重要作用。 1 2 国内外的研究状况 国际电信联盟( i t u ) 制定的h 系列标准主要有h 2 6 l 队h 2 6 2 【”、h 2 6 3 嘲和h 2 6 4 。 h 2 6 l 是由i t u t 第1 5 研究组为在窄带综合业务数字网( n i s d n ) 上展开速率为p 6 4 k b s 的双向声像业务( 可视电话、会议) 而制定的，其中p l 3 0 。因此，h 2 6 1 也称为p + 6 4 标准。h 2 6 2 是由i s o 的活动图像专家组和i t u t 的第十五研究组于1 9 9 4 年共同制定的， 在i s o 的协议系列中，被称为m p e g 2 ，设计目标是高级工业标准的图像质量和更高的传 输率，它能提供的传输率在3 1 0 m b p s 之间，其在n t s c 制式下的分辨率可达7 2 0 4 8 6 ， m p e g 2 也可提供广播级的视像和c d 级的音质。在制定m p e g - 2 的过程中，本来打算为 h d t v 制定m p e g 3 标准，由于m p e g 2 的卓越性能而使得m p e g 3 未“出世”就被放弃 了。h 2 6 3 是i t u t 第十五研究组制定的低比特率视频信号压缩标准，能够在3 0 k b s 左右 的速率下提供可接受质量的视频信号，是在h 2 6 1 标准的基础上加以改进而形成的。 国际标准化组织( i s o ) 制定的m p e g 系列标准主要有m p e g t l 【4 】、m p e g 2 【5 1 、 m p e g 一4 嘲、m p e g - 7 和m p e g 2 l 。m p e g l 标准的目标是以约1 5 m b i 以的速率传输电视质 量的视频信号，亮度信号的分辨率为3 6 0 2 4 0 像素，色度信号的分辨率为1 8 0 1 2 0 像素， 每秒3 0 帧，为v c d 所采纳。m p e g 2 的压缩标准为d v d 采纳。m p e g 4 标准采用基于内 容的压缩编码，具有高速压缩、基于内容交互和基于内容分级扩展等特点，采用对象的概 念，是为交互式多媒体通信制定的压缩标准。m p e g - 7 的标准的正式名称叫做“多媒体内容 描述接口”，为各种类型的多媒体信息规定一种标准化的描述，这种描述与多媒体信息的内 一2 一 塑塑塑里塑塑旦堕垫中的运动矢量估计第一章绪论 容本身一起，支持用户对其感兴趣的各种“资料”进行快速、有效的检索。m p e g 2 l 总体 上来讲是一个支待通过异构网络和设备使用户透明而广泛地使用多媒体资源的标准，其目 标是建立一个交互的多媒体框架。 这些标准通过去除帧内冗余和帧间冗余来达到减少数据量的目的。为了去除帧间冗余， 通常利用运动估计和运动补偿技术，计算出运动矢量，只传输误差值和运动矢量，就可以 大大减少数据量，实现高压缩比。通常，在编码器运行中，运动估计算法需要消耗7 0 左 右的执行时间。运动估计成为了视频图像压缩中的一个关键技术因此为了提高编码器的 速度必须首先提高运动估计算法的效率。运动估计的搜索算法也就成为了视频编码中的研 究热点。块匹配算法( m b a ，b 1 0 c km a t c l l i n ga 1 9 0 r i t h m ) 是一种重要的运动估值算法，具 有简单、实用等特点。传统的搜索算法有全搜索算法( f s ) 、三步法( 3 s s ) 、交叉搜索算法 ( c s ) 、四步搜索法( 4 s s ) 、二维对数搜索算法( 2 d l s ) 和菱形搜索算法( d s ) ”。全搜索算法对搜索窗内的所有点都进行匹配运算，找到匹配最优的点，但是其计算量 非常大，很难得到广泛的应用。快速算法的目的就是尽可能减少搜索点数和计算量，同时 达到与全搜索算法相当的搜索效果。 这些已有的算法虽然与f s 相比在一定程度上减少了计算量，但是计算量还比较大，而 且已有的算法如三步法，搜索步骤是不变的，搜索的点数也是固定不变，没有考虑图像各 部分内容具体的运动情况，显然搜索比较盲目，没有灵活性和适应性。这些算法还很容易 陷入局部最优，找到的是匹配极小值，丽非匹配最小值。性能与f s 相比下降很多。国内外 对运动矢量的快速搜索算法还在继续研究之中。 视频编码转换方法的研究是当前宽带通信领域中的热点课题之一。国外在这一方面的 研究十分活跃，已有很多论文发表，各种处理方法在不断完善之中，同时新的处理方法和 理论不断出现；国内在这方面的研究还处于刚刚起步阶段，已有一些大学和研究机构开始 从事这项领域的研究。视频的编码转换主要包括三部分；码率的转换，分辨率的转换和编 码制式的转换。 码率转换的目的主要是为了减少传输码率，输入的码流通过截断d c t 系数，或进行重 新量化处理，或任意选择其中的d c t 系数而得以降低。在两个网络之间进行码率转换时， 虽简单的途径是开环码率转换，但是，重建图像时由于编码和解码机彼此之间不匹配引起 的“浮动”，使得编码转换产生的图像失真不断加剧。在许多情况下，此时的图像质量是无 法接受的。因此，通过使用解码器解码输入的视频信号，然后再用编码器以一种低速率对 其进行重新编码。然而，在已编码的视频输入码流中除了包含视频数据外，还带有大量有 用信息，如宏块类型、运动矢量、量化步长和位分配统计等。目前，在多数视频压缩编码 视频编码和编码转换中的运动矢量估计 第一章绪论 标准中，包括m p e g - l 、h 2 6 l 和 l 2 6 3 等，运动估值是在基于绝对差值总和的亮度宏块上 进行的。为了获得当前宏块的运动矢量，有输入运动矢量重复使用模式l 和重新计算运动矢 量模式”4 1 等视频编码转换方法。重新计算运动矢量模式就是重新编码时，在参考帧中用全 域全搜索运动估值获得，这样得到的运动矢量是最佳的，但存在着计算复杂性大的缺点【t ”。 为了减少计算复杂性，通常采用输入运动矢量重复使用模式。该模式在编码转换期间，直 接使用了输入码流中的运动矢量和宏块模式，避免了复杂的运动估值和宏块模式判决过程 从而使运算量火大降低，但直接输入码流中抽取的运动矢量和宏块模式对新的目标码率而 言不是最佳的，因而会引起编码效率的下降。尤其对于低码率的视频编码转换，常常会引 起严重的视频质量下降，按此数据重建的画面质量往往是不能接受的。 在进行编码转换时，为了满足接收端设备的要求和有效的降低比特率，通常还要减少 视频的空间分辨率哺7 11 8 1 和时间分辩率2 0 ，2 1 ，2 ”。在减少视频的空间分辨率和时间分辨率 后重新进行编码时，需要计算宏块的运动矢量。当然可以采用全搜索算法得出最优的运动 矢量，但这样做计算量太大。为了减少计算量，需要充分利用原来编码的信息。原来的编 码中包含着没有降低分辨率的运动矢量，可以利用这些已有的运动矢量，根据某种合成方 法得出新的运动矢量，当作重新编码后的宏块的运动矢量。当然合成出来的运动矢量不是 最优的，为了提高转换质量，可以在很小的范围内对运动矢量进行修正，从而使计算量太 大减少了。 在编码转换的具体过程中，既可以在同种编码制式内进行转换，也可以在不同种编码 制式之间进行转换2 ”，例如从m p e g 1 到m p e g - 4 的转换【2 5 】，m p e g l 到m o n o n j p e g 的转换口”，m p e g 2 到m p e g 1 的转换，m p e g - 2 到m p b g _ 4 的转换o ”，m p e g 2 到h 2 6 3 的转换，m p e g - 4 和h 2 6 3 之间的转换3 q 等等。在不同制式之间进行转换时主要考 虑编码的不同规范，根据新的编码制式的要求，充分利用原来码流的信息，重新进行编码。 编码转换时，既可以从像素域中进行转换，即从像素域中解码，然后在根据一定的要 求编码，也可以从变换域中进行，即在d c t 域中直接进行d c t 值的变换3 2 ，3 ”，有时还 需要进行帧编码和场编码之间的转换。 1 3 本文主要工作 本文主要研究了视频编码中运动矢量的搜索算法，提出了一种基于图像运动特征的快 速运动估计算法，同时对编码转换进行了研究，着重对基于降低时间分辨率模型的编码转 换进行了探讨，提出了一种新的运动矢量合成算法，并进行了大量的仿真实验，仿真实验 一4 视频编码和编码转换中的运动矢量估计 第一章绪论 笫呆让明j 本又提出的算法的优越性。 第二章介绍了视频编码中运动估计和运动补偿技术，分析了传统的运动矢量估计算法， 根据视频中物体的运动特征，提出了一种新的运动矢量估计算法，仿真实验结果证明了本 文提出的算法达到了搜索点数少而搜索质量与全搜索算法( f s ) 相当的目的，能够在保证 视频编码质量的同时，尽可能的减少计算量，是一种相对较好的快速运动估计算法。 第三章分析了视频码率转换必要性，介绍了编码转换的分类，和各种编码转换模型的 特点。视频编码转换既可以在像素域中进行，也可以在变换域一d c t 域中进行。具体的转 换方式有三种：码率转换、分辨率转换、编码制式的转换。本章分析了这三种转换方式的 结构，指出了各自的优点和缺点。 第四章根据视频中物体的运动特征。提出了一种新的运动矢量估计算法，仿真实验结 果证明了本文提出的算法达到了搜索点数少而搜索质量与全搜索算法( f s ) 相当的目的， 能够在保证视频编码质量的同时，尽可能的减少计算量，是一种相对较好的快速运动估计 算法。 第五章分析了降低时间分辨率时运动矢量合成的运动矢量的线性内插法、f d v s 方法， 提出了一种运动矢量合成的新方法，仿真实验结果证明了本文算法在转换质量和计算量上 优于已有的算法。 视频编码和编码转换中的运动矢量估计第二章视频编码中运动矢量的估计 2 1 引言 第二章视频编码中运动矢量的估计 2 1 l l 视频压缩编码的必要性 视频般指时变图像，即图像序列，其空间密度特性随时间变化，是一种时一空密度 模式( s p “o t e m p o m l ) ，它可以表示为( j 1 ，x 2 ，r ) ，其中 和x 2 是空间变量，t 是时间变 量。视频图像按照其记录、存储和传输模式通常分为两种：模拟视频和数字视频。 迄今为止，大多数视频的记录、存储和传输仍然是模拟方式。例如，我们在电视上所 见到的图像是一种以模拟电信号的形式记录的，并依靠模拟调幅的手段在空间传播，再用 盒式磁带录像机等模拟存储器将其作为模拟信号存放在磁带上。运动图像可以用照相胶片 记录。 近几十年以来，我们正在经历场数字化的革命。数字化的数据和通信问题改变着找 们生活的每个角落，具有c d 质量效果的高保真数字音频技术正迅速地应用于各种个人电脑 和工作站上，具有全运动的数字视频用于桌面设备的技术已经成熟。除了数字信号有更牢 靠的形式之外，数字表示和传输手段的主要优点在于它很容易在同一网络上提供各种各样 的方式，一台工作站可以用作：个人计算机、高清晰度电视、可视电话或传真机。采用附 加的相对廉价的插卡，我们可以获得动态视频图像，在本地打印机上打印静止帧。 模拟视频由于其自身的特性，仅能提供有限的交互能力，而且模拟视频的处理不是 件容易的事，需要用户有对数据处理的经验。与模拟视频相比，数字视频具有多种明显的 优点，其中包括：编辑能力，如剪辑、粘贴、放大、去噪声和模期：抵御信道噪声的能力 和易于加密：在一个公共的多媒体平台上集成各种视频应用，如t v 、可视电话等等：易于 存储和传输等等。因此，数字图像、数字视频通信已经成为商务电子、广播和网络通讯等 应用的主流。用户和商业领域的应用是对该领域的研究和开发的动力，例如：全数字h d t v 、 多媒体、桌面视频、视频会议、可视电话和视频通信等。另外，各种各样的数字视频处理 系统还广泛应用在军事和执法部门使用的监视图像、智能化交通高速公路系统、港口交通 控制、医疗电视图像、航空和飞行控制仿真等。 虽然数字视频比模拟视频具有多种明显的优点，但是数字视频的数据量却大的非常惊 视频编码和编码转换中的运动矢量估计 第二章视频编码中运动矢量的估计 人。例如c c i r ( 1 1 1 t e m a t i o n a l c 0 n s u l t a t i v e c o m m i n e e f o r r a d i o ) 格式，队l 制4 ：4 ：4 采 样的数字图像，每帧数据量为7 2 0 5 7 6 3 = 1 2 4 m b 。每秒数据量为i 2 4 2 5 ：3 1 3 m b ，s ， 而一片c d r o m 可存帧数为6 5 0 i 2 4 = o ，5 2 4 k ( 帧片) ，所以一片c d - r o m 可以存放的节 目时间仅为6 5 0 3i i ；2 0 9 秒片p 习。 从上例可以看出，数字化信息的数据量是非常庞大的。这样庞大的数据量，给信息的 存储和传输造成了很大的困难，在存储器的存储容量、通信干线的信道传输率以及计算机 的处理速度等方面都增加了很大的压力，是多媒体技术发展中一个非常棘手的瓶颈问题。 解决这一问题的办法，单纯扩大存储器容量、增加通信干线的传输率是不现实的。数据压 缩编码是行之有效的方法，所谓数据压缩，就是以最小的数码( 比特数) 表示信源所发出 的信号，减少必须分配给指定消息集合或数据采样集合的信号空间的数值。通过数据压缩 手段把信息数据量压缩下来，以压缩形式存储和传输，既节约了存储空间，又提高了通信 干线的传输速率。同时使计算机能够实时处理音频、视频信息，播放出高质量的音频、视 频节目成为可能。 大多数多媒体应用和视频服务都是把压缩后的视频数据进行存储和传输，因此视频压 缩编码是适用于许多应用领域的一种开放技术，包括国际互联弼上的视频传送和视频存储。 目前数字电视的发展已经趋于成熟，国际上通用的数字电视的标准方案主要有欧洲的dv b 、美国的atsc 和日本的isdb 三大标准体系，一些发达国家已经普及了数字电视。 我国的数字电视标准也即将制定完毕，国内很多电视台已经开始了数字电视的试播。2 0 0 3 年底，中国广电总局宣布将2 0 0 4 年定为“数字发展年”和广电产业“产业发展年”。根据 国家广电总局制定的发展规划，2 0 0 3 年我国数字电视用户市场要发展到1 0 0 万，2 0 0 4 年1 0 0 0 万，2 0 0 5 年3 0 0 0 万，在2 0 1 0 年基本实现数字化电视的普及，到2 0 1 5 年关闭模拟电视信号 的输出后，中国电视将全面挺进数字时代。 2 1 2 视频压缩编码的可行性 数字视频数据的压缩不仅是必要的而且也是可行的，因为视频图像有着很强的相关性， 也就是说视频数据中存在着大量的冗余信息。 信息论的鼻祖ce s h a n n o n 早在1 9 4 8 年创立信息论的奠基性论文“通信的数学原理” 中就提出来可以把数据看做是信息和冗余度的组合这个原理。用i 表示信息量，d 表示数据 量，凡表示冗余量，则它们之间的关系可由下式给出： ，= d r d ( 2 1 ) 垫塑塑里塑塑型壁垫竺墨垫叁墨堕兰 苎三兰塑塑塑塑! 墨鳖墨塑! ! 生 冗余的消除或减少是数据压缩的一个重要的基本依据和理论基础。对于视频图像数 据，主要有以卜- 类型的冗余： 1 空间冗余在一帧图像中，规则物体或规则背景的表面物理特性具有相关性。这些 相关性在相应的数字图像数据中表现为数据冗余，例如一幅图像的某一区域中的所有像素 有着相同的光强度，色彩以及饱和度，该区域的图像数据具有很大的冗余。相邻像素之闻， 行与行之间，条带之间都存在着空间冗余。 2 时间冗余图像序列存在着很强的冗余信息。图像序列中前后两帧图像之间的时间 域相关性很大这反映为时间冗余。对于视频图像来说，相邻帧之间的时间间隔很小。在 1 2 5 秒或1 3 0 秒的帧间间隔内，运动物体部分在画面上的位移量很小，而且场景交替整幅 景物切换的概率极小，大多数像素点的亮度及色度信号帧间变化很小或基本上不变。帧问 信号差值的统计特性是视频帧间压缩编码的基本依据。一项对彩色广播电视节目的实际测 试表明：在相邻两帧的时间间隔内，只有1 0 以下的像素有亮度差值超过2 的变化，而 色度信号只有1 以下的像素有变化。表2 一l ，是在会议电视标准图像序列中，某连续三 帧图像相邻帧间差值的平均值d 超过某域值的像素数占整幅图像像素总数的百分比。 表2 一i 帧问差值超过某制定域值的像素数目占图像像素总数的百分比( ) 闽值 l2357 l o 帧间差值超过域值的像素 6 1 64 l72 7 91 2 04 408 3 空间冗余和时间冗余是视频数据中广泛存在而且是最重要的冗余。 3 信息熵冗余信息熵是信源的平均信息量。信源以等概率分布时，熵为虽大值，熵 最大值与非等概率分布时熵值之间的差值就是信源含有的冗余度，该冗余度称为信息熵冗 余。这种冗余度寓于信源符号的非等概率分布之中的特性是数据压缩的基本途径和重要方 法之一。设法改变信源的概率分布使其尽可能的均匀以达到数据压缩的目的，这是统计压 缩编码的理论基础。 4 结构冗余有些圈像在较大的区域存在很强的纹理结构，如草席、纺织物的图案等， 如果己知这些纹理的发布模式，可通过某一过程生成图像。 5 知识冗余对许多图像的理解、分析、综合与一些基础知识相关。对于某些图像内 容确定的特定场合，可由先验知识、背景知识等，建立图像景物模型。根据已有知识，对 某些圈像所包含的物体，可以构造其基本模型，建立对应各种特征钧图像。这对，图像的 一g 一 视频编码和编码转换中的运动矢量估计 第二章视频编码中运动矢量的估计 存储只需存储些特征参数。 6 一视觉冗余人眼的视觉系统对于图像感知是非均匀和非线性的，充分利用视觉特性 是图像压缩编码从信宿角度获得数据压缩的基本依据。人眼对亮度敏感而对色彩度欠敏感， 可以对亮度和色彩度分别进行编码。人眼视觉还存在分辩能力的冗余。一股来说，人眼视 觉系统对灰度的分辨能力大约在2 6 个灰度级左右，而图像的量化常采用2 8 个灰皮级。人类 视觉系统还存在视觉掩盖效应和马赫带效应等。视觉掩盖效应是指物体背景亮度的较大变 化会减弱视觉对物体本身的辨别。马赫带效应是指人类视觉对发生跃变的图像边缘主观上 感觉更加强烈。 7 局部相似性冗余给定图像某一区域，往往可以在该区域刑近找到一个更大的区域， 两者在仿射变换下相等或非常接近，可以通过记录变换来代替对每个像素值的记录，从而 减少图像的数据量。 8 图像区域的相同性冗余在图像的两个或多个区域所对应的所有像素值相同或相 近，从而产生的数据重复性存储，记录了一个区域中各个像素的值，则与其相同或相近的 其它区域就不需要再记录其中各个像素的值了。 9 纹理的统计冗余有些图像纹理从统计的意义上服从某一分布规律，利用该性质可 以减少表示该图像的数据量。 根据不同类型的冗余，可以采用不同的压缩方法去除冗余。 2 1 3 视频压缩编码的方法和标准 数据压缩技术的研究已有几十年的历史，它的发展历程实际上是以香农信息论为出发 点，不断完善的过程。从其基本原理和发展情况来看，压缩技术可以分为两代。第一代方 法是基于速率失真理论口6 l 的，视频图像序歹利用在空间和时间上取样得到的像素值来表 示，压缩的方法是采用般信号分析的方法来消除数据中的冗余，最终使得用来表示图像 的数据是互不相关的。对于这种方法，重要的是了解信源的统计特性，而不关心图像的具 体内容，也不考虑或很少考虑人韵视觉特性。因此，这类方法称为第一代图像压缩编码方 法。第一代图像压缩编码方法在8 0 年代初已趋于成熟p ”，由于希望对图像数据进行几十倍， 以至于百倍以上的压缩，采用单一的压缩方法往往不能奏效，因此，各种国际标准都综合 利用了多种基本压缩方法来达到所要求的压缩比。当需要进行极低码率的图像数据压缩时， 第一代技术往往不能提供令人满意的解码恢复图像。对于不同复杂度的图像，利用第一代 技术可能达到的最低码率为8 4 8 k b ，s 。 9 一 视频编码和编码转换中的运动矢量估计第二章视频编码中运动矢量的估计 “第二代图像压缩编码方法”这一术语是在8 0 年代中期正式提出的 3 7 j 。极低码率的图 像数据压缩往往采用第二代技术。这类方法在很大程度上依赖于对人类视觉特性的研究， 其核心思想是力图发现人眼是根据哪些关键特征来识别图像、图像序列的，然后根据这些 特征来构造图像模型。例如，根据人限对物体内部细节更为敏感的特点，可以利用物体( 而 不是像素) 的集合来表示图像。所谓“物体”就是指按边缘信息将某特定图像分割成的若 干区域，每个区域内部具有相同的特征( 如同一灰度、纹理或运动速度等) 。分别对这些区 域进行编码将比基于像素的编码方式有效的多，根据视觉特性的其它特点，还可以构造其 它的图像模型和编码方法。 标准化是产业化活动成功的前提，基于不同的应用时期和不同的压缩编码技术，一些 国际组织制定了一系列的国际标准，例如j p e 0 、m j p e g 、m p e g 、h 2 6 x 等等。国际标准 化组织相继制定了j p e g ( 1 9 9 4 年2 月) 、m p e g 1 ( 1 9 9 3 年8 月) 和m p e g 2 ( 1 9 9 4 年) ，这三 种压缩编码国际标准主要采用了第一代压缩编码方法，如预测编码、变换编码和运动补偿。 其中，m p e g 2 是一种非常成功的国际标准，广泛应用于视频点播( v 0 d ，v i d e o0 n d e m a n d ) 、 多媒体终端等众多领域。 1 h 2 6 1 h 2 6 l 标准是国际电视电话会议屯视咨询委员会( c c i t t ) ，即现在的1 1 u t ，于1 9 9 0 年1 2 月通过的有关图像视频压缩编码的第一个国际标准化建议，主要应用于n i s d n 上的 视频会议和可视电话。h 2 6 1 只对c i f ( c o 姗o n i n t e m l e d i a t ef o n n a t ) 和q c i f ( q u a r t e rc i f ) 两种图像格式进行处理。c i f 和q c i f 的亮度信号分辨率分别为3 5 2 2 8 8 和1 7 6 1 4 4 ，色 差信号c 。和c b 的水平和垂直分辨率均为亮度信号的1 ，2 ，即分别为1 7 6 1 4 4 和8 8 7 2 。 图像帧率最高为2 9 9 7 帧，秒，在信道速率极低时，帧率可以降至i o 赖危p 左右。 h 2 6 l 压缩编码算法由具有运动补偿的帧间预测、块d c t 和霍夫曼编码组成。帧间预 测时，只利用前一帧作为参考帧进行前向预测，除初始帧为i 帧外，后续帧一般为p 帧在 每13 2 帧之内，在每个宏块位置上至少耍进行1 次帧内编码( 即逐步刷新) 。此外，当某个 宏块的预测误差太大时，也可咀做帧内编码。编、解码器的复杂程度是相当的或互为对称 的，这是此标准的一个特点。在编码时，每帧图像分为4 个层次处理，最小单位为8 8 块， 4 个亮度块和对应的2 个色度块( c b 和c ，) 构成一个宏块，3 3 个宏块构成一个块组g o b ( g r o u p o f b l o c k ) ，若干个块组构成一帧图像。 h 2 6 l 技术方案的基本框架和主要内容成为后来许多视频图像国际标准的