（计算机应用技术专业论文）视频编码中的运动估计技术研究.pdf

中国科学院自动化研究所硕士学位论文摘要 摘要 在视频编码和处理系统中，运动估计和运动补偿技术对降低视频序列时间 冗余度、提高编码效率起着非常关键的作用。一方面，运动估计的准确程度将 直接决定视频编码器的编码效率。它极大地消除了视频序列的帧间相关性，大 大降低了对存储空间和传输比特率的要求。另一方面，因为运动估计占用整个 编码器编码时间的6 0 8 0 ，所以运动估计算法的复杂性将直接决定视频压缩 编码系统的复杂性。因此本文将重点研究视频编码器中的运动估计和运动补偿 技术。 具体地说，本论文包含以下内容： 首先，本文对子像素精度运动估计技术进行了深入的研究。子像素精度运 动估计一般包括子像素插值和子像素搜索两个步骤。本文比较深入地研究了高 阶滤波器在子像素插值算法中的应用以及滤波器的阶数对子像素插值的精度和 算法复杂性的影响。在对1 4 子像素精度运动矢量分布特性进行统计分析的基 础上，提出了一种降低1 4 子像素运动估计搜索点数的方法。 其次，本文研究了甚低码率视频序列的多种块模式运动估计算法。甚低码 率视频序列编码是当今视频通信领域的研究重点，和中高码率视频序列的压缩 相比，它的突出特点是：序列相邻帧间的运动很小，因此，编码后的比特率很 小。本文针对甚低码率视频序列的特点，在对多种块模式运动估计之间的相关 性进行统计分析的基础上，提出了一种降低l 4 子像素运动估计算法复杂度的 方法。该方法在基本保证视频编码的客观视频质量的前提下，实现了计算复杂 度和编码性能的有效的折衷。 最后，本文对h 2 6 4 的帧间宏块编码模式的选择进行了统计分析，在此基 础上，提出了两种小块模式搜索中途停止( h a l f w a y s t o p ) 准则。实验表明，本算 法能在获得与全搜索算法相当的图像质量、信噪比和比特率的情况下，大大降 低多种块模式运动估计算法的复杂度。 关键词：运动估计，运动补偿，子像素插值，子像素运动估计，甚低码率 视频编码，多种块模式运动补偿 中国科学院自动化研究所硕士学位论文 a b s 订a c t a b s t l a c t l nt h ev i d e oc o d m ga n dp r o c e s s i n gs y s t e m ，m o t i o ne s t i m a t i o n ( m e ) a n d l o t i o n c o m p e n s a t i o n ( m c ) p l a yav e r yi m p o n 趾tm l e t h e yc a i le l i m i n 砒et h ei n t e r - 丹抛e r e d u n d a l l c ya n di i l l p m v e 也ep e r f b r n l a n c eo ft h e “d e oc o d e lo n 也eo n eh a l l d ，m e a c c u r a c yo fm o t i o ne s t i m a 廿o nd i r e c t l ya 能c t st h ee m c i e n c yo ft h ev i d e oc o d e li t e l i m i n a t e s l ei i l t e 卜f h m ec o r r e l a t i o na n dr e d u c e st h ed e m a i l do ft h es t o r em e m o r y a n dn l eb a n d w i d 也f o rt r a n s m i t t i n g 掣e a u y o nt h eo 也e r h a 芏l d ，m er n o t i o ne s t i m a t i o n c o s t sm o s to f t h ec o d i n gt i m eo f 也ee n c o d e r ，t h e r e f o r et l l ec o m p l e x i t yo f t h ee n c o d e r l i e so nt h ec o m p l e x 时o ft h em o t i o ne s t i m a t i o na l g o r i m m i n 廿l i st h e s i s ，w em a i n l y d i s c u s s e dm em o t i o ne s t i m a 垃o na n dm o t i o nc o m p e n s a t i o nt e c h l l i q u e s m o r ed e t a i l e dc o n t e n to f 也i st 1 1 e s i sc a nb ed e s c r i b e da sf 0 1 l o w s ： f i r s u y ，t h es u b p i x e lm o t i o ne s t i m a t i o nt e c l l l l i q u e s a r ed e e p l ys t l l d i e d t h c s u b p i x e im o t i o ne s t i m a t i o nc a nb ed i v i d e dj n t ot 、阳s t 印s ：s u b 巾i x e 】j n 栅p o l a t i o n a i l ds u b - p i x e lm a t c l l i n g i ns u b p i x e l 缸e l p o l 撕o n ，廿1 ea p p l i c a t i o n so f m u i t i - t a p6 l t e r a n dt h ee f 琵c to f t h et a p so f t l l e 矗1 t e rt ot 】1 ep f e c i s j o na n dc o m p l e x i t yo f t l l es u b l p i x e 】 i n t e r p o l a t i o na l g o r i m ma r es t u d i e d i ns u b - p i x e lm a t c h i n g ，af a s tq u 础e r _ p i x e l m o t i o ne s t i m a t i o na 1 9 0 r i t l l l ni sp r o p o s e d ，b a s e do nt h es t a 缸s t i c a la l l a l y s j so ft h e d i s t r i b u t i o no fq u a n e 卜p i x e lp r e c i s i o nm o t i o nv e c t o r s t h ea l g o r i 血mr e d u c e st h e c o m p l e x i t yo f q u a r t e r _ p i x e lm o t i o ne s t i m a t i o ng r e a t l y s e c o n d l y m em l l l t i - b l o c km o d em o t i o ne s t 豳眦i o na l g o r i t h m o fv e r yl o w b i t - m ev i d e os e q u e n c e si ss t i 工d i e d t h ei n t e r _ 舳m em o t i o no ft h ev e r yl o wb i t _ m t e v i d e os e q u e n c e si sm u c hl e s sc o m p a r e d 、v i t ht l l a to f n l eh i 曲b i t r a t ev i d e os e q u e n c e s ， t h u st h eb i t - r a t ei s 瑚l u c hl o w e lt 置1 r o u 曲a n a l y z i n gt h ec h a r a c t e r i s t i co f m ev e r yl o w b i t r a t ev i d e os e q u e n c e sa n dt b 【ec o r r c l a t i o no ft l l em i l l t i - b l o c km o d e s ，af a s t q u a r t e r - p i x e l m o t i o ne s t i m a t i o na i g o r i t h mi s p r o p o s e d ，w h i c h o 丘b r st 1 1 e c o m p u t a t i o n a lc o n l p i e x i 母a n dp e r f o r n l a n c et r a d e o f f s i nav e r yl o wb i t - r a t ev i d e o c o d i n gs c h e m e f i n a l l y ，t h em u l 廿- b l o c k m o d em o t i o ne s t i m a t i o ni ss t u d i e d b a s e do nm e s t a t i s t i c a lc h a r a c t e r i s t i co f 【1 1 em o d ed i s m b 谢o n ，t w om u l t i _ b l o c km o d em o t i o n e s t i m a t i o na l g o r i 廿l m sa r ep u tf o n v 盯d ，i nw h i c hw ed e f i n eat h r e s h o l dt oj u d g e w h e t h e r “i sn e c e s s a r vt 0c o n t i n u et h cm o t i o ne s t i m 甜o nf o rm es m a l l e rb l o c k m o d e s e 泌p e r i i l l e n t a lr e s u l t ss h o wt h a tt l ep r o p o s e dt e c m q u e sp r o v i d ec o m p e t i t i v e i i 视频编码中的运动估计技术研究 p e r f o n n a n c ec o m p a r e d 州m 舢s e a r c h ( f s ) ，m a ti s ，1 1 i 剑y 陀d u c e dc o m p u t a t i o n a l c o m p l e x 咄v e r ys i n l i l a ri m a g eq u a i i t ya i l d b n a t e k e y w o r d s ：m o t i o ne s t i m a t i o n ，m o t i o nc o m p e n s a t i o n ，s u b - p i x e lh l t e r p o l 撕o n ， s u b p i x e im o t i o ne s t i m a t i o n ，v e r yl o w b i t r a t e d e oc o d i i l g ，m u l t i _ b l o c km o d e m o t i o nc o m p e n s a t i o n i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果。与 我一同 ：作的同志对本研究所做的任何贡献均已在论文中作了明确地说明并表示了谢意。 签名：日期 关于论文使用授权的说明 本人完全了解中国科学院自动化研究所有关保留、使用学位论文的规定，即：中国科学院自 动化研究所有权保留送交论文的复印件，允许论文被查阅和借阅；可以公布论文的全部或部分内 容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 躲壁至华导，稚名：虫透恚一日期：煎! 么! 眨 中国科学院自动化研究所硕士学位论文 第一章绪论 1 1 研究工作意义和背景 第一章绪论 近年来，随着数字化和网络化时代的到来，多媒体信息已成为人类获取信 息的最主要载体，同时也成为电子信息领域的研究热点。多媒体信息经数字化 处理后具有易于加密、抗干扰能力强、可再生中继等优点，但同时也伴随着海 量数据的产生，这对信息存储设备及通信网络均提出了很高的要求，从而成为 阻碍人们有效获取和使用多媒体信息的最大瓶颈。因此研究高效的多媒体数据 压缩编码方法，以压缩形式存储和传输数字化的多媒体信息具有重要意义。作 为多媒体技术的核心及关键，多媒体数据压缩编码近年来在技术及应用方面都 取得了长足发展，它的进步和完善正深刻影响着现代社会的方方面面。 人类获取的信息中7 0 来自于视觉，视频信息在多媒体信息中占有重要地 位：同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服 务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，视频压缩编 码技术的研究已成为信息技术领域的热门话题。 伴随着视频编码相关学科及新兴学科的迅速发展，新一代数据压缩技术目 益成熟，多媒体产品与服务不断涌现，如：视频会议( d e oc o n f c r e n c i l l g ) 、数 字电视( d 讲t a lt v ) 、数字影院( d i g i t a lc i n e m a ) 、多媒体信息服务( m u l t i m e d i a m e s s a g es e e r s ) 、流媒体( s 仃e a m i n gm e d i a ) 、移动视频( m o b i l e d e o ) 、视频 点播( v i d e oo n d e m a l l d ) 、i p t v 等等。 目前，妨碍上述产品与服务普及应用的主要瓶颈仍然是对巨大存储量及传 输带宽的需求。表1 1 是几种常见视频源的未压缩数据率【7 表1 1 几种常见视频图像源的未压缩数据率 显而易见，这样大的数据量，无论存储还是传输都是极其困难的。因此， 视频压缩编码是十分必要的。视频压缩编码解决的主要问题是如何采用一种新 的表达方式来缩小表示图像所需要的数据量。一般的视频压缩编码算法是在对 视频编码中的运动估计技术研究 图像序列进行大量统计分析的基础上，充分利用图像序列自身的相关性，减少 视频信息的冗余度，降低码率 1 7 】。数字视频的冗余度主要在三方面：空间冗 余度在一切自然图像中，相邻像素的相关性相当大；频域冗余度在一 幅多频带图像中，同一像素的频谱值经常是相关的：时间冗余度在一串视 频序列中，相邻帧之间的差别通常很小。视频压缩编码的主要目的就是去除这 三方面的冗余度。此外，由于人类视觉系统( h 哪a 1 1v i s u a ls y s t e m ) 的特性，允许 视频序列有一定的失真，而这种失真并不会降低主观视频质量，这样一来就会 获得更高的数据压缩率。 运动估计是视频压缩编码系统的一个重要组成部分，它对降低视频编码系 统中的视频序列帧问冗余度、提高编码效率起着非常关键的作用。一方面，运 动估计的准确程度将直接决定视频编码器的性能和质量。另一方面，由于运动 估计要占用整个编码器编码时间的6 0 一8 0 ，所以运动估计算法的复杂性将直 接决定视频压缩编码系统的效率。 本文的工作是结合国家8 6 3 计划重大专项“数字音视频编码、传输、测试 与应用示范”研究课题和a v s 标准工作组( a u d i ov i d e oc o d i n gs t a l l d a r d w o r k m g g r o u po f c l i n a ) 目前正在制定的具备自主知识产权的第二代信源编码 标准a v s l 0 ( 面向高清和标清电视) 、a v s m ( 面向移动视频) 所做的研究。 重点对视频编码系统中运动估计和运动补偿技术进行深入的研究，并力争将相 关研究成果应用到正在制定的a v s l o ( 面向高清和标清电视) 、a v s m ( 面 向移动视频) 信源编码标准中。 1 2 视频编码标准及其发展 如前所述，目前市场上拥有大量的多媒体产品、应用及服务，为了使用户 能使用不同厂家的多媒体产品和接受来自各种公共信源的信息，就需要制定一 种统一的技术标准。从8 0 年代末开始，国际标准化组织( i s o ，i n t e m a t i o n a l s t a n d a r d i z a t i o no r g a l l i z a t i o n )和国际电信联盟 ( i t u ， i n t e m a t i o n a l t e l e c o m m u n i c a t i o nu n j o n ) 等国际组织就先后制定了一系列静止和运动图像编 码标准。下面对一些主要的运动图像编码标准做一些简单的介绍。 1 2 1h 2 6 1 l 2 6 1 是c c i t t ( 1 9 9 3 年更名为r r u t ) 于1 9 8 8 年制定的针对电视电话会 议电视等要求实时编解码和低延时应用提出的一个编码标准。h 2 6 1 要求输入 图像的格式满足c i f 或q c 巧格式，它将c i f 或q c i f 格式的数据结构划分为 2 中国科学院自动化研究所硕士学位论文 第一章绪论 如下四个层次：图像层( p ，p i c t l l r e ) 、块组层( g o b ，g r o u po fb 1 0 c k ) 层、宏块 层( m b ，m j c r o b i o c k ) 、块层( b ，b l o c k ) 。h 2 6 l 是最早的运动图像编码标准， 它详细制定了视频编码的各个部分，包括运动补偿的帧间预测、d c t 变换、量 化、熵编码，以及与固定码率的信道相适配的码率控制等部分。h 2 6 1 标准大 体上分为两种编码模式：帧内模式和帧间模式。 l 2 6 1 通过采用有运动补偿的 帧间预测来消除视频序列在时间域上的相关性：并通过离散余弦变换( d c t ： d i s c r e t ec o s i n en a n s f o m ) 来消除视频序列在空间域上的相关性。h 2 6 1 是一个 典型的采用第一代技术的混合编码方案。 1 2 2h 2 6 3 h 2 6 3 是j t u t 为低予6 4 k b p s 的窄带通信信道制定的视频编码标准。它是 在h 。2 6 l 基础上发展起来的，其标准输入图像格式可以是s q c i f 、q c i f 、c i f 、 4 c i f 或1 6 c i f 的彩色4 ：2 ：o 亚取样图像。h 2 6 3 在h 2 6 1 标准的基础上，吸 收了m p e g 等其它标准中有效、合理的部分，并增加了半像素精度的运动补偿， 从而提高了预测精度。除此之外，h 2 6 3 还在h 2 6 1 基本编码算法的基础上提 供了以下四种可选的压缩编码模式，以进一步提高编码效率。 1 ) 无限制的运动矢量模式。在这种模式中，允许运动矢量指向图像以外的 区域。当某一运动矢量所指的参考宏块位于编码图像之外时，就用其边 缘的图像像素值来代替。 2 ) 基于句法的算术编码模式。在这种模式中，使用算术编码代替霍夫曼编 码，可在信噪比和重建图像质量相同的情况下降低码率。 3 ) 。先进的预测模式。在这耱模式中，允许一个宏块中4 个8 8 亮度块各对 应一个运动矢量，从而提高了预测精度。 4 ) p b 帧模式。规定一个p b 帧包含作为一个单元进行编码的两帧图像。 p b 帧模式可在码率增加不多的情况下，使帧率加倍。 1 2 3m p e g 一1 1 9 9 2 年国际标准化组织( i s o ) 通过了m p e g 1 压缩标准，m p e g _ 1 标准用 于速率在1 5 m b i “s 以下的数字媒体，也适用于远程通信以及局域网等。m p e g 一1 标准支持随机存取、快速搜索、逆向播放、编辑功能等特性。在运动补偿方面， 该标准在时间域的正、负方向进行运动补偿的帧问内插，具有更高的压缩倍数 4 】。m p e g - 1 标准把电视图像帧区分为三类：i 帧( i n 订a 帧) 图像仅做帧内编 码；p 帧图像以前面的i 帧或p 帧图像为参考，进行时间域正方向的帧间预测 编码：b 帧图像则根据前面的参考图像以及后来的参考图像进行时间域正负双 视频编码中的运动估计技术研究 方向的帧问预测编码。对b 帧图像进行有运动补偿的帧间内插是m p e g 1 的显 著特点：能够恰当的对待突变背景：增加非因果性的预测；b 帧图像的误码造 成的图像损伤不会向时间域正负方向扩散。 1 2 4m p e g 一2 1 9 9 4 年1 1 月i s o 组织通过了m p e g 2 压缩标准，该标准针对标准数字电视 和高清晰度电视在各种应用下的压缩方案和系统层进行了详细规定，编码码率 的范围是3 m b i “s 1 0 0 m b i t ，s 。在运动补偿方面，m p e g 2 加入了对交织图像( 如 1 6 + 8 图像块) 的运动补偿。 1 25 m p e g 一4 m p e g 4 于1 9 9 9 年初正式成为国际标准。m p e g 4 是一个适用于低码率传 输应用的方案。m p e g 4 最大的特点就是对视频对象进行编码和表示以实现基 于视频内容的应用。在运动估计和运动补偿方面，m p e g 一4 实现了基于内容的 运动估计，对输入的视频帧，系统首先对物体进行分割，然后对任意形状的物 体进行运动估计和运动补偿，并对形状进行编码，这种基于内容的编码技术大大 提高了视频通信的交互能力和编码效率【3 】。 1 2 6h 2 6 4 h 2 6 4 是i s o i e c 的m p e g 一4 的第l o 部分( a v c ) 。相对于以往的视频编码 标准，h 2 6 4 引入了很多先进的技术，包括4 x 4 整数变换、空域内的帧内预测、 l 4 像素精度或1 8 像素精度的运动估计、多参考帧运动估计以及多种块模式运 动补偿等。h 2 6 4 支持l 4 或1 8 像素精度的运动矢量，在l 4 像素精度时可使 用6 抽头滤波器来减少高频噪声，对于1 8 像素精度的运动矢量，可使用更为 复杂的8 抽头的滤波器。在h 2 6 4 的运动预测中，一个宏块( m b ) 可以被划分 为不同大小的子块，形成7 种不同大小的块尺寸( 1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ，8 x 8 ， 8 x 4 ，4 x 8 ，4 x 4 ) 。这种多模式的灵活细致的划分，更切合图像中实际运动物体 的形状，大大提高了运动估计的精确程度。在这种方式下，在每个宏块中可以 包含有1 、2 、4 、8 或1 6 个运动矢量。在h 2 6 4 中，允许编码器使用多于1 帧 的参考帧用于运动估计，这就是所谓的多参考帧运动估计技术。例如2 帧或3 帧刚刚编码好的参考帧，编码器将选择对每个目标宏块能给出更好预测值的参 考帧，并为每一个宏块指示是哪一个参考帧被用于预测。新技术带来了较高的 编码效率，但同时也大大增加了算法的复杂度 2 】 3 】 6 】。 4 中国科学院自动化研究所硕士学位论文第一章绪论 我国于2 0 0 2 年6 月成立了“数字音视频编解码技术标准工作组”( t 1 1 e a u d i o v i d e oc o d i n gs t a n d a r dw o r k j n gg r o u p ，简称为a 、，s ) ，致力于制定我国具有自主 知识产权的信源编码标准a v s 。a v s 标准是信息技术先进音视频编码系列 标准的简称。a v s l o 是面向高清和标清数字电视等产业的视频信源编码标准， 是我国数字视频产业跨越发展的重要技术源头【2 8 1 。a v s m 视频标准支持无线 数字广播、无线流媒体等多种应用。a v s 视频标准当中具有特征性的核心技术 包括：8 x 8 整数变换、量化、帧内预测、1 ，4 精度像素插值、特殊的帧问预测运 动补偿、二维熵编码、去块效应环路滤波等。 1 3 视频压缩编码技术及其实现流程 视频是时变图像序列，是时空( s p a d a l t e m p e r a i ) 信号，与静态图像相比不 仅在空间上存在冗余，而且在时间上存在冗余。视频的压缩主要利用图像本身 的空间相关性( 帧内编码) 以及时间上的相关性( 帧间编码) 。采用帧内 ( i n t r a 丘a 1 e ) 和帧间( i n t e r 矗锄e ) 混合编码能达到较高的压缩率。帧内编码即 单幅图像本身的编码过程，通常采用变换编码方法，如d c t 等。帧问编码一般 都采用运动估计和运动补偿技术来有效地利用图像序列的时间相关性。 1 3 1 视频压缩编码技术 视频压缩编码系统主要包括运动估计和运动补偿、d c t 变换和量化、熵编 码( 可变长编码) 等几个部分 3 】，下面分别介绍视频压缩编码系统所采用的主 要技术。 1 ) 运动估计和运动补偿 一般情况下，运动图像相邻帧间的内容实际上没有太大的变化( 场景切换 等除外) ，即图像序列具有很强的时间相关性，可以利用图像序列的时间相关性， 用前一帧图像的数据来预测下一帧图像的数据，从而只传输两者的差值，以此 来减少要传输的数据量。 如图1 1 所示，对于大小为n x m 的块的运动估计是在参考图像中一定的范 围内寻找最佳的匹配块的过程 8 1 。这种估计方法实际上是假设n ) d 讧的块内部 像素具有同样的运动参数，即平滑性约束条件。这只能是一种近似方法，块越 小平滑性就越好，因而匹配程度也越好，但因为块越小匹配时考虑的像素数目 越少，因此运动估计的可靠性也越差。另外，块越小，编码一帧图像所需要的 视频编码中的运动估计技术研究 一p i p 7 一 一p 图1 1 运动估计示意图 运动估计次数就越多，因而需要存储和传输的运动矢量数也越多，因此，要综 合考虑多种因素，选择合适的块大小。在以前的视频压缩标准中，通常选择 n = m = 1 6 ，在h 2 6 4 的运动预测中，引入了7 种不同模式的块尺寸( 1 6 x 1 6 ，1 6 x 8 ， 8 x 1 6 ，8 x 8 ，8 x 4 ，4 x 8 ，4 x 4 ) 。这种多模式的灵活细致的划分，更切合图像中实 际运动物体的形状，大大提高了运动估计的准确程度。此外，还要根据不同视 频图像运动的剧烈程度选择合适的运动估计范围，例如对于头肩型的视频节目 p = 1 5 性能较好，而对于运动项目则p = 6 3 可以获得较好的效果 5 。 寻找到最佳匹配块以后，还要进行运动补偿，即将当前块的系数值与最佳 匹配块的系数值相减，然后对残差块加以编码。 2 ) d c t 变换和量化 d c t 变换定义为【9 】： 嘶班撕篓鼢，m 。s 鼍产 c o s 毪产 6 中国科学院自动化研究所硕士学位论文 第一章绪论 逆变换为： g ( f 扪：9 9 口( m ) d ( ) g ( 。，n l c o s l ：! 堡! 1 2 1l c o s i 兰堡生! 二! 坦l g ( f 2 薹萎烈咖。) g 如，咖o s l 鼍严lc o s l 鼍产l_ o 月= ol 。1 jl 1 j 其中，系数为： 。c o ，= j 专，且n c m ，= j 专，”s d c t 函数把数据从空间域变换到频率域，经过d c t 变换以后，图像信息的 低频分量集中在左上角，高频分量则分布在右下角。由于大多数图像的高频分 量较小，相应于图像高频成分的系数经常为零。 严格地说d c t 变换本身并不能进行码率压缩，因为n x n 个样值经过变换 后仍然得到n x n 个系数，只有在经过量化以后，特别是按人眼的生理特征对低 频分量和高频分量设置不同的量化，会使大多数高频分量的系数变为零。 所谓量化，即根据不同的要求，设置不同的量化等级，把经过d c t 变换后 输出 输入 图1 2 均匀量化特性曲线 3 ) 熵编码( 可变长编码) 的频率系数归并到有限个系数等级 上去，从而降低数码率。图1 2 示出 了均匀量化器的特性曲线。 简单地说，量化就是降低整数精 度以减少存储整数所需的位数，从而 达到数据压缩的目的。般说来，人 眼对低频分量比较敏感，而对高频分 量不太敏感。因此可以对低频分量采 用较细的量化，而对高频分量采用较 粗的量化，从而降低数码率。 熵编码是种统计编码技术，使用熵编码可以对d c t 变换和量化后的系数 做进一步的压缩。 信息熵是衡量一个事件( 符号) 所携带的信息量的标志，若n 个事件( 符 号) 中的每个事件( 符号) 的概率不相等，则每个事件所含的信息量不等，事 件所含的信息量由其概率决定，概率小者信息量大【9 】。熵编码是一种可变长编 码，通过合理的比特数分配使信号字长与概率相匹配，从而降低数码率。 哈夫曼编码和算术编码都是比较常用的熵编码方法，它们的基本思想是：对 于出现概率大的信号采用短字长的码，对出现概率小的信号则采用长字长的码， 视频编码中的运动估计技术研究 以缩短平均码长，从而对数据进行压缩。 也可以采用其它可变长编码方法如行程编码等对d c t 变换和量化后的系数 做进一步的压缩。 1 3 2 视频压缩编码基本流程 简单地说，视频压缩就是把大量的数据简化为较小的、真正有意义的数据， 删除只带有极少视觉效果的信息，并且利用数据的时空相关性进一步压缩数据。 图1 3 给出了视频编码器的基本流程： 图1 3 视频编码器基本流程图 对于输入的一帧图像数据，首先判断是采用帧内编码还是采用帧间编码， 这可以预先确定也可以按照一定的准则来选择。如果采用帧间编码，则要通过 运动估计得到运动矢量，然后将实际的数据减去运动补偿值的残差送入变换块， 残差值往往比实际的数据小得多，因此就需要很小的存储空间和极低的传输比 特率。无论是帧内编码还是帧间编码都要进行变换，现在大多数的编码器都采 用d c t 变换。d c t 变换的最大特点是对于一般的图像都能够将图像块的能量 集中于少数低频d c t 系数上，即生成的d c t 系数块中，仅左上角的少量低频 系数数值较大，其余系数的数值很小，这样就可能只编码和传输少数系数而不 严重影响图像质量。变换以后还要对图像数据进行量化。量化过程就是以某个 量化步长去除d c t 系数。量化步长的大小称为量化精度，量化步长越小，量化 精度就越细，包含的信息越多，但所需的传输频带越高。d c t 变换系数中，低 频系数对视觉感应的重要性较高，因此分配的量化精度较细；高频系数对视觉 感应的重要性较低，分配的量化精度较粗，通常情况下，一个d c t 变换块中的 大多数高频系数量化后都会变为零。量化完毕后还要对变换和量化后的系数进 行可变长编码以迸一步降低数码率。此外，还要对变换和量化后的系数迸行反 量化和反变换，并将反变换后的系数与运动补偿的结果进行叠加，并存入预测 中国科学院自动化研究所硕士学位论文第一章绪论 帧存储缓冲区，作为下一帧图像的预测帧。 1 4 视频编码中的运动估计技术概述 在视频编码和处理系统中，运动估计和运动补偿技术对降低视频序列时间 冗余度、提高编码效率起着非常关键的作用。方面，运动估计的准确程度对 帧间编码的压缩效果非常重要，如果运动估计的准确程度高，那么被压缩图像 与估计图像相减后的残差将会很小。它极大地消除了帧间的相关性，大大降低 了对存储空间和传输比特率的要求。另一方面，因为运动估计的复杂性，它占 用整个编码器编码时间的6 0 培0 ，所以运动估计算法的复杂性将直接决定视 频压缩编码系统的效率，因此本文将重点研究视频编码器中的运动估计和运动 补偿技术。 运动估计过程的目的在于获得序列图像的运动矢量，它的实质是对序列图 像的位移场进行估计。而运动补偿过程则根据所得到的运动矢量来对当前帧进 行预测。 在传统的图像编码中，往往使用固定尺寸块的匹配方法来实现运动估计， 其过程大致可以分为两步。首先，将当前帧划分成多个固定尺寸的块，如在 m p e g 。1 和m p e g 2 中，其尺寸一般为1 6 x 1 6 ，而在 l 2 6 3 中，块尺寸可以为 1 6 x 1 6 或8 x 8 。然后，对当前帧中的每一个块( 称其为预测块) ，找到它在参考 帧中的匹配块，然后确定预测块的运动矢量。为了得到最佳匹配，往往采用穷 尽搜索( 全搜索) 的方法。由于在图像序列中可能出现快速运动的情况，所以 搜索窗口一般较大，这便造成了运动估计过程实际成为了传统混合型图像编码 中最耗费计算量的过程之一。鉴于这一原因，不少学者提出了各种运动估计快 速算法【1 5 】 1 6 】 1 7 】。然而，这些算法很容易落入局部最小或者导致运动矢量场 不平滑。到目前为止，如何在保证精度的前提下加快搜索速度，仍然是视频图 像编码中的热点问题之一。 采用固定尺寸块匹配的方法求得的运动矢量实际上是图像位移场的一个均 匀采样，其算法的有效性依赖于运动物体尺寸与固定块尺寸的一致性。由于运 动物体尺寸的可变性，在某些情况下，使用该方法所得的运动估计结果的精度 是不够的，其编码效率较低 3 7 。特别是在低码率图像通信场合，图像的分辨 率较低，且一帧图像内部各局部子块的运动往往不均匀，上述问题显得尤为突 出。所以，许多学者提出了基于可变尺寸块匹配的运动估计方法【3 7 】 3 8 】。即根 据运动物体来进行预测块的划分，以提高运动估计的精度和编码效率。 为了进一步提高视频编码器的编码效率，h 2 6 4 对计算复杂性和运动估计的 9 视频编码中的运动估计技术研究 精度进行折衷，引入了7 种用于帧问预测的块模式，有研究表明，多种块模式 的运动补偿方法可以比仅采用1 6 x 1 6 块模式的运动补偿方法提高1 5 左右的编 码效率，与现有的率失真优化块模式决策模型相结合，可得到更高的编码效率 【2 2 9 。 另外，运动矢量的比特分配也是一个需要解决的问题。在以往的图像编码 国际标准中，由于进行编码的图像的分辨率较高，因此运动矢量在编码比特中 的开销，相对于图像数据来说往往可以忽略不计。但是，随着低码率图像通信 的日益广泛使用，运动矢量的编码比特数已不再可以忽略，因此，不少学者开 始使用各种码率控制策略对运动矢量的编码比特数进行分配 3 9 。 运动估计是运动图像编码的核心技术。由于要进行精确的运动估计所需的 计算量十分巨大，这就给运动估计实时实现问题带来了很大的困难，因而对运 动估计技术的高效算法、实时实现等关键问题进行研究就显得非常重要。 1 5 本文内容编排 本文将从块模式运动补偿、快速1 4 子像素运动估计、1 4 像素精度插值等 方面来研究运动估计和运动补偿技术。 具体内容编排如下： 第一章主要介绍本论文选题的背景、意义和主要的研究内容，并对视频编 码标准、视频压缩编码技术、视频编码基本流程、运动估计和运动补偿技术进 行了概要性的介绍。 第二章介绍用于视频压缩的运动估计算法块匹配法，详细介绍了块匹 配运动估计算法的研究现状和发展趋势。针对本论文后续章节的研究内容，还 介绍了些运动估计技术的新发展，如予像素精度运动估计、多种块模式运动 补偿等。 第三章深入研究高阶滤波器在子像素插值中的应用，研究了滤波器的阶数 对子像素插值的精度和算法复杂性的影响。并对1 4 像素精度运动矢量分布特 性进行统计分析，在此基础上，提出了一种降低1 ，4 子像素运动估计搜索点数 的方法。 第四章针对低码率视频序列的特点，在对多种块模式运动估计之间的相关 性和】4 子像素精度运动矢量分布特性统计分析的基础上，提出了一种降低1 4 予像素运动估计算法复杂度的方法，该方法在基本保证视频编码的客观视频质 量的前提下，实现了计算复杂度和编码性能的有效的折衷。 第五章根据多种块模式运动估计中各模式分布统计规律，提出了两种带有 中国科学院自动化研究所硕士学位论文 第一章绪论 中途停止( h a l f w a y s t o p ) 的多种块模式运动估计算法，根据大块模式搜索结果判 断小块模式中途停止搜索算法以及根据前一帧搜索结果判断小块模式中途搜索 停止算法。实验表明，本算法能在获得与全搜索算法相当的图像质量、信噪比 和比特率的情况下，大大降低多种块模式运动估计的复杂性。 第六章总结了作者的研究成果，并对未来进一步的研究内容进行了展望。 视频编码中的运动估计技术研究 第二章视频编码中的运动估计和运动补偿技术 2 1 引言 运动估计和运动补偿是视频压缩编码系统中的一个重要组成部分。在视频 压缩编码系统中，估计的运动矢量用来根据前一个已编码的参考帧产生当前编 码帧的运动补偿预测。最终目的是使编码运动矢量和预测误差所用的总比特数 最小化。运动估计方法可以分为两类：基于特征的和基于亮度的。在视频压缩 编码系统中几乎所有的运动估计算法都是基于恒定亮度假定，这是由于基于亮 度的运动估计方法比较适合于所要估计的运动不能用一个简单的模型表征，并 且期望对一个像素或方块的运动场进行估计的场合。本章只讨论基于亮度的运 动估计方法。 图像序列中运动的连续性导致了图像序列具有很强的时间相关性，可以利 用图像序列的时间相关性，用前一帧图像的数据来预测下一帧图像的数据，从 而只传输两者的差值，以此来减少要传输的数据量。 运动估计和运动补偿的基本原理简述如下：当编码器对图像序列第n 帧进 行处理时，利用运动补偿中的核心技术运动估计m e ( m o t i o ne s t i m a t i o n ) ， 得到第n 帧的预测帧n ，在实际编码传输时，只传输第n 帧和其预测帧n 的 差值。如果运动估计十分有效，中的值基本上分布在零的附近，从而导致 比原始图像第n 帧的能量小得多，编码传输所需的比特数也少得多，这就是 运动补偿技术能够去除信源时间冗余度的本质所在【4 】。 运动估计的一个关键的问题是如何参数化运动场。最直接和最不受约束的 方法是为每个像素都指定运动矢量。这就是所谓基于像素的表示法。这种表示 法是普遍适用的，但它需要估计大量的未知量。一般对于包含多个运动物体的 场景，更适当的方法是将一个图像帧按运动一致性分成多个区域。这就是基于 区域的运动表示法。这种方法的难度在于区域分割需要很大的计算量，实际上 可能是行不通的。 降低基于区域的运动表示法的复杂性的一个方法是把图像帧分割成固定大 小的块。只要每个块足够小，则每个块内的运动变化就可以用一个简单的模型 表征，同时每个块的运动参数可以独立地进行估计。这就是目前在视频压缩编 码标准中被广泛采用的基于块的表示法。每个块的运动可以用块位移量来描述， 从而使运动估计问题变成为每一个块找到一个运动矢量( m v ，m o t i o n v e c t o r ) 。 这种方法在精确度和复杂性之间提供了一个很好的折衷，并且已经在视频压缩 中国科学院自动化研究所硕士学位论文 第二章视频编码中的运动估计和运动补偿技术 编码标准中取得了巨大成功。基于块的方法的主要问题是没有在相邻块的运动 过渡上施加任何约束。因此，即使真实的运动从一个块到另一个块是平滑变化 的，也经常在块边界出现不连续现象。 不同的运动表示方法导致不同的运动估计方法。采用基于块的运动表示法 的最简单的运动估计算法是块匹配算法( b m a ，b 1 0 c km a t c h i n ga 1 9 0 r i m m ) ，它 假定每一个块内的运动是恒定的，即整个块进行平移运动( 这称为块平移模型) 。 此时运动估计问题就变成了为每一个块寻找一个运动矢量。块匹配算法能有效 地与基于块的混合编码器联合，并且具有相对较低的复杂度和较好的编码效率， 因此在各种视频编码标准中都得到了广泛的应用。本文将主要对基于块平移模 型的块匹配运动估计算法中的一些问题进行研究。 2 2 基于块匹配的运动估计 2 2 1 块运动模型 基于块的运动表示方法假设图像是由运动的块构成的。块的运动一般为两 种类型的运动：( 1 ) 块的简单二维平移，和( 2 ) 块的旋转和二维变形 1 。 f 1 ) 块的简单二维平移运动 如果每一个块作单纯的平移运动。那么帧k 中的一个中心位于n _ ( n l ，1 1 2 ) 的 n x m 块b 被模型化为帧k + l ( 1 是整数) 中同样尺寸块的一个完全移位形式，即 s ( 订1 ，胛2 ，后) = j ( 胛l + d l ，以2 + d 2 ，后+ ，) 手萋中( 1 ，刀2 ) 口 这里d 1 ，d 2 是块b 位移( 平移) 矢量分量。 块运动模型如图2 1 所示，块b 可能是重叠块或未重叠块。 在未重叠情况下，整个块被当作具有单一的运动矢量。因此，可以在逐像 素基础上通过复制来自帧k + l 中相应块的灰度级和颜色信息得到运动补偿。在 重叠块的情况下，或者计算重叠范围内的运动矢量的平均值，或者选择一个已 估计的运动矢量 4 0 。 由于每个块只需要一个运动矢量，不需要很多附加条件表示运动场，实现 简单，因此基于平移的块模型的运动补偿获得了广泛的应用。 然而，使用平移块的运动补偿具有如下缺点：( 1 ) 不适用于缩放、旋转运动 或局部变形等情况。( 2 ) 由于物体边界通常与块边界不一致，邻近的块实际上可 能被表示成完全不同的运动矢量，因而导致严重的人为分割现象，这在低比特 率的应用中尤其突出。 ( 2 ) 块的旋转和二维变形运动 视频编码中的运动估计技术研究 帧k 1 j； i u i 图2 1 块运动