（计算机应用技术专业论文）h264的块匹配运动估计算法研究.pdf

u n d e rt h es u p e r v i s i o no f p r o f m i n 西a n l i u at h e s i ss u b m i t t e dt ot h eu n i v e r s i t yo fj i n a n i np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t s f o rt h ed e g r e eo fm a s t e ro fe n g i n e e r i n g u n i v e r s i t yo f j i n a n j i n a n ，s h a n d o n g ，p r c h i n a m a y1 8 ，2 0 1 0 删f i l l 1 1 f 6 7 9 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含 任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出 重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律责任由本人承担。 论文作者签名： 查丝吐 日 期： 2 翌坦：至：超 关于学位论文使用授权的声明 本人完全了解济南大学有关保留、使用学位论文的规定，同意学校 保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被 查阅和借鉴；本人授权济南大学可以将学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或其他复制手段保存论文和 汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：鸯红吐 导师签名 济南人学硕l ：学化论文 目录 摘要v a b s t r a c t v i i 第一章绪论1 1 1 课题的研究背景和意义1 1 2 运动估计研究现状2 1 3 本文的主要研究内容和章节安排3 第二章视频编码技术及其标准5 2 1 视频压缩编码的可能性5 2 1 1 时间冗余5 2 1 2 空间冗余6 2 1 3 结构冗余6 2 1 4 知识冗余7 2 2 视频压缩编码原理7 2 2 1 预测编码7 2 2 2 变换编码9 2 2 3 熵编码1 0 2 3 视频压缩标准发展简介1 0 2 3 1h 2 6 1 1 0 2 3 2m p e g 一1 1 1 2 3 3m p e g 一2 1 1 2 3 4h 2 6 3 1 2 2 3 5m p e g 一4 1 2 2 4h 2 6 4 编码标准介绍1 3 2 4 1h 2 6 4 编码标准的特点1 3 2 4 2h 2 6 4 编码标注的技术亮点1 3 2 5 本章小节1 7 第三章经典运动估计算法回顾1 9 3 1 运动估计的基本原理1 9 3 2 块匹配准则2 0 3 3 典型运动估计算法介绍2 1 3 3 1 全搜索算法2 1 i h 2 6 4 的块匹配运动估计铮法研究 3 3 2 三步搜索法+ 2 2 3 3 3 二维对数法2 3 3 3 4 四步搜索法2 4 3 3 5 菱形搜索算法2 5 3 3 6 六边形搜索算法2 6 3 4 本章小结2 7 第四章u m h e x a g o n s 算法的改进2 9 4 1u m h e x a g o n s 算法2 9 4 1 1 搜索起始点预测2 9 4 1 2 非对称的十字形搜索3 0 4 1 3 不均匀多重六边形搜索3 0 4 1 4 扩展的六边形搜索3 l 4 2 改进的u m h e x a g o n s 算法3 l 4 2 1 改进的5 5 螺旋全搜素3 1 4 2 2 改进的不均匀多重六边形搜索3 2 4 2 3 水平型六边形模板和垂直型六边形模板3 3 4 3 算法步骤3 4 4 3 1 搜索起始点预测3 4 4 3 2 非对称的十字形搜索3 4 4 3 3 不均匀多重八边形搜索3 5 4 3 4 扩展的六边形搜索3 5 4 4 实验结果3 5 4 5 本章小结3 8 第五章自适应十字- j k 边形搜索算法3 9 5 1 静止块的判断3 9 5 2 搜索起点预测4 1 5 3 运动类型的判断4 3 5 4 搜索模板4 4 5 5 算法流程4 5 5 6 实验结果4 5 5 7 本章小节4 7 h 济而人亨! 硕i j ：亨：1 ，论文 第六章总结与展望4 9 6 1 总结4 9 6 2 展望5 0 参考文献5 l 致谢5 5 附录a ( 攻读学位期间发表论文目录) 5 7 i i i h 2 6 4 的块旺眦运动估；p 算法研究 i v 济1 钉人学硕 学位论文 摘要 随着信息技术的发展，人类对信息的需求越来越丰富，多媒体信息己成为人们获 取信息的主要载体。视觉信息具有直观、生动的特点，人类通过视觉获取的信息量约 占总信息量的7 0 左右，视频信息在多媒体信息中占有重要地位。但是视频数据的冗 余度很大，视频编码研究已成为信息技术领域中的热门话题。 运动估计作为视频压缩的关键技术，是视频压缩编码系统中非常重要的模块， 它直接影响到视频数据压缩编码的质量和效率。运动估计也是压缩编码中运算最复 杂、最耗时的环节，据统计运动估计的计算复杂度占整个视频数据压缩编码系统计 算量的5 0 以上。因此研究有效的运动估计算法对提高视频数据压缩编码的效率有 着非常重要的实际意义，它是解决目前视频数据的高效压缩问题的有效途径之一。 在各种运动估计算法中，块匹配算法由于简单、易于硬件实现等特点，得到了广泛 的应用和研究。 本文首先介绍了视频压缩编码技术的原理和一系列国际视频编码标准，并对其 中的h 2 6 4 视频编码标准做了详细的介绍。然后介绍了运动估计的基本原理、宏块 的匹配准则和几种典型的运动估计算法，并在j m 8 6 模型上实现了这几种典型的运 动估计算法，为下一步算法的优化和设计奠定了理论基础。 在此基础上，提出了两种新的运动估计算法。一种是改进的u m h e x a g o n s 算法，另 一种是十字- a 边形搜索算法。改进的u m t t e x a g o n s 对原算法的三个方面进行了改进， 根据运动矢量的分布概率特点和1 - i 2 6 4 视频编码标准中宏块分割特点，用非对称的小 十字形模板代替了u m h e x a g o n s 算法中的5 5 螺旋全搜索；用搜索性能更好的八边形模 板代替了六边形模板；而且添加了水平型六边形搜索和垂直型六边形搜索模板，并在 j m 8 6 模型上对该算法进行了仿真。从仿真实验得出的结果可以看出，改进的新算法与 u m h e x a g o n s 算法相比在保证编码质量没变化的情况下，算法的运动估计时间降低了 3 0 左右。因此，改进的新算法是一种有效的运动估计算法，对实时编码的应用有一 定贡献。 十字一八边形搜索算法充分利用了视频序列中运动矢量的中心偏置特性和时空 相关性，结合十字形模板和八边形搜索模板，根据运动类型自适应的选择搜索策略 和搜索起始点，运动类型分为大运动类型、中运动类型和小运动类型，搜索起始点 的方法采用的是绝对误差和比较法。同时设定阈值对静止块直接中止搜索，阈值的 v h 2 6 4 的块旺配运动估计算法研究 置没有选用之前的固定值，而是根据宏块的空间相关性自适应的计算阈值，提高 搜索精度。静止块的终止搜索技术，避免搜索冗余搜索点，提高了算法的效率。 验结果表明，十字一八边形搜索算法的搜索速度优于现有的快速运动估计算法， 索精度接近o m h e x a g o n s 算法。 键词：h 2 6 4 ；视频压缩；运动估计；块匹配算法；运动矢量； v i 济南人学硕f 学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , h u m a nd e m a n df o rm o r er i c h n e s so f i n f o r m a t i o n ，m u l t i m e d i ai n f o r m a t i o nh a sb e c o m et h em a i nc a r t i e rt oo b t a i ni n f o r m a t i o n v i s u a li n f o r m a t i o nh a si n t u i t i v ea n dv i v i df e a t u r e s ，t h ea m o u n to fi n f o r m a t i o nt h eh u m a n v i s i o ng e ti sa b o u t7 0 o ft h et o t a la m o u n to fi n f o r m a t i o n ，s ov i d e oi n f o r m a t i o np l a y sa l l i m p o r t a n tr o l ei nm u l t i m e d i ai n f o r m a t i o n b u tt h er e d u n d a n c yo fv i d e od a t ai sg r e a t ，v i d e o c o d i n gr e s e a r c hh a sb e c o m e ah o tt o p i ci nt h ef i e l do fi n f o r m a t i o nt e c h n o l o g y m o t i o ne s t i m a t i o na sak e yv i d e oc o m p r e s s i o nt e c h n o l o g yi sav e r yi m p o r t a n tp a r t i nt h ev i d e oc o m p r e s s i o ne n c o d i n gs y s t e m i td i r e c t l ya f f e c t st h eq u a l i t ya n de f f i c i e n c yo f v i d e od a t ac o m p r e s s i o ne n c o d i n g m o t i o ne s t i m a t i o ni sa l s ot h em o s tc o m p l e xa n d t i m e c o n s u m i n gp a r ti nc o d i n go p e r a t i o n ，a c c o r d i n gt o s t a t i s t i c st h e c o m p u t a t i o n a l c o m p l e x i t yo fm o t i o ne s t i m a t i o na c c o u n t sf o rm o r et h a n5 0 o f t h ee n t i r ev i d e od a t a c o m p r e s s i o ne n c o d i n gs y s t e m t h e r e f o r e ，t h es t u d y i n go fe f f e c t i v em o t i o ne s t i m a t i o n a l g o r i t h mt oi m p r o v et h ee f f i c i e n c yo fv i d e od a t ac o m p r e s s i o ne n c o d i n gh a sav e r y i m p o r t a n tp r a c t i c a ls i g n i f i c a n c e s ，i ti sa ne f f i c i e n ts o l u t i o nt ot h ec u r r e n tv i d e od a t a c o m p r e s s i o np r o b l e m i nav a r i e t yo fm o t i o ne s t i m a t i o na l g o r i t h m s ，a sb l o c km a t c h i n g a l g o r i t h mi ss i m p l ea n de a s yh a r d w a r ei m p l e m e n t a t i o n ，i th a sb e e nw i d e l yu s e da n d r e s e a r c h t h i sp a p e ri n t r o d u c e ss o m ev i d e oc o m p r e s s i o nc o d i n gt e c h n i q u e sa n dt h ep r i n c i p l e o fas e r i e so fi n t e m a t i o n a lv i d e oc o d i n gs t a n d a r d ；a l s od oad e t a i l e di n t r o d u c t i o nt o h 2 6 4v i d e oc o d i n gs t a n d a r d t h e nt h ep a p e ri n t r o d u c e st h eb a s i cp r i n c i p l e so fm o t i o n e s t i m a t i o n ，m a c r o - b l o c km a t c h i n gc r i t e r i aa n ds o m et y p i c a lm o t i o ne s t i m a t i o na l g o r i t h m t h er e a l i z a t i o no ft h e s ek i n d so ft y p i c a lm o t i o ne s t i m a t i o na l g o r i t h mo nj m 8 6m o d e lh a s l a i dat h e o r e t i c a lb a s i sf o rf u r t h e ro p t i m i z a t i o na n dd e s i g na l g o r i t h m o nt h i sb a s i s ，w ep r o p o s e dt w on e wm o t i o ne s t i m a t i o na l g o r i t h m s o n ei si m p r o v e d u m h e x a g o n sa l g o r i t h m ，t h eo t h e ri st h ec r o s s o c t a g o ns e a r c h i n ga l g o r i t h m i m p r o v e d t h eo r i g i n a lu m h e x a g o n so nt h r e ea s p e c t s ：a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fm o t i o n v e c t o rd i s t r i b u t i o np r o b a b i l i t ya n dt h em a c r ob l o c kp a r t i t i o n i n gi nh 2 6 4v i d e oc o d i n g s t a n d a r d ，t h ep r o p o s e da l g o r i t h mr e p l a c e dt h e5 5s p i r a lf u l ls e a r c ho fu m h e x a g o n s v i i h ，2 6 4 的块匹配运动估计算法研究 a l g o r i t h mb yas m a l ln o n s y m m e t r i c a lc r o s st e m p l a t es e a r c h i n g ；r e p l a c i n gt h eh e x a g o n s e a r c h i n gt e m p l a t eb yo c t a g o nt e m p l a t ei no r d e rt og e tb e t t e rp e r f o r m a n c e ，a n da d dt h e h o r i z o n t a l t y p eh e x a g o n a ls e a r c ha n dv e r t i c a l t y p eh e x a g o n a ls e a r c ht e m p l a t ei n t h e p r o p o s e da l g o r i t h m w eh a v es i m u l a t e d t h ea l g o r i t h mo nj m 8 6m o d e l f r o mt h e s i m u l a t i o nr e s u l t sc a nb es e e nt h a tc o m p a r e dw i t ht h eu m h e x a g o n sa l g o r i t h m ，t h en e w i m p r o v e da l g o r i t h me n s u r i n gt h eq u a l i t yo fc o d e dd i dn o tc h a n g e ，b u tr e d u c e st h et i m eo f m o t i o ne s t i m a t i o na b o u t3 0 t h u s ，t h en e wi m p r o v e da l g o r i t h mi sa ne f f e c t i v em o t i o n e s t i m a t i o na l g o r i t h ma n dc o n t r i b u t e dt or e a l - t i m ee n c o d i n ga p p l i c a t i o n s c r o s s o c t a g o ns e a r c h i n ga l g o r i t h mt a k e s f u l l a d v a n t a g eo ft h e c e n t e r - b i a s e d c h a r a c t e r i s t i c so fm o t i o nv e c t o ra n ds p a t i a l - t e m p o r a li nv i d e os e q u e n c e s ，m o t i o nt y p e sa r e d i v i d e di n t of a s tm o t i o nt y p e ，m i l dm o t i o nt y p ea n ds l o wm o t i o nt y p e ，t h em e t h o do f s e l e c t i n gt h es t a r t i n gp o i n ti st h es u mo fa b s o l u t em e t h o d c o m b i n i n gw i t hc r o s s s h a p e d t e m p l a t ea n do c t a g o ns e a r c ht e m p l a t e ，a d a p t i v e l ys e l e c t e dt h es e a r c hs t r a t e g i e sa n ds e a r c h s t a r t i n gp o i n ta c c o r d i n gt om o v e m e n tt y p e ，a tt h es a m et i m es e tt h et h r e s h o l dd i r e c t l y s u s p e n d e dt h es e a r c hf o rs t a t i o n a r yb l o c k s ，t h r e s h o l ds e t t i n gd o e sn o tu s eaf i x e dv a l u ea s b e f o r e ，b u ta c c o r d i n gt ot h es p a t i a lc o r r e l a t i o no fm a c r ob l o c kc a l c u l a t e st h et h r e s h o l dt o i m p r o v e t h e s e a r c h i n ga c c u r a c y s t a t i o n a r yb l o c ks u s p e n d e dt e c h n o l o g ya v o i d i n g s e a r c h i n gr e d u n d a n ts e a r c hp o i n t i n g ，r a i s e d t h e e f f i c i e n c y o ft h e a l g o r i t h m t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t h m ss e a r c hs p e e di sb e t t e rt h a nt h ee x i s t i n gf a s t m o t i o ne s t i m a t i o na l g o r i t h m ，t h es e a r c ha c c u r a c yo ft h ep r o p o s e da l g o r i t h mc l o s et o u m h e x a g o n sa l g o r i t h m k e y w o r d s ：v i d e oc o m p r e s s i o n ，m o t i o ne s t i m a t i o n ，b l o c k - m a t c h i n ga l g o r i t h m ，m o t i o n v e c t o r v i i i 济南人学硕 j 学化论文 第一章绪论 1 1 课题的研究背景和意义 随着信息技术的发展和社会的不断进步，人类对信息的需求越来越丰富，当今 社会己成为信息化社会。在这样的背景下，多媒体信息己成为人们获取信息的主要 载体，因此成为电子信息领域研究的热点。经过数字化处理后的多媒体信息具有易 于加密、便于存储、处理和交换、抗干扰能力强等优点，但同时也会产生海量的数 据，对存储媒介和通信网络提出了很高的要求，从而成为人们有效获取和使用多媒 体信息的主要瓶颈。 视觉信息给人们直观、生动的形象，人类通过视觉获取的信息量约占总信息量的 7 0 左右【l 】，视频信息在多媒体信息中占有非常重要的地位。由于视频数据的冗余信 息很多，视频压缩后的编码质量就决定了多媒体服务的质量。多媒体应用中的核心技 术之一就是数字视频技术，它的目标就是解决存储介质和通信网络容量小与视频数字 化后数据量大的矛盾，数据压缩就是解决上述矛盾的有效途径之_ ，因此视频编码技 术成为了信息技术研究领域中的热点话题。 数字视频技术的应用范围很广泛，像是网络可视电子商务、远程医疗、网络研讨 会、网上聊天、网络展览厅、网络学校等业务。在上述的应用中由于视频数据的传输 量很大，单纯的扩充存储器容量或是增大通信线路的传输率的是不现实的，一个行之 有效的解决办法就是把数据进行压缩处理，通过压缩，可以大幅度减少信息的数据量。 在存储和传输的过程中使用压缩的形式，既可以节省存储空间，又能提高通信线路的 传输效率，压缩技术使计算机实现了处理视频信息的实时性。因此，对视频数据进行 压缩是非常必要的。 在此背景下，更多的研究工作者开始关注视频编码这个领域，并提出了很多有价 值的新方法和新理论，同时有很多国际组织也积极的参与到视频标准制定的工作中。 像是i s o i e c 成立- j m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 和j p e g ( j o i n tp h o t o g r a p h i c e x p e r tg r o u p ) ，并相继制定t j p e g 、m p e g 1 、m p e g 2 和m p e g 4 等标准【2 】；在i t u t 和m p e g 的组织合作下，先后制定了h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 3 + 等一系列国际视 频压缩编码标准。这些压缩编码标准的制定为视频编码技术的发展产生了巨大的推动 力。 h 2 6 4 标准是由i t u 的视频编码专家组v c e g 和i s o i e c 的活动图像专家组 1 h 2 6 4 的块匹配运动估计算法研究 m p e g 共同组成的联合视频组j v c 在2 0 0 3 年制定的新一代视频压缩编码标准，它 也被称为m p e g 4 的第1 0 部分【3 】。在重构图像质量相同的情况下，h 2 6 4 比h 2 6 3 能够节约大约一半的码率，但是h 2 6 4 的低码率的获得是以增加计算复杂度为代价 的，h 2 6 4 的编码计算复杂度大约是h 2 6 3 的3 倍，解码的复杂度大约是h 2 6 3 的 两倍【4 1 。运动估计作为视频编码系统中举足轻重的模块，对视频压缩编码的质量和 效率产生直接的影响，而且运动估计算法的计算复杂度大约占整个视频压缩编码系 统的5 0 以上【5 。因此高效运动估计算法的提出对视频压缩编码的效率的提高有着 重要的意义。 1 2 运动估计研究现状 因为运动估计算法对视频压缩编码的效率能够产生重要影响，所以关于运动估 计算法的研究已经成为视频压缩技术中的热点。目前，研究该领域的专家提出了多 种运动估计算法，总的来说分为以下四种：块匹配法、光流法、贝叶斯估计法和递 归估计法。由于块匹配运动估计算法具有算法简单和便于硬件实现的优点，因此在 视频压缩编码领域得到了广泛应用，像是m p e g 和h 2 6 * 等国际视频压缩编码标准 中就是采用的块匹配运动估计算法。 全搜索算法( f s ) 0 7 】是块匹配运动估计算法中搜索精度最高的算法，f s 算法对搜 索区域中的每一个像素点都进行匹配运算，匹配结果总能保证是全局最佳运动矢 量。但是高计算复杂度的f s 算法不适合实时编码的应用。之后研究者们又相继提 出了许多快速运动估计算法，最初的有三步搜索算法( t s s ) 【8 1 、交叉搜索算法( c s ) t 9 】 和二维对数法( t d l ) 【lo 】等，这些早期的运动估计算法是通过对搜索点数目的限制， 实现了运动估计算法的计算复杂度的降低。新三步搜索算法州t s s ) 【1 1 1 、梯度下降法 ( b b g d s ) t 1 2 乘ij h 搜粼( f t s s ) t 1 3 1 等是利用运动矢量分布的中心偏置特性，减少 了计算量，提高了算法的搜索速度。1 9 9 8 年，基于d s 的运动估计算法被提出，1 9 9 9 年，菱形搜索法( d s ) 【1 4 】被m p e g 4 标准采用并收入验证模型中。2 0 0 3 年，h 2 6 4 国 际标准采用了非对称十字形多层次六边形搜索算法( u n s y m m e t r i c a l c r o s s m u l t i h e x a g o ns e a r c h ，u m h e x a g o n s ) ”】作为整像素的运动估计算法。虽然d s 算法 和u m h e x a g o n s 算法的性能已经比较优越，但仍存在着不足：在编码运动幅度较大 的视频序列时，d s 算法和u m h e x a g o n s 算法在搜索最佳匹配点时对搜索区域的中 每一部分都是同等对待的，从而造成了搜索冗余。再有，不管运动矢量是大是小， d s 算法和u m h e x a g o n s 算法都要经历从大模板到小模板的搜索匹配过程，在该过 2 济南人学硕f j 学化论文 程中需要匹配计算较多个搜索点，但理想的情况可能只需对其中几个点搜索即可， 所以d s 算法和u m h e x a g o n s 算法的自适应性还有提高的空间。针对当前运动估计 算法中存在的各种问题，很多学者都对提出高性能的新的运动估计算法而不懈努 力。随着研究的深入和新技术的提出，块匹配运动估计算法的性能将会得到不断改 盖 口。 针对目前运动估计算法存在的各种问题，人们正在积极研究新的高性能运动估 计算法。随着新技术的不断出现，块匹配运动估计算法的性能将会得到不断改善。 1 3 本文的主要研究内容和章节安排 本文以h 2 6 4 视频编码标准为基础，对视频编码技术和视频编码原理进行了深入 的研究，重点研究了编码系统中的运动估计部分，并提出了两种新的运动估计算法。 论文全文分为六章。第一章为绪论，阐述了课题研究的背景、意义和运动估计的 现状。第二章介绍了视频编码原理和编码标准。第三章中研究了运动估计的基本原理、 块匹配准则和几种经典的运动估计算法。第四章介绍了作者对u m h e x a g o n s 算法的改进 算法，通过j m 8 6 模型仿真实验表明，改进后的算法在确保编码质量不下降的前提下， 有效地减少了运动估计时间，算法效率明显提高。第五章提出了另一种新算法，十字 一八边形搜索算法，实验证明该算法的效率明显高于目前的运动估计算法。第六章是 对本文工作的总结和对未来工作的展望。 h 2 6 4 的块旺配运动估计算法研究 4 济南人学硕卜学位论文 第二章视频编码技术及其标准 本章主要介绍了视频编码技术及其标准，包括视频压缩编码的可能性、视频压 缩编码的原理和视频压缩标准发展简介。在介绍视频压缩标准时，详细介绍了h 2 6 4 视频压缩编码标准。 2 1 视频压缩编码的可能性 从信息论观点来看，描述信源的数据是信息量( 信源熵) 和信息冗余量之和。图 像作为一个信源，也存在着多种冗余，如时间冗余，空问冗余，结构冗余，知识冗 余，视觉冗余等，数据压缩的本质就是减少这些冗余量。减少冗余量可以减少数据 量而不会减少信源的信息量。从数学方面考虑，图像可以看作一个多维函数，压缩 描述这个函数的数据量实质是减少其相关性。另外在不妨碍图像的实际应用下允许 图像有一定的失真，那么数据量压缩的比例就可以更大了。 2 1 1 时间冗余 序列图像通常是位于时间轴区间内的一组连续的画面，时问冗余就是序列图像 表示中常见的冗余。如图2 1 所示，图中的两幅图片分别是f o o t b a l l 测试序列的第 1 0 帧和第1 1 帧。从中我们可以看出相邻帧通常包含同样的背景和移动物体，只是 移动物体所在的空间位置有所不同，因此后一帧数据与前一帧数据之间有许多相同 的地方，这是由相邻帧记录相邻时刻的同一画面而产生的相同性，叫做时间冗余。 图2 1 序列图像时间冗余 h 2 6 4 的块征配运动估计算法研究 2 1 2 空间冗余 空间冗余是静态图像中包含的最主要的一种数据冗余。一副图像有许多像素组 成，同一幅图像中像素之间具有较强的相关性，并且距离越近的两像素之间的相关性 越强，也就是说相邻像素之间的值发生变化的概率比较小，图像中的一些背景，通常 是表面颜色均匀的区域【l6 1 ，如图2 2 中所示的白色矩形中的区域，在此区域中所有像 素点的亮度值、色度值、饱和度值都是相同的，这就是空间冗余。可以利用这种空间 冗余性进行压缩编码来减少了存储空问。 2 1 3 结构冗余 图2 2 图像中的均匀背景区域 均匀背景区域 在有些图像的纹理区，图像的像素值的分御模式存在着明显的规律，这就成为 结构冗余【1 7 1 。图2 3 中所显示的黑自方格的地板图案就是一种结构冗余。如果存在 结构冗余，可以通过某一过程根据图像的分布模式生成图像1 8 】。 图2 3 结构歹_ c 余 6 济南人学硕f 学f 过论文 2 1 4 知识冗余 某些知识与图像的理解有很大关联。如图2 4 所示，人脸图像有固定的结构， 像是鼻予在嘴的上方，眼睛在鼻子上方，而鼻子正好位于脸的中轴线t 等。通常可 以从背景知识中得到类似具有规律性的结构，这类冗余叫做知识冗余1 们。根据已有 的认知结构，可以对某些图像中的物体构造基本模型，并建立与各种特征相对应的 图像库，这样只需保存某些特征参数就达列了存储图像的目的，大大减少了数据量。 2 2 视频压缩编码原理 图2 4 知识冗余 视频序列中存在大量冗余，例如时问冗余、视觉冗余、空间冗余、结构冗余、熵 冗余和知识冗余等。视频压缩编码的目的就是减小视频存在的冗余，从而降低其码 率根据不同的冗余信息，有不同的编码方式，大致的可分为预测编码，变换编码以 及熵编码。 2 2 1 预测编码 预测法是最简单和实用的视频压缩编码方法，这时压缩编码后传输的并不是像素 本身的取样幅值，而是该取样的预测值和实际值之差【2 0 1 。这样做的原因是，根据大量 统计数据表明，同一幅图像的邻近像素之间有着相关性。邻近像素之间相似度很小的 概率很低。而且同帧图像中邻近行之间对应位置的像素之间也有较强的相关性。人们 可以利用这些性质进行视频压缩编码。 7 式。 济南人学硕r i 化论文 ( 2 ) 帧间预测编码技术 帧间预测编码是利用视频图像帧问的时间相关性，来达到图像压缩的目的。一般 而言，帧问预测编码的编码效率比帧内更高。视频图像经过帧问预测后得到当前视频 图像数据的预测值，实际值与预测值相减得到差值，然后对这个差值进行编码和传送。 帧间预测分为前向预测、后向预测和双向预测吲。图2 7 的( a ) 图、( b ) 图、( c ) 图分别为 前向预测、后向预测和双向预测。 2 2 2 变换编码 前参考帧预测帧预测帧 后参考帧 时间轴 ( c ) 图2 7 帧间预测 图像变换编码是将在空间域罩描述的图像，经过某种变换( 如傅里叶变换等) ， 在某种变换域里进行描述。大量统计表明，视频信号中包含着在能量上占主要部分的 直流和低频部分，它们通常为图像的平坦部分，还有少量的高频成分，即图像的细节。 因此，可以用另一种视频方法进行视频编码，将图像经过某种数学变换后，得到变换 域中的图像( 如图2 8 所示) ，其中u ，v 分别是空间频率坐标，图中，用“0 ”表示低频和 直流成分，而高频成分用“x ”表示，其余均为零值，用0 表示。于是可用较少的码表示 直流、低频以及高频，而“0 ”不必用码传递，这样就完成了压缩编码。若再对变换域 图像进行某种处理( 如频域中的二维滤波) 以及熵编码，则可进一步压缩图像的编码 比特率。对变换处理后的图像信号施以上述对应的逆变换，即可获得空间域图像【2 4 1 。 9 h 2 6 4 的块匹配运动估计算法研究 2 2 3 熵编码 图2 8 变换编码 熵编码将描述视频流的一串符号编码成适于传输或存储的压缩比特流。熵编码的 输入有量化后的传输系数、运动矢量( 运动补偿块在x 方向和y 方向上的偏移，具有整 数或半像素精度) 、标记点( 视频流的同步标志) 、头信息( 宏块的头信息，帧的头 信息，流的头信息等) 和辅助信息( 又称为“s i d e ”信息，是视频解码的次要信息) 【2 5 】。 熵编码常用的有三种变长编码、算术编码和游程编码。 2 3 视频压缩标准发展简介 从1 9 8 4 年提出电视信号可以数字化以来，图像压缩编码技术已有6 0 多年的历 史，不仅从理论上取得了重大进步，而且在实际应用中也获得了很大成功。图像编 码技术得到了迅速发展和广泛应用，并且日臻成熟，其标志是多个关于图像编码的 国际标准的制定，像是国际标准化组织( i s o ) 和国际电工委员会( i e c ) 关于静止 图像的编码标准j p e g j p e g 2 0 0 0 ，关于活动图像的编码标准m p e g 1 、m p e g 2 、 m p e g 一4 、m p e g 1 0 等，以及国际电信联盟( i t u ) 制定的视频编码标准h 2 6 x 系 列。这些融合了各种性能优良的图像编码算法，代表了目前图像编码技术的发展水 平。 2 3 1h 2 6 1 h 2 6 1 是出现最早的视频编码标准，目的是规范i s d n 上的会议电视和可视电话中 的视频编码技术。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处理，视频信号的结构采 用图像、宏块组( g o b ) 、宏块( m b ) 、块( b ) 四级结构。同时，该标准只定义了i 帧和p 帧，没有b 帧，运动估计精度只精确到像素级。h 2 6 1 中采用了混合编码方式，包含 帧间预测和d c t 变换。为了和i s d n 信道相适应，它的输出码率是p 6 4 k b i t s ，其中p l o 济南人学硕f j 学位论文 为0 至1 1 3 1 的整数，当p 值小于6 时，只能传输清晰度不太高的图像，适合于面对面的电 视电话；当p 值大于6 时，可以用来传输清晰度较高的视频会议图像【2 6 】。 2 3 2m p e g 一1 m p e g 1 是m p e g 组织制定的第一个视频和音频有损压缩标准。m p e g 1 是为c d 光碟介质定制的的视频和音频压缩格式。一张7 0 分钟的c d 光碟传输速率大约在 1 4 m b p s 。m p e g 1 采用了块方式的运动补偿、离散余弦变换( d c t ) 、量化等技术， 增加了b 图像帧( 双向预测) 和图像组( g o p ) ，提高了压缩比。并为1 2 m b p s 传输 速率进行了优化。m p e g 1 的输出质量大约和传统录像机v c r ，信号质量相当，这也 许是v i d e oc d 在发达国家未获成功的原斟2 7 1 。 m p e g l 音频分三层，分别为m p e g 1l a y e r l ，m p e g l a y e r 2 及m p e g l a y e r 3 ， 并且高层兼容低层。其中第三层协议被称为m p e g 1l a y e r3 ，简称m p 3 。m p 3 目前已 经成为广泛流传的的音频压缩技术。 2 3 3m p e g - 2 m p e g 2 制定于1 9 9 4 年，设计目标是高级工业标准的图象质量以及更高的传 输率。m p e g 一2 所能提供的传输率在3 1 0 m b i t s s e c 间，其在n t s c 帝f 式下的分辨率 可达7 2 0 x 4 8 6 ，m p e g 2 也可提供并能够提