（信号与信息处理专业论文）mpeg+rvc标准的运动估计技术研究及实现.pdf

南京邮电大学同等学力硕士研究生学位论文 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：姆胁纽啤 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名：碍导师签名：铷 2 日期：知矿7 如 南京邮电大学同等学力硕士研究生学位论文 南京邮电大学 同等学力硕士研究生学位论文摘要 题目：m p e gr v c 标准的运动估计技术研究及实现 英文题目：t h er e s e a r c ha n di m p l e m e n t a t i o no fm o t i o n e s t i m a t i o ni nm p e gr v c 主题词：视频编码m p e gr v c 运动估计编码器工具集可重配置 k e y w o r d s ：v i d e oc o d i n g m p e gr v cm o t i o ne s t i m a t i o ne n c o d e r t o o l b o x r e c o n f i g u r a b l e 3 南京邮电大学同等学力硕士研究生学位论文 摘要 随着视频通信的不断发展，各种视频编码技术不断涌现，各类视频终端需要满足不同 的视频编码标准，这样对具体的视频硬件设计造成一定程度的困难。由此，m p e g 制定了新 一代r v c ( r e c o n f i g u r a b l ev i d e oc o d i n g ) 标准框架，可以针对数字电视、i p ，i i v 、d v d 、 卫星电视、手机电视、网络流媒体等不同视频应用领域和环境，创建灵活的、可配置的视 频编解码架构，建立基于m p e g 标准的编解码工具集共享机制，促进m p e g 多媒体中间件的 发展，提供多种基于编码器的硬件描述方式，并能实现对非m p e g 系列标准的支持。 运动估计技术是视频编码中的重要模块之一，不仅和视频编码效果有关，同时也是压 缩编码的主要计算单元，本论文主要工作在于研究m p e gr v c 中的运动估计算法，主要工 作有以下几个方面： ( 1 ) 着重对m p e gr v c 标准进行了整体性研究和阐述，并从视频压缩的关键技术 运动估计技术入手，对m p e gr v c 标准的运动估计技术进行了较为深入介绍。 ( 2 ) 本文提出了一种m p e gr v c 运动估计编码器工具集实验解决方案，可根据不同格 式图像以及各视频编码标准对运动估计精度、系统复杂度要求不同的特点，在编码工具集 中自适应配置最合适的运动估计算法，来满足m p e g 一1 、m p e g 一2 、m p e g 一4 、h 2 6 1 、h 2 6 3 、 h 2 6 4 a v c 等标准关于运动估计技术的基本要求。实现的运动估计算法包括：全搜索( f s ) 、 三步法( t s s ) 、新三步法( n t s s ) 、四步法( f s s ) 和菱形法( d s ) 。 ( 3 ) 本文搭建了具备可重配置功能的m p e gr v c 运动估计编码器系统仿真平台，实现 了系统参数可调、复杂度可控、可适用于多个视频编码标准的m p e gr v c 运动估计编码器 程序，并通过多组实验验证了m p e gr v c 运动估计编码器性能和适用性。从而验证了本文 所提的m p e gr v c 运动估计编码器工具集解决方案可行性和有效性。 本文正是在m p e gr v c 标准发展之初，及时把握视频压缩标准发展新动态，对m p e gr v c 标准的运动估计技术展开了深入、仔细地研究，具有重要的理论和实际意义，是一个图像 处理领域和图像通信领域重要的研究课题。 关键词：视频编码m p e gr v c 运动估计编码器工具集可重配置 南京邮电大学同等学力硕士研究生学位论文 a b s t r a c t w i t ht h ec o n t i n u o u sd e v e l o p m e n to fv i d e oc o m m u n i c a t i o n ，av a r i e t yo fv i d e oe n c o d i n g t e c h n o l o g yc o n t i n u e st oe m e r g e ，e a c hv i d e ot e r m i n a lm e e t st h en e e d so fd i f f e r e n tv i d e oc o d i n g s t a n d a r d s t h e s eh a v eac e r t a i nd e g r e eo fd i f f i c u l t yf o rt h es p e c i f i cv i d e oh a r d w a r ed e s i g n t h e r e f o r e ，m p e gh a sd e v e l o p e dan e wv i d e oc o d i n gs t a n d a r do fr v c ( r e c o n f i g u r a b l ev i d e o c o d i n g ) f r a m e w o r kf o rm a n yv i d e oa p p l i c a t i o n si n d i f f e r e n tf i e l d sa n de n v i r o n m e n t s ，f o r e x a m p l eh d t v ，i p t v ，d v d ，s a t e l l i t et v ，m o b i l et v ，i n t e r n e ts t r e a m i n ge t c m p e gr v c h a s c r e a t e df l e x i b l e ，r e c o n f i g u r a b l ev i d e oc o d e ca r c h i t e c t u r e s ，e s t a b l i s h e dt h ee n c o d i n ga n dd e c o d i n g t o o l b o x e ss h a r i n gm e c h a n i s mb a s e dm p e g ，p r o m o t e dt h ed e v e l o p m e n to fm p e gm u l t i m e d i a m i d d l e w a r e ，p r o v i d e d h a r d w a r e b a s e de n c o d e rd e s c r i p t i o n ，a c h i e v e dn o n m p e gs e r i e so f s t a n d a r d ss u p p o r t m o t i o ne s t i m a t i o ni so n eo ft h ei m p o r t a n tm o d u l e si nv i d e oc o d i n gt e c h n o l o g y ，n o to n l yw i t h t h ee f f e c to fv i d e oc o d i n g ，a l s ot h em a i nc o m p u t i n gu n i to fv i d e oc o m p r e s s i o n t h ew o r ko ft h i s p a p e ri st os t u d yt h em o t i o ne s t i m a t i o nt e c h n i q u e so fm p e gr v c ，t h em a i nw o r ki n t h e f o l l o w i n ga r e a s ： ( 1 ) t h i sp a p e rw a st of o c u so nt h ec o m p r e h e n s i v es t u d ya n d e l a b o r a t i o no fm p e gr v c ，a n d s t a r to nam o r ei n d e p t hd e s c r i p t i o no fm p e gr v cm o t i o ne s t i m a t i o nt e c h n i q u e s ，f r o mt h ek e y v i d e oc o m p r e s s i o nt e c h n o l o g y - m o t i o ne s t i m a t i o n ( 2 ) t h i sp a p e rp r o p o s e do n em o t i o ne s t i m a t i o ne x p e r i m e n tt o o l b o x e so fm p e gr v c e n c o d e r a c c o r d i n gt ot h ed i f f e r e n tr e q u i r e m e n t so ft h em o t i o ne s t i m a t i o np r e c i s i o na n d c o m p l e x i t yi nt h ed i f f e r e n ti m a g ef i l ef o r m a t sa sw e l la st h ed i f f e r e n tv i d e oc o d i n gs t a n d a r d s ，t h e m p e gr v cm o t i o ne s t i m a t i o ne n c o d e rc a na d a p t i v e l yc o n f i g u r et h em o s ta p p r o p r i a t em o t i o n e s t i m a t i o na l g o r i t h m ，t om e e tt h eb a s i cr e q u i r e m e n t so fm p e g 一1 ，m p e g 一2 ，m p e g - 4 ，h 2 61 ， h 2 6 3 ，h 2 6 4 a v cm o t i o ne s t i m a t i o nt e c h n i q u e s m o t i o ne s t i m a t i o na l g o r i t h mi m p l e m e n t e d i n c l u d e d ：f u l ls e a r c h ( f s ) ，t h r e es t e ps e a r c h ( t s s ) ，n e wt h r e es t e ps e a r c h ( n t s s ) ，f o u rs t e p s e a r c h ( f s s ) a n dd i a m o n ds e a r c h ( d s ) ( 3 ) t h i sp a p e rb u i l tt h es y s t e ms i m u l a t i o np l a t f o r mo fm p e gr v cm o t i o ne s t i m a t i o n e n c o d e r 、) ，i t hr e c o n f i g u r a b l ef u n c t i o n a c h i e v e dm p e gr v cm o t i o ne s t i m a t i o ne n c o d e rp r o c e d u r e t h ep r o c e d u r eh a dt h ef e a t u r e so fa d j u s t a b l ep a r a m e t e r s ，c o m p l e x i t yo fc o n t r o l ，s u i t a b l ef o rm u l t i p l ev i d e o c o d i n gs t a n d a r d s t h i sp a p e rv e r i f i e dt h ep e r f o r m a n c ea n da p p l i c a b i l i t yo fm p e gr v cm o t i o ne s t i m a t i o n e n c o d e rb ym u l t i p l ee x p e r i m e n t s ，a n dt h ef e a s i b i l i t ya n de f f e c t i v e n e s so fm p e gr v cm o t i o ne s t i m a t i o n t o o l b o x e st h i sp a p e rp r o p o s e d i nt h em p e gr v c e a r l ys t a g eo fd e v e l o p m e n t ，t h i sp a p e rg r a s pt h ed e v e l o p m e n to fv i d e o c o m p r e s s i o ns t a n d a r d sf o rn e wd e v e l o p m e n t s ，l a u n c h e dat h o r o u g h ，c a r e f u lr e s e a r c ho nm p e g r v cm o t i o ne s t i m a t i o na n dh a di m p o r t a n tt h e o r e t i c a la n dp r a c t i c a ls i g n i f i c a n c e m p e gr v c m o t i o ne s t i m a t i o nt e c h n o l o g yi sa ni m a g ep r o c e s s i n ga n di m a g ec o m m u n i c a t i o ni m p o r t a n t r e s e a r c ht o p i c t t k e y w o r d s ：v i d e oc o d i n g m p r e c o n f i g u r a b l e i i i 南京邮电大学同等学力硕士研究生学位论文 目录 摘要i a b s t r a c t i i 目录i 、， 第一章绪论1 1 1 课题背景与意义l 1 2m p e gr v c 视频编码技术简介及研究现状。2 1 3 主要研究工作与论文安排3 第二章视频编码技术基本原理5 2 1 视频编码的理论基础5 2 2 运动估计和运动补偿技术7 2 3d c t 变换8 2 4 熵编码9 2 5 质量评价。9 第三章m p e gr v c 标准基本技术原理。1 l 3 1 主要视频压缩标准1 l 3 1 1m p e 6 - ! 标准l l 3 1 2m p e g - 2 标准1 2 3 1 3m p e g - 4 标准1 3 3 1 4h 2 6 1 标准。1 4 3 1 5h 2 6 3 标准一1 4 3 1 6h 2 6 4 a v c 标准l5 3 2m p e gr v c 标准的制定1 6 3 3m p e gr v c 标准架构与内容1 6 3 4m p e gr v c 标准的简单实现1 7 3 5m p e gr v c 标准的应用及发展1 8 第四章m p e gr v c 中的运动估计技术实现。2 1 4 1m p e gr v c 的基于块匹配的运动估计2 2 4 2m p e gr v c 块形状与大小的选择2 3 4 3m p e gr v c 块匹配准则及误差函数2 4 4 4m p e gr v c 像素搜索范围的划分2 6 4 5m p e gr v c 像素搜索精度的分析2 6 4 6m p e gr v c 运动估计的算法2 8 4 6 1 全搜索法2 9 4 6 2 三步搜索法3 0 4 6 3 新三步搜索法3 1 4 6 4 四步搜索法3 2 4 6 5 菱形搜索法3 3 第五章实验过程与结果分析- 3 6 5 1 实验动机与意义3 6 5 2 实验条件与程序实现3 7 5 2 1 实验条件3 7 i v 南京邮电大学同等学力硕士研究生学位论文 5 2 2 实验程序说明3 7 5 3 实验结果与分析4 0 5 3 1 实验一：图像块大小可变的m p e gr v c 运动估计4 0 5 3 2 实验二、像素搜索范围可变的m p e gr v c 运动估计4 4 5 3 3 实验三：搜索算法可变的m p e gr v c 运动估计4 8 5 3 4 实验四：搜索精度不同的m p e gr v c 运动估计5 2 第六章总结与展望5 7 j $ ( 谢5 9 参考文献6 0 攻读硕士学位期间的学术论文6 3 v o i 南京邮电大学同等学力硕士研究生学位论文 1 1 课题背景与意义 第一章绪论 在数字信息飞速发展的2 l 世纪，数字信息化在世界的每一个角落得以应用，改变着人 们的生活方式和工作状态。信息技术的发展，缩短了人与人之间的距离，给人类社会的发 展带来了新的空间。随着信息化时代的到来，多媒体技术得到了广泛应用，随着多媒体业 务的不断拓展，多媒体技术已经成为工业界和学术界的一个研究热点。 与语音、图片等媒体形式不同的是，数字视频具有数据量庞大的特点，对存储器的存 储容量、通信信道的传输率、计算机处理速度等要求都比较高。解决这些问题如果单纯的 使用用增加存储器容量和通信信道的带宽或提高计算机的运算速度等方法是不经济，也是 不现实的。因此，对视频数据进行高效压缩的意义就相当重大，是降低存储成本，缓解网 络带宽，突破存储空间和处理器主频限制的关键性技术。 图像压缩编码自1 9 4 8 年电视信号数字化提出以来，已有五十多年的历史，不仅在理论 研究上取得了重大的进步，而且在实际应用中也获得了丰硕的成果。近年来，图像编码技 术日臻成熟，其标志之一就是数个图像编解码国际标准的制定。其中，具有代表性的标准， 包括用于数字视音频传输及存储的m p e g 一1 、支持h d t v 等高品质数字视音频传输与存储的 m p e g 一2 、基于对象的视频编码标准m p e g - 4 等标准，以及用于视频会议和可视电话的h 2 6 1 、 适于低码率视频传输的h 2 6 3 和致力于低码率高编码效率的h 2 6 4 a v c 等。这些视频压缩 标准的制定，在追求更高编码效率和简洁表达形式的同时也提供了非常好的视频质量。 m p e gr v c ( r e c o n f i g u r a b l ev i d e oc o d i n g ) 是由i s o ( i n t e r n a t i o n a ls t a n d a r d o r g a n i z a t i o n ) 的活动图像专家组于2 0 0 6 年1 月、4 月的i s o 标准制定会议上提出的新一 代视频压缩编码标准。 m p e g 在新一代r v c ( r e c o n f i g u r a b l ev i d e oc o d i n g ) 标准框架中提出，应针对数字电 视、i p t v 、d v d 、卫星电视、手机电视、网络流媒体等不同视频应用领域和环境，创建灵 活的、可配置的视频编解码架构，建立基于m p e g 标准的编解码工具集共享机制，促进m p e g 多媒体中间件的发展，提供多种基于编码器的硬件描述方式，并能实现对非m p e g 系列标 准的支持。 m p e g 新一代r v c 标准框架的提出，是为了消除各种视频编码标准之间的技术壁垒，希 望通过对统一的编解码工具集中不同功能单元的组合，实现对m p e g 系列以及非m p e g 系列 南京邮电大学同等学力硕士 视频标准的编解码应用，提供统一的视频编解码技术平台，降低新技术研发成本，简化设 备复杂度，消除因标准不同而导致的视频编解码的不可兼容性，提高新一代视频标准的推 广速度，更好的适应当前市场发展需要。 运动估计技术作为视频编码压缩中的关键技术，它将活动图像分为若干局部结构，并 设法检测出每个局部结构在参考帧图像中的位置的过程，是寻找最优或次优的运动向量的 过程。它是视频压缩编码的主要开销，约占编码计算总量的5 0 以上，决定了视频压缩的 效率。 本文对新一代m p e gr v c 标准以及其中关键编码技术一运动估计技术进行了研究、分析， 根据视频序列图像在时间上有很强的相关性原理，利用运动估计技术有效地去除图像帧间 冗余度，实现高码率压缩比，并对运动估计相关的快速算法进行了实验验证，初步设计实 现了符合新一代m p e gr v c 标准要求的运动估计编码器实验工具集，希望加深对m p e gr v c 标准的理解，为进一步开展m p e gr v c 视频编码标准的技术推广和实际应用打下基础。 1 2m p e gr v c 视频编码技术简介及研究现状 纵观数字电视、数字移动通信、宽带网络通信、家庭消费电子这些蓬勃发展的高技术 产业群，其共性技术集中在以视音频为主要内容的多媒体信息处理技术，特别是编码压缩 技术上。在广播数字化、网络宽带化、通讯无线化、存储高密度的大趋势下，多媒体技术 进入了一个蓬勃的发展新时期。2 0 世纪8 0 年代以来，国际电信联盟( i t u ，i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ) 和国际标准化组织( i s o ，i n t e r n a t i o n a ls t a n d a r d i z a t i o n o r g a n i z a t i o n ) 制定了一系列视音频编码的标准和建议，这些标准和建议的制定成功地推 动了多媒体技术的实用化和产业化：如电视会议等各类实用视频压缩技术的产品纷纷推 出，v c d 和d v d 等消费电子产品以百万台的数量级走向市场，进入家庭，。 2 0 世纪8 0 年代末，国际电信联盟制定了针对视频的第一个编码标准，面向i s d n 视频 传输的h 2 6 1 。随后国际上负责视频编码标准化的组织制定了一系列视频编码标准。目前， 制定标准的组织包括国际电信联盟( i t u ) 、美国a m s i 委员会电信委员会、电信工业联合会 ( t i a ) 、欧洲电信标准机构( e t s i ) 、日本电信技术委员会( t i c ) 、美国电器电子工程师学会 ( i e e e ) 和国际标准化组织( i s o ) ，中国数字音视频编解码技术标准工作组( a v s ) 等。随着 产业化活动的进一步开展，国际标准化组织于1 9 9 8 年成立了运动图像压缩编码组织m p e g 。 m p e g 专家组主要致力于运动图像压缩编码标准的制定。经过专家组的不懈努力，一系列主 要针对视频数据的存储、广播电视和视频流的网络传输等应用场合的视频压缩编码国际标 2 南京邮电大学同等学力硕士研究生学位论文 准产生了。这些标准的算法主要由运动估计与补偿、正交变换、量化和熵编码四类技术混 合构成，代表了视频和图像编码的研究水平。具有代表性的标准，包括用于数字视音频传 输及存储的m p e g - 1 、支持h d t v 等高品质数字视音频传输与存储的m p e g 一2 、适于低码率视 频传输的h 2 6 3 、基于对象的视频编码标准m p e g 一4 、致力于高编码效率的h 2 6 4 以及致力 于多编码标准融合的m p e g - r v c 。 2 0 0 6 年1 月、4 月，i s o 标准制定会议对m p e gr v c ( r e c o n f i g u r a b l ev i d e oc o d i n g ) 标准制定了需求报告，对f u 设计、解码器描述和一致性等均作出表述，给出r v c 使用术 语、定义以及缩写，并提供一个开放性的平台，供全球学术讨论和标准制定。2 0 0 7 年，各 国学者已经着手进行r v c 可行性研究，分析不同设计平台情况，提出建设性意见和改进建 议，进一步推动了r v c 标准制定工作的开展。 在这些视频编码标准中，运动估计技术作为减少运动图像冗余度的最有力的图像编码 技术之一，一直是视频图像编码领域研究的难点和热点问题。在h 2 6 x 系列和m p e g x 系 列视频编码标准中，如何有效提高运动估计技术的运算效率和降低设计实现复杂度一直是 各国学者们追求的目标。目前，基于多种视频编码标准、基于不同像素精度、基于多参考 帧、基于运动矢量场和方向自适应等技术的快速运动估计算法的研究已十分广泛，有些算 法已经付诸实施，运动估计技术研究已取得长足的进展。但是，面对m p e g 新一代r v c ( r e c o n f i g u r a b l ev i d e oc o d i n g ) 标准，运动估计技术并未得到有效开展。 1 3 主要研究工作与论文安排 本课题的主要目的在于根据m p e gr v c 标准的设计思路和需求，着重对m p e g 系列和 h 2 6 x 系列标准中的运动估计技术的理论基础和实用的估计算法进行研究，提出符合m p e g r v c 标准要求的运动估计编码器，通过对编码器中不同功能模块的组合实现对多种视频标 准的支持，并针对不同的图像序列，在总结现有经典算法的基础上，着手研究运动估计存 在的问题，从不同的角度提出新的运动估计方案。本论文的主要工作体现在： 1 、总结现有m p e g x 和h 2 6 x 系列视频编码标准，比较各标准对运动估计技术要求的 异同点； 2 、研究各标准中经典的运动估计技术，分析这些经典运动估计技术的理论基础、适应 范围、编码效率以及优缺点等。经过实际实验数据，整理、提出了运动估计的一些理论基 础： 3 、分析研究m p e gr v c ( r e c o n f i g u r a b l ev i d e oc o d i n g ) 标准要求，掌握其基础理论 南京邮电大学同等学力硕士研究生学位论文 和设计思路； 4 、按照m p e gr v c ( r e c o n f i g u r a b l ev i d e oc o d i n g ) 标准要求，对运动估计技术功能 模块进行合理划分，归纳总结出具有代表性的运功估计编码器，并通过实验数据检测该编 码器的适用性和编码效率： 本论文的结构同所做的研究工作相对应，各章的内容安排如下： 第2 章主要介绍了视频标准编码技术的基础知识。对视频压缩编码的基本理论、基本 技术、主要编码技术的相关知识进行了简要介绍。 第3 章主要介绍了m p e gr v c 视频编码标准的基本知识。从视频压缩编码发展、m p e gr v c 的技术特性、结构构成、发展现状以及应用领域等方面，对m p e gr v c 标准进行了简明阐 述。 第4 章主要研究了m p e gr v c 标准的运动估计技术的算法实现。首先，研究了m p e gr v c 标准的基于块匹配的运动估计原理，其次根据m p e gr v c 标准要求，对运动估计技术进行 合理解构，从块可变、搜索范围可调、估计精度可控以及快速算法研究等方面入手研究， 提出了符合m p e gr v c 标准要求的运动估计编码器。 第5 章介绍所做的针对4 组视频序列的系统仿真实验过程与结果，对第4 章所提出的 m p e gr v c 运动估计技术实现进行了实验论证和结果分析。 第6 章是对全文工作总结以及对未来发展方向的说明。 4 南京邮电大学同等学力硕 第二章视频编码技术基本原理 视频编码的一个主要目的是在保证一定重构图像质量的前提下，以尽量少的比特数来 表征视频信息。传统的压缩编码是以香农信息论为基础的，用统计概率模型来描述信源。 编码的实体是像素或像素块，以显示器为图像视频系统的最后环节。这种基于数据统计 的、以消除视频数据相关冗余为目的的视频编码技术获得了巨大的成功。j p e g ，m p e g l ， m p e g - 2 ，m p e g - 4 ，h 2 6 1 ，h 2 6 3 以及h 2 6 4 等压缩编码国际标准的制定及其对多媒体产 业的巨大影响就是有力的证明。这些国际标准主要采用了经典的视频编码技术，如熵编码、 变换编码、预测编码以及运动估计和运动补偿。 2 1 视频编码的理论基础 压缩编码的理论基础是信息论。从信息论的角度看，压缩就是去掉信息中的冗余，即 保留不确定的东西，去掉确定的东西，即可推知的东西，使用一种更接近信息本质的描述 来代替原有的冗余的描述。这个本质的东西就是信息量，即不确定的因素。但信息量不是 孤立的、绝对的，它与信息的传输密切相关。这就是仙农( s h a n n o n ) 的信息论理论。 视频序列中的冗余主要包括：时域冗余、空域冗余、视觉冗余等。冗余信息的发掘主 要依据图像的统计特性和人类视觉系统特性等两个特性。利用图像的统计特性去消除诸如 同一帧同一行相邻像素幅值之间、相邻行像素幅值之间以及活动图像相邻帧同一方位像素 幅值之间的相近性，来压缩图像信息的冗余度。利用人眼视觉特性敏感度低的特点，采用 粗糙量化等措施，消减那些人眼对之不敏感的信息量，达到压缩效果。 其中基于块匹配的运动估计技术是本文重点研究的对象。为了便于理解，先介绍一些 视频压缩编码标准中的基本概念，如表( 2 一1 ) 。 南京邮电大学同等学力硕士研究生学位论文 表( 2 - 1 ) 视频编码标准中的基本概念 名词名词解释 帧视频序列中的一幅图像 i 帧不做运动补偿预测只采用帧内预测编码的帧 p 帧参考时间轴上前向帧做运动补偿的帧间预测编码帧 b 帧 参考时间轴上前向和后向帧做运动补偿的采用帧间预测编码帧 运动矢量 同一物体在两幅图像中像素位置的位移 预测图像参考帧图像中的所有像素按照运动矢量做位移后得到当前帧的新图像 被压缩图像原图像信息去掉冗余信息后由参考图像、运动矢量和预测误差共同表示的图像 在m p e g - x 和h 2 6 x 标准中，以图像块为基本单元进行运动估计，降低了帧序列的时间 冗余度；然后，对帧间预测误差进行离散余弦变换，又进一步降低了空间冗余度；最后用 变字长编码降低了比特样本冗余度，达到高压缩比的目的。由此可见m p e g x 和h 2 6 x 系 列视频压缩编码算法是建立于运动估计算法、d c t 变换和熵编码算法的基础之上的。对视 频图像的压缩编码一般有两个部分：一部分是帧内编码，也就是i 帧编码，这部分的编码 方式与一般的静止图像的编码方式一样，编码过程是先将图像帧进行分块离散余弦变换 ( d c t ) ，然后将d c t 系数量化重排，再经可变长编码( v l c ) 形成码流输出；另一部分是帧间 编码，即p 帧和b 帧编码，帧间预测编码模块的结构如图( 2 - 1 ) 所示。 图( 2 1 ) 帧间预测编码模块的结构 出 当图像帧采用帧问编码模式时，输入的待编码原始图像数据先与经运动估计后的预测 图像相减，产生残差图像，接着对残差图像进行d c t 变换和量化，最后经熵编码后形成编 码比特流输出；同时对由运动估计得到的运动矢量也要进行编码形成码流；这两部分的码 6 南京邮电大学同等学力硕士研究生学位论文 流组合产生当前待压缩图像帧最后的编码比特流。其中，p 帧是参考过去的i 帧图像或者 过去预测得到的图像用运动补偿预测技术进行编码，这些预测图像通常作为进一步预测的 参考图像，其编码效率较高；而b 帧在预测时，既可使用前一帧图像作参考，也可使用下 一帧图像作参考或同时使用前后两帧图像作参考图像，即所谓的双向预测，因此b 帧的压 缩率最高，但双向预测图像不再作为预测的参考图像，这主要是为了保证较好的预测精度。 目前的视频压缩编码国际标准基本上都是采用基于d c t 变换和运动补偿的混合编码框 架，利用d c t 变换去除图像空间冗余，以运动估计与运动补偿来去除运动图像时间冗余， 从而达到压缩图像数据的目的。i 帧图像利用图像本身的空间相关性进行压缩，采用基于 d c t 变换的编码技术，编码不需要其他帧作参考图像，反而要作为p 帧和b 帧图像的参考 图像，其压缩率并不高，同时为提供足够高的预测精度，其压缩比也不能太高；视频压缩 中更多的是p 帧和b 帧图像编码类型，运动估计与补偿技术正是用于消除p 帧和b 帧图像 在时间上的冗余，具有比较高的压缩比弹性，这部分是决定视频编码系统的压缩效率的关 键环节。因此，不同的视频压缩编码国际标准针对不同的应用，采取了不同的运动估计与 不同的补偿策略来提高帧间编码效率，从而提高视频压缩系统的整体性能。 2 2 运动估计和运动补偿技术 运动估计是一种帧间编码的方法，它是利用帧间时间的相关性，减少时间冗余，即当 前帧在参考帧的窗口中查找匹配部分，从中找到运动矢量；根据运动矢量，将参考帧位移， 求得对当前帧的估计，将这个运动估计和当前帧相减，得到估计的误差值，然后再将运动 估计的误差和运动矢量送到接收端去。接收端根据接收到的运动矢量将参考帧作位移，即 对当前帧的估计，再加上接收到的误值，就得到当前帧了。运动补偿的概念是以对视频帧 问运动的估算为基础的，也就是说让视频镜头中所有的物体都在空间上有一个位移，那么 用有限的运动参数来对帧间的运动加以描述。一个来自前编码帧的运动补偿预测像素，就 能给出一个有效像素的最佳预测。通常，预测误差和运动矢量都传送到接收端，但是，如 果将一个运动信息对每一个编码图像像素进行编码，这么做既不值得也没必要，由于一些 运动矢量之间的空间相关性比较高，有时就用一个运动矢量代表一个相邻像素块的运动。 为了做到这点，图像一般被划分成一些不连接的像素块，针对每一个像素块，只对一个运 动矢量进行估算、编码和传送。 运动估计是视频编码中的一个重要环节，本文在第四章中分别对运动估计的原理及方 法作详细介绍。 7 南京邮电大学同等学力硕士研究生学位论文 2 3d c t 变换 离散余弦变换( d c t ) 编码是属于正交变换编码技术中的一种。d c t 是数字图像信号处 理中应用最广泛的变换算法。视频编码算法中帧内和帧问编码的核心算法都是d c t 变换， 它能够有效地削减视频序列中帧内图像和预测残差信号的空域冗余，且它的性能最接近理 论上最优的k - l 变换，又具有相对简单的实现方法，因此有着广泛的应用。 因为图像其实是人类的视觉系统对不同频率光线的感知，d c t 变换的目的是经过多维坐 标系中适当的“旋转”变换，将原始图像由空域转换到频域上，使能量分布集中在低频部 分，从而有利于后续的量化和编码，实现信息的压缩。离散余弦变换实际上是离散傅立叶 变换的一种简化。d c t 变换的进行过程是在编码端将原始图像分割成许多子像块，对每一 个像块进行d c t 变换，生成频域中的系数矩阵，它是一种无损压缩方法。在视频压缩算法 中通常采用的是二维d c t 变换。二维d c t 变换见公式( 2 - 1 ) ： 酬2 丽2c m 萎- 1 萎n - i 肌咖s 警c o s 警 协。) d c t 逆变换i d c t ( i n v e r s ed i s c r e t e c o s i n et r a n s f o r m ) 见公式( 2 - 2 ) ： 州3 丽2m 萎- i 荟n - ic g ) c 帆v ) c o s 警c o s 警 防2 ) 式中，m 和分别是像块水平和垂直分辨率；甜和1 ，分别是水平和垂直频率索引；f ( u ，1 ，) 是d c t 变换系数，f ( 0 ，o ) 表示直流分量的系数，f 0 ，v ) 表示不同频率的系数，“和1 ，的值 越大，代表的频率越高；厂g ，y ) 是在0 ，v ) 位置处的像素值。而常量c 0 ) 和c o ) 由公式( 2 3 ) 给出。 c 州= 附瓮。 防3 ) 经过d c t 变换后，相应的由频域系数组成的图像块具有以下特点：所有图像像素点的 均值( 即直流分量) 都位于频域图像矩阵的左上角。离直流分量距离越远的像素点，其系数 所代表的图像点的交流成分的频域越高。更具体地说，在频域图像块中，像素的行索引值 越大，则其代表的原始图像块在列的方向上的交流成分频率越高。图像块经过d c t 变换后， 这个数据块中就会有大量的零或非常小的系数，这样经过以后的熵编码就会生成更少的信 息量。 8 南京邮电大学同等学力硕士研究生学位论文 2 4 熵编码 视频流经过d c t 变换、量化后仅生成了d c t 系数的有效的离散表示，此时，还须对其 进行比特流编码，以进一步减小比特样本冗余度。简单的编码方法是采用定长码，即每个 量化值以同样数目的比特表示，但这种方法的效率较低。而采用熵编码( 变长编码) 可以 提高编码效率。熵编码是一种基于编码信号的统计特性，使得平均比特率下降的无失真编 码。 熵指的是数据的平均信息量，即在不丢失信息的前提下，描述信息内容所需的最小比 特数。熵编码是在保证信源熵值的前提下，进行的无损数据压缩。设信源符号集a 为 口。，a ：，a 。) ，其中每个元素q 为信源符号，信源产生符号q 的概率为尸g ，) ，且有公式( 2 4 ) 成立。 善p ”1 ( 2 - 4 ) 令式( 2 - 5 ) 成立，则有信源的平均信息量公式( 2 6 ) 。 ”= p g 。l 尸0 ：) ，p g 。灌 日0 ) = - e e ( a