（通信与信息系统专业论文）h264运动估计算法优化研究.pdf

北京邮电大学硕十论文 h 2 6 4 运动估计算法优化研究 摘要 目前，h 2 6 4 视频压缩标准己经作为一种新型的标准被广泛的接 受。主要原因在于h 2 6 4 视频压缩标准与其它视频压缩标准相比具有 压缩比和图像质量两方面的优势。在编码效率方面，h 2 6 4 标准的压 缩性能至少是m p e g 一2 的2 倍；而在图像的主观质量感受方面，h 2 6 4 标准也比其它标准要好得多。当然，h 2 6 4 标准的优越性能是以其复 杂度的成倍增加为代价换取的，h 2 6 4 编解码器往往需要更多的运算 量和存储空间。这就导致一般的处理平台己经不能满足h 2 6 4 高计算 复杂度在实时性方面的需要。h 2 6 4 采用多参考帧技术，使得帧间预 测的可选范围更大，预测也更为精确。试验表明，运动估计占总编解 码时间的6 0 ( 1 个参考帧) 8 0 ( 5 个参考帧) 以上。 本论文介绍了h 2 6 4 标准和运动估计算法的基本原理，整理了常 见的运动估计优化算法，最后提出了基于背景检测的运动估计优化算 法方案，并详细介绍了实现算法，对实验结果进行了总结。通过选用 简单的背景检测算法对前景、背景进行分类，减小互信息熵，h 2 6 4 运动估计模块可以针对相对独立的内容和区域做最适合的优化处理。 应用此方案，对h 2 6 4 运动估计算法本身的限制比较小，并且通过融 合丰富的图形、图像处理算法，研究前景十分广阔。 关键词：h 2 6 4 运动估计j m 贝叶斯混合高斯 北京邮电大学硕士论文 o p t i m i 乙棚o no fh 2 6 4 m o t i o ne s t 蹦a t i o na l g o r i t i m a b s t r a c t a tp r e s e n t ，t 1 1 eh 2 6 4v i d e oc o i i l p r e s s i o ns t a n d a r di sw i d e l yu s e d 弱 ar 卿s t 删i nt e m so fc o d i n ge 伍c i 锄啪t h en 唧s t 删c 锄 p r o v i d ea tl e a s t2 xc o m p r e s s i o ni m p r o v e m e n to v c ft l l cb 岱tp 蝌i o u s s t a n d a r d sa n ds u b s t a n t i a lp e r c e p 札a l q u a l i t yi i n p r 0 v 锄e n t so v e rb o t l l m p e g - 2a n dm p e g 4 a tt l es a m et i m c t h eh 2 6 4s t a n d a r db s i g n i f i c a n t l y m o r e c o m p l e xt h 肌a n yo f t h c p r e y i o u s s t a n d a r d s c o n s e q u e n t l 弘t h eh 2 6 4d e c o d e ri se x p e c t e dt 0b cs i 印i f i c a n t l ym o r c d e m a n d i n g i nt e m so f c o m p u t a t i o i l s 觚dm 锄。巧 心q u i r e m e n t s s p e c i f i c a l l ym u l t ip r e d i c t i o nm o d e s ，n m l t ir e f e r e n c ef h m e s ，a n dh i g h e r m o t i o nv e c t o rr e s o l u t i o na r ea d o p t e di nh 2 6 4t oa c h i e v em o r ea c c u r a t e p r e d i c t i o n 觚dh i g h e rc o m p 他s s i o ne 硒c i e n c ya sar e s u l t ，t l l ec o m p l e x i t y 缸l dc o m p u t a t i o nl o a do f m o t i o ne s t i m a t i o ni n c r e 弱eg r e a t l yi nh 2 6 4a n d e x p e r i m e n t sd e m o n s t r a t et h a tm o t i o ne s t i m a t i o nc a nc o n s u m e6 0 ( 1 r e f e r 锄c e 疔锄e ) t o8 0 ( 5r e f e r e n c e 胁e s ) o f t l l et o t a lc i l c o d i n gt i m e o ft h eh 2 6 4c o d e ca i l dm u c hh i g h e rp r o p o n i o nc a nb eo b t a i n e di fi o p t i m i z a t i o no rs o m e o m e rt o o l si si n v a l i da n dl a 唱e rs e a r c hm n g e ( s u c h a s4 8o r6 4 ) i su s e d 北京邮电大学硕上论文 i nt h j sp 印e r b a s e do nt h eh 2 6 4s t a n d a r da n dt h e 研n c i p l eo f m o t i o ne s t i m a t i o na l g o r i t h m ，s o m eo p t i m i z a t i o na l g o r i t h m sf o rm o t i o n e s t i 瑚t i o na r ei n t r o d u c e d ，粕d 锄0 p t i m i z a t i o na l g o r i t h mb 勰e do n 山e b a c k 铲o u i l dd e t e c t i n gi sp u t 翩a r d d e t a i l so f t h ei m p l 锄e n t 撕0 no ft h e s c h e m ea n d 也es u m m a r i z c dr e s u l t so ft b ee x p e 五m e n ta r ca l s op r o v i d e d b ys e l e c t i n gu 1 1 c o l p l i c a t e db a c k g r o u i l d sd e t e c t i o na 1 9 0 r i t l l mt or e d u c e m u t u a 】i n f o 珊a t i o ne i i 仃0 p mt h ch 2 6 4m o t i o nc s t i m a t i o nc 瓶m a k c 也e m o s t 跚i 讪i l eo m i 商z 撕o f 埘a t i v ei n d c p e n d e mc o n t 忸粕da 磁峪 t h i ss c h e m eh 舔f e wl i m i t a t i o n so f 也eh 2 6 4m o t i o ne s t i m a t i o n a l g o r i t l u n st h r o u g hi i l l p r 0 v i n g ，w h i c ha l s 0h 弱g r e a tr e s e a r c hp r o s p e c t sb y i n t e g 赋i n gw i t ht h ed c h 孕珥m i ca n di 咖g ep r o c e s s i n ga l g o t l l i 珊 t l l i sp a p e ri n t r o d u c e s 锄dc x p l a i n st h eb 勰i co f m o t i o nd e t e c t i o na 1 1 d e s t i m a t i o na l g o r i t h ni nh 2 6 4s t _ 姐d a r d s e v e r a lc u r r e n tc o m m o nm e t h o d s o ft h eo p t i m i z a t i o no ft h i sa l g o r i t h ma r ee x a m i n e da n dc o l p a r e d l a t e r ， a no p t i m i z a t i o na l g o r i t h mb 舔e do nb a c k g r o u n dd e t e c t i o ni sb r o u g l l t f o n a r di n t od i s c u s s i o n t h i sm e t h o di t s e l fw e us u p p l e m e n t st h eh 2 6 4 s t a n d a r d ，a 1 1 di no r d e rt ob r i n gb e t t e rp e r f o 眦a n c e ，i tc a l c u l a t e s f o r e g r o u n di n f o r i l l a t i o nf 如mt h eb a c k g m u n d ，d i v i d e st h eb a c k g r o u n d a c c o r d i n gt ot h ec a l c u l a t i o n ，t l l e n 印p l yd i n e r e n to p t i 缸z a t i o nm e t h o d st o d i f f - e r e n tp a r to ft h e s ed i v i s i o n s t h i sm e t h o dh a sf e wl i m i t a t i o n s 锄di s 丘e et oi n t r o d u c em o r ea d v a n c e dg r a p h i ca n di m a g e p r o c e s s i n g t e c h o n o l o g yi n t oh 2 6 4 ，t h u se n h a n c et h es t a n d a r dw e l lb o t ht h e o r e t i c a l l y 北京邮电大学硕士论文 a n dp r l c t i c a l l y 1 a ww o i s ：h 2 6 4m ej m b a y 骼 g a u s s i 粗 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任 本人签名： 割湟日期：2 q 鲤生! 且! 目 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 日期：2 q 鲤玺l 且! 主目 日期：爱堑豸乙士一 北京邮电大学硕士论文 1 1 视频编码技术简介 第一章绪论 近年来，多媒体技术得到迅速发展，多媒体系统的应用更以极强的渗透力进 入人类生活的各个领域，如游戏、教育、档案、图书、娱乐、艺术、股票债券、 金融交易、建筑设计、家庭、通讯等等其中，运用最多最广泛也最早的就是电 子游戏，千万青少年甚至成年人为之着迷，可见多媒体的威力。大商场、邮局里 是电子导购触摸屏也是一例，它的出现极大地方便了人们的生活。近年来又出现 了教学类多媒体产品，一对一专业级的教授，使莘莘学子受益匪浅。正因为如此， 许多有眼光的企业看到了这一形式，纷纷运用其做企业宣传之用甚至运用其交互 能力加入了电子商务，自助式维护教授使用的功能，方便了客户，促进了销售， 提升了企业形象，扩展了商机，在销售和形象二方面都获益多媒体技术涉及面 相当广泛，主要包括音频技术、视频技术、图像技术、视频压缩技术、通信技术 等其中视频压缩一直是技术热点之一，它的潜在价值相当大，是计算机处理图 像和视频以及网络传输的重要基础 所谓视频编码或视频压缩就是指通过特定的压缩技术，将某个视频格式的文 件转换成另一种视频格式文件的方式目前视频流传输中最为重要的编解码标准 有国际电联的h 2 6 x 系列运动静止图像专家组的m j p e g 和国际标准化组织运 动图像专家组的m p e g 系列标准，此外在互联网上被广泛应用的还有 r e a l n e 眦。出s 的r c a l v i d 、微软公司的w m t 以及a p p l e 公司的q u i c k t i m e 等。 视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息 可分为空域冗余信息和时域冗余信息。压缩技术就是将数据中的冗余信息去掉 ( 去除数据之间的相关性) ，压缩技术包含帧内图像数据压缩技术、帧间图像数 据压缩技术和熵编码压缩技术。 使用帧间编码技术可去除时域冗余信息，它包括运动补偿、运动表示和运动 估计三部分。运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它 是减少帧序列冗余信息的有效方法。运动表示指不同区域的图像使用不同的运动 矢量来描述运动信息，运动矢量通过熵编码进行压缩。运动估计是从视频序列中 抽取运动信息的一整套技术。通用的压缩标准都使用基于块的运动估计和运动补 脞 l 百。 去空域冗余信息主要使用帧内编码技术，包括变换编码、量化编码和熵编码 技术。变换编码是利用帧内图像和预测差分信号都有很高的空域冗余信息这一特 北京邮电大学硕十论文 点，将空域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小 经过变换编码后，产生一批变换系数，对这些系数进行量化，使编码器的输出达 到一定的位率( 这一过程导致精度的降低) 。熵编码是无损编码，它对变换、量 化后得到的系数和运动信息，进行进一步的压缩 v i d l i l l 州 b 瞒o d 甜 a 棚 图l - l 缟码结构框架图 除了上述技术外，又出现了基于模型的编码技术，基于对象( 0 蜘瞅b 鹤c d ) 的编码技术，可分级的编码技术等一系列技术模型编码的关键是对特定的图像 建立模型，并根据这个模型确定图像中景物的特征参数，如运动参数、形状参数 等基于模型的编码方法，适合于特定视频内容的编码，如视频压缩标准m p e 0 4 中引入的人脸编码部分，它对运动的人脸编码效果很好基于对象( o b j c c tb a s c d ) 的编码技术是m p e 舛的最大特色，它把对象作为视频压缩的基本单位，可以 提供给用户更多的交互性功能，就使用的编码技术而言，主要是任意形状的图像 块的压缩，比如利用空问分辨率较好的小波变换进行基于对象的视频压缩，或者 使用形状自适应的d 丌变换等等。另外，视频的编解码需要一定的资源的支持， 比如计算资源、带宽资源、采集回放资源等，当用户拥有的资源达不到完全实现 编码或解码的时候，可分级技术可以使用户同样实现编码或解码的目的，只是服 务的质量差一些。按照可分级的资源的不同，可以分为。采样率可分级、复杂度 可分级、带宽可分级等等。以上三种方法中，模型编码由于不可能为自然界中所 有物体建模，所以并不适用于通用的视频压缩。后两种技术都属于功能性的技术， 与原有的编码技术相结合，可以用来提供给用户更多的功能 1 2 视频压缩标准发展历程 目前世界上最广泛使用的数字视频编码标准主要源自两大标准体系，其一是 i t u t ，该组织制定的视频编码标准称为“建议( r c c o m m e n d a t i o 璐) ”，即h 2 6 x 系列( i 2 6 l 、h 2 6 2 、h 2 6 3 和h 2 6 4 ) 主要用于实时视频通信，如可视电话、 # 邮i 乜大学顿l 女 视频会议。另一个主要的视频编码标准组织为b 0 ，m c 其标准主要是m p e g 系 列( m p e g l 、m p e g 2 、m p e g 4 、m p e g 7 和m p e g - 2 1 ) 侧重于视频存储( v c d 、 d v d ) 、视频广播( 电视广播) 以及视频流的应用。两者的共同目标是在尽可能低 的码率( 或存储容量) 下获得尽可能好的图像质量。两大标准化组织的第一次合 作是在h2 6 2 触p e g - 2 标准的开发过程中。随着市场对图像传输需求的增加，如 何适应不同信道传输特性的问题也r 益显现出来。两大组织再次联手推出的视频 编码新标准，纳入i t u t 体系称为h2 “标准，在i s o ，i e c 体系中作为m p b o _ 4 的第1 0 部分。目的在于解决不同特祉信道下的视频传输问题。视频编码标准的 开发演进过程如图1 2 所示。 i 。_ - _ _ _ 一麟l 旷 19 8 41 9 8 61 9 8 81 蚋01 9 9 21 9 0 4 伯 82 。0 07 0 0 22 0 叫 圈1 2 i t u 可建议覆m p e g 标准的开发i 据 2 6 l h2 6 l 标准是为l s d n 设计，主要针对实时编码和解码设计，压缩和解压缩 的信号延时不超过1 5 0 m s ，码率”6 4 k b p s ( p = 1 3 0 ) 。 h2 6 1 标准主要采用运动补偿的帧问预测、d c t 变换、自适应量化、熵编码 等压缩技术。只有i 帧和p 帧，没有b 帧，运动估计精度只精确到像素级。支 持两种图像扫描格式：o c i f 和c i f 。 与h2 6 l 有关的国际标准有： h3 2 0 ：窄带可视电话系统和终端设备： h2 2 l ：视听电信业务中6 扣l9 2 0 k b ，s 信道的帧结构： h2 3 0 ：视听系统的帧同步控制和指示信号； h2 4 2 ：使用直到2 m b b 数字信道的视昕终端的系统。 h 2 6 3 h2 6 3 标准是甚低码率的图像编码国际标准它方面以h2 6 1 为基础，以 她合编码为核心，其基本原理框图和h2 6 1 十分相似，原始数据和码流组织也相 似；另一方面，h2 6 3 也吸收了m p e g 等其它一些【j 4 际标准中有效，合理的部分， 如：半像素精度的运动估计、p b 帧预测等，使它性能忧于h2 6 1 。 北京邮电大学硕上论文 h 2 6 3 使用的位率可小于“l c 洲s 且传输比特率可不固定( 变码率) h 2 6 3 支持多种分辨率： s q c ( 1 2 8 x 9 6 ) 、q c 腰、c 、4 c i f 、1 6 c m 。 与h 2 6 3 有关的国际标准有： h 3 2 4 ：甚低码率多媒体通信终端设备l h 2 2 3 ：甚低码率多媒体通信复合协议l h 2 4 5 ：多媒体通信控制协议； g 7 2 3 1 1 ：传输速率为5 3 k 1 ) ，s 和6 3 k b s 的语音编码器。 j p e g 国际标准化组织于1 9 8 6 年成立了j p e g ( j o i mp h o t 0 删ce x p 耐g 咖p ) 联合 图片专家小组，主要致力于制定连续色调、多级灰度、静态图像的数字图像压缩 编码标准。常用的基于离散余弦变换( d c d 的编码方法，是j p e 0 算法的核心内 容 m p e g 1 2 m p e g 1 标准用于数字存储体上活动图像及其伴音的编码，其数码率为 1 5 m b ，s 。m p e g 1 的视频原理框图和h 2 6 l 的相似 m p e g - l 视频压缩技术的特点：1 随机存取；2 快速正向逆向搜索；3 逆 向重播；4 视听同步l5 容错性l6 编解码延迟m p e g 1 视频压缩策略：为 了提高压缩比，帧内帧间图像数据压缩技术必须同时使用。帧内压缩算法与 j p e g 压缩算法大致相同，采用基于d c t 的变换编码技术，用以减少空域冗余 信息。帧间压缩算法，采用预测法和插补法预测误差可在通过d ( 玎变换编码 处理，进一步压缩。帧问编码技术可减少时间轴方向的冗余信息 m p e g 2 被称为“2 1 世纪的电视标准 ，它在m p e g - l 的基础上作了许多重 要的扩展和改进，但基本算法和m p e g 1 相同。 m p e g - 4 m p e g 4 标准并非是m p e g 2 的替代品，它着眼于不同的应用领域。m p e g _ 4 的制定初衷主要针对视频会议、可视电话超低比特率压缩( 小于6 4 k b s ) 的需 求在制定过程中m p e g 组织深深感受到人们对媒体信息，特别是对视频信息 的需求由播放型转向基于内容的访问、检索和操作。 m p e g - 4 与前面提到的j p e g 、m p e g 1 2 有很大的不同，它为多媒体数据压 缩编码提供了更为广阔的平台，它定义的是一种格式、一种框架，而不是具体算 法，它希望建立一种更自由的通信与开发环境。于是m p e 叫新的目标就是定 义为：支持多种多媒体的应用，特别是多媒体信息基于内容的检索和访问，可根 据不同的应用需求，现场配置解码器。编码系统也是开放的，可随时加入新的有 效的算法模块。应用范围包括实时视听通信、多媒体通信、远地监测监视、v o d 、 北京邮电大学硕士论文 家庭购物娱乐等。 j 、，1 ：新一代的视频压缩标准 j 、丌是由i s o i e cm p e g 和r r u tv c e g 成立的联合视频工作组( j o 缸d e 0 慨n ) ，致力于新一代数字视频压缩标准的制定。 j v t 标准在i s o ，l e c 中的正式名称为im p e g 一 v c ( 邮1 0 ) 标准l 在r r i m 中的名称：h 2 “( 早期被称为h 2 6 l ) h 2 6 4 a v c h 2 6 4 集中了以往标准的优点，并吸收了以往标准制定中积累的经验，采用 简洁设计，使它比m e g 4 更容易推广h 2 “创造性了多参考帧、多块类型、整 数变换、帧内预测等新的压缩技术，使用了更精细的分象素运动矢量( 1 4 、1 8 ) 和新一代的环路滤波器，使得压缩性能大大提高，系统更加完善。 h 2 6 4 主要有以下几大优点t 高效压缩：与h 2 6 3 + 和m p e c 珥s p 相比，减小5 0 比特率； 延时约束方面有很好的柔韧性： 容错能力： 编解码的复杂性可伸缩性l 解码全部细节：没有不匹配l 高质量应用； 网络友善 几种视频压缩标准的主要技术参数比较见图1 3 ： 北京邮电大学硕士论文 s t a l i d a r d s ( p r o f i i e s ) n o ns t d f 咖r e m p e g - 1m p e g - 2m p e g lm p e g m p e g - |v d - 1 o g g s n a w a s pa 、c m ma v c h i 口ht h i b f m m e 3 、， s i o e se 丌饼r 们j e n 0 蚓啷舭f f m b f f l e _ _ p ye n c d d - m 口 h _ h h _ 暑p _ g _ 一 一g 一- h t _ d - 一 p d 酣j d o m“h r - ，n 口n 岫t n 曲m h i 出o nb i o c 【s i z 日 1 0 融 “ s ，1 e t ，1 b h e1 钳1 6 ，1 毫e 6 m s j 9 毋 e m i ，z b 3 2 ，1 1 b ，籼一，8 一，e h ，w 4 h 一舢 l 嘶o ns b 叫c hp r e d s j o 一 嘶_ 制n 叫o 日_ m口日m蚶m *坩h咐叫- 蚶mc h j i l h 叫o - p - 一o f o b m c g l l g b dh 撕c 0 啷曙啪如n l _ - p _ b d i c b o c虻 c 知柚醴 钿u箴d cd c - 伸，一1 钿 8 ，置3 2 ，t _ * _h m s p 一刚t r 明s 佃m c t附d c t蝴h c to c tv o_毋mmi 玑们_ b 打e 砌l c ld e d i n g l o o - i e s sm o d c 口n 阱n0 u a 枷z e ru a 打i x0 i 一pd e b l o c i i n g 开h r “ u u m p i er e f e r e n c ef r m i e s 2 - v ，b i g h t e dp r e d i d i o n p p 由 y u vc o i o wf 0 r m m - t i 尘t 抽盘由2 量由：2 由由 土， 2 毒白峰 2 ：毛= 4 z t 1 3 选题背景 固1 3 常见视频压缩标准的主要技术参数比较 h 2 6 4 a v c 是r r u t 视频编码专家组c e g ) 和l s o 仃e c 运动图像专家组 ( m p e g ) 联合制定的新型视频编码标准。h 2 6 舭w c 标准的制定主要致力于增强 压缩性能，规范各类视频应用的网络友好型表示方式。其中的应用种类涉及视频 电话这种会话类型，以及诸如存储、广播、流媒体服务等的非会话类型与现有 的其他视频标准相比，h 2 删c 在率失真性能上获得了巨大的提升。 得到广泛应用的m p e g 2 视频编码标准是在十多年前制定的。它在m p e g 1 标准的基础上增加了对隔行扫描视频的支持，从而成就了世界范围内数字电视系 统的发展无论是通过卫星传输、电缆传输、地面广播标清或者高清电视信号。 还是在d v d 盘片上存储高质量的标清视频信号，都广泛应用了此标准。m p e g 2 也同样是i t u - t 的h 2 6 2 标准。 然而，随着服务数量的增加和高清电视的逐渐普及，视频编码标准的编码效 率迫切需要得到提高。与此同时，其他一些连接方式，如c a b l em o d 锄、x d s l 、 u m t s 等，它们能提供的传输带宽比广播信道要小得多。为了要在更多信道上传 输视频信号，或者要在相同传输能力下提供更高的视频表现质量，就需要进一步 北京邮电大学硕一f 二论文 提高视频编码效率 通信领域的视频编码从r r u - th 2 6 l 、h 2 6 2 、h 2 6 3 标准逐步发展而来，并 且应用于i s d n 、t 1 e 1 业务、p s t n 、移动无线网络、l n 、h t i 黜e t 等不同交 换网也使得它越来越多样化。尽管网络的类型、特有格式，以及对衰减、错误健 壮性的需求不同，编码效率的犀大化仍是贯穿始终的主题m p e 甜标准的第2 部分开始在应用领域使用一些较早的编码标准。在增加了视频图形编码能力的同 时，也同样扩展了数字视频的使用环境 在1 9 9 8 年的早些时候，v c e g 就提出了h 2 6 l 的项目建议这个项目的目 标是在其他现有视频编码标准的基础上，实现编码效率的翻倍一在保证同等级 失真度的情况下码率减小一半，以满足各种不同的应用需求。1 9 9 9 年l o 月，新 标准采用了第一份设计草案。到2 0 0 1 年1 2 月，v c e g 和m p e g 组成了联合视 频小组( j v t ) 。2 0 0 3 年3 月，t 完整了新编码标准的草案，正式提交了 h 2 6 钏a 、，c 标准。 在h 2 c 中，精确的帧内、帧问预测、整数变换、以及高效的语法元 素熵编码这些技术，带来了更高的编码效率。在这其中，基于可变块大小和多参 考帧的运动估计( m e ) 技术又是降低预测误差的关键性技术。标准中对于一个 1 6 1 6 的宏块，所有参考帧中位于搜索窗口范围内各种大小的子宏块和全部位 置都需要经过计算，才能得出编码代价( m c o s t ，包括运动向量和运动残差) ， 进入下一步编码。因此，这种全搜索( f s ) 算法的时| 日j 复杂度很高，占用了全 部编码过程的绝大部分时问。对于大小为3 2 的搜索窗口，单参考帧时这个比例 大约为6 0 ，多参考帧时更是高达8 0 之多。 为了降低运动估计部分的计算时间，出现了很多快速算法。其中比如u m h s 、 简化u m h s 、e p z s 等都取得了比较理想的结果，通常可以在保持高率失真( r d ) 性能的情况下，节省超过9 0 的计算时间。通常为了实现高速m e ，绝大多数算 法都采用了门限的方法提早判断终止策略：每当匹配块的m c o s t 满足一定的条 件，则立即结束当前搜索。 然而，实验证明，在不同编码条件下，这些算法所取得的r d 性能和加速 能力也不相同。更加通用的优化算法是m e 发展的必然趋势。这也必将成为数字 视频应用技术发展过程中的一个重要环节。 1 4 论文的主要内容 本论文介绍了h 2 6 4 标准和运动估计算法的基本内容，对比整理了常见的优 化算法，最后提出了基于背景检测的运动估计优化算法方案。下面简单介绍本文 北京邮电大学硕士论文 的主要工作： 第二章中首先简单介绍了h 2 6 4 编码框架，分析了h 2 6 4 采用的新技术，以 及对编码性能的影响 第三章主要介绍了运动估计技术的基本原理，然后介绍了h 2 6 4 特有的运动 估计算法的技术特点。树型结构的运动补偿、子像素运动矢量和多参考帧 第四章中整理了h 2 6 4 的运动估计的主要优化算法。详细介绍了关于模式选 择、整像素运动估计和子像素运动估计的优化思路，然后又整理了采用自适应阈 值的提前终止策略、采用自适应搜索范围、多参考帧快速搜索、快速模式选择、 快速l 4 像素精度运动估计、基于图像内容的辅助方法等各种优化算法 第五章结合背景检测算法，提出了新的运动估计优化方案，介绍了实验平台， 并对实验结果进行了分析 第六章中做了最后的总结和对应用前景的展望。 下面，将分章节详细介绍这些具体的工作情况 北京邮电大学硕十论文 第二章h 2 6 4 视频编码技术 2 1h 2 6 4 标准概述 h 2 6 4 【i 】和以前的标准一样，也是d p c m 加变换编码的混合编码模式但它 采用“回归基本的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩 性能；加强了对各种信道的适应能力，采用。网络友好”的结构和语法，有利于 对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不 同传输( 存储) 场合的需求。 技术上，它集中了以往标准的优点，并吸收了标准制定中积累的经验。与 h 2 6 3v 2 ( h 2 6 3 + ) 或m p e g - 4 简单类( s i l i l p l ep f i l e ) 相比，h 2 “在使用与上述编 码方法类似的最佳编码器时，在大多数码率下最多可节省5 0 的码率h 2 6 4 在 所有码率下都能持续提供较高的视频质量h 2 “能工作在低延时模式以适应实 时通信的应用( 如视频会议) ，同时又能很好地工作在没有延时限制的应用，如视 频存储和以服务器为基础的视频流式应用h 2 6 4 提供包传输网中处理包丢失所 需的工具，以及在易误码的无线网中处理比特误码的工具 在系统层面上，h 2 6 4 提出了一个新的概念，在视频编码层( d e 0c 0 d i n g l a y v c l ) 和网络提取层( n 娟0 出a b s t r a c t i l a y n a l ) 之间进行概念性分 割，前者是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送 的表述，这样的结构便于信息的封装和对信息进行更好的优先级控制。 2 2h 2 6 4 编码结构介绍 h 2 6 4 标准【2 l 与早前的视频压缩标准( h 2 6 l 、m p e g 1 、m p e g 2 、h 2 6 3 、 m p e g - 4 ) 一样没有明确定义一个c o d e c ，仅定义了对视频码流编码的语法和 对视频码流解码的方法。h 2 6 4 标准也是基于块的混合编码，基本的功能单元除 了去块的滤波器，仍然是变换、量化、预测、熵编码等，重要的改变是体现在每 个功能的细节上这些变化，也就是h 2 6 4 的关键技术编码器的编码模块构成 如图2 1 所示。 北京邮电大学硕十论文 图2 1h 2 6 4 编码器结构框图嘲 编码器包含两个方向的码流，前向码流( 从左到右) 为编码过程，反向码流 ( 从右到左) 为重建过程 f i 是编码器的输入帧，编码器中的帧图像是以宏块为单位处理的，宏块是原 始图像中1 6 1 6 像素大小的图像划分宏块编码可以分为帧内和帧问两种模式 不管使用哪种模式，都要根据重建帧构建用于预测的宏块p 在赖内预测模式中， 通过对编码并解码重建的当前帧f 矗进行计算形成p 在帧间模式中，通过对一 帧或多帧参考帧进行运动估计得到p 。图2 1 中，参考帧表示为f 十i ，事实上， 参考帧可以是过去或未来的多个帧，经编码并解码重建后可以对当前宏块做预 测。 得到预测值之后，用当前宏块中减去预测值p ，形成预测残差宏块d n ；然 后对残差进行变换和量化得到一组量化的变换系数；这些系数再进行重新排序和 熵编码。熵编码后的系数，和宏块解码所需的其他辅助信息一起形成压缩码流。 这些辅助信息包括宏块预测模式、量化步长、以及描述宏块运动预测补偿的运动 矢量信息等。压缩码流传送到网络适配层( n a l ) 进行传输或存储。 2 3h 2 6 4 视频编码关键技术 h 2 6 4 标准是基于块的混合编码基本算法是通过帧问预测和运动补偿消除 时域冗余，经过变换编码消除频域冗余。h 2 6 4 采用了基于4 4 块整数变换、可 变大小的增强运动补偿、帧内预测、分离块滤波和增强的熵编码技术，在差错处 理中，采用多帧预测、s p s l 帧、条块结构编码、数据分割、以及帧内宏块刷新 技术。本节介绍h 2 6 4 编码器所采用的关键技术 北京邮电大学硕士论文 2 3 1 帧内预测 帧间预测技术是提高视频压缩比的关键，但帧内预测也有重要的作用。一方 面，可以提高i 帧的压缩效果，有利于视频码流速率的控制，这在实际的网络传 输中具有重要的意义另一方面，当帧间预测找不到匹配块的时候，用帧内预测 来达到好的压缩效果 帧内编码用来缩减图像的空间冗余h 2 “通过整数d c t 变换来去除块内 图像的空间荣誉。另外，为了提高h 2 “帧内编码的效率，在给定帧中充分利用 相邻宏块的空间相关性，相邻的宏块通常含有相似的属性。因此，在对一给定宏 块编码时，首先可以根据周围的宏块预测( 典型的是根据左上角的宏块，因为此 宏块已经被编码处理) ，然后对预测值与实际值的差值进行编码，这样，相对于 直接对该帧编码而言，可以大大减小码率。 当一个块或一个宏块采用帧内预测的时候，预测块将由相邻的并且经过编 码、解码和重建的像素来产生，因为这些像素与当前块的像素有一定的相关性。 然后当前块与预测块相减，对差值进行编码。h 2 6 4 标准的基本部分包括9 种4 x 4 亮度块的预测、4 种1 6 x 1 6 亮度块的预测和4 种色度块的预测 4 x 4 亮度块的预游 a b c d ef g h i j kl mno p 图2 24 x 4 的亮度块及预测所用到的相邻像素【1 6 l 如图2 2 所示，4 4 的亮度块与相邻的像素a m ，这些分布在上面和左面 的像素都是经过编码和解码重建的，预测块是通过对相邻像素a m 的计算获得 的。为了保持s l i c e 的独立性，只有落在当前s l i c e 的像素才有效，可以用做 预测。图2 3 表示了不同预测模式的预测方向，通过预测来去除像素在这个方 向的相关性。 j e 京“咆 毕e 口z 图2 34 x 4 亮度堤帧内顸测的方向1 1 j 图2 4 中具体列出了每种模式的预测方向，每种预测模式都有相应的计算 预测块的方法。 t 酽黟黔 h m 目m i 紧旷 图2 - 4 4 亮厦块帧内顿剐示意图【2 】 在计算完预测块之后，编码嚣需要从9 种模式中选择一种最好的预测模式。 相邻块的帧内预测模式是高度相关的，如图2 5 所示，块a 和块b 都是已经编 码的4 x 4 块，分g 位于当日i 块c 的上面和左面，那么c 的预测模式和a 、b 的 预测模式是相关的可从a 、b 的预测模式中得出c 最可能的预测模式 m o n p r o b a b l e m o d e 。 选择当前块c 的最佳预测模式b e s 删0 d e 的具体准则，是按f 式计算c o m 最小的模式 c o s l is a 【j + r 乙a m d 口i q d 、 国z 5 自前4 x 4 亮度块与相邻块 式2 # 京邮电大学颤论文 其中s a d 表示当前块与预测块的绝对差的和，q p 表示量化参数，d a ( q p ) 为率失真因子，r 的取值与m o 虬p b a b l 删c 有关，当晟佳模式等于 m d s i p b a b i e m o d e ，则f 为o ，否则为1 1 6 x 1 6 亮度块的援游 1 6 x 1 6 亮度块同样也是由相邻的重建像煮产生预测块，图2 - 6 表示了预测 的方向同4 x 4 块一样，通过预测来去除像素在这个方向的相关性。1 6 1 6 的预 游对图像平坦竹区域比较有效。 o “o mi m o i 2 ( 0 c 3 ( p 图 圉2 - 6 1 6 1 1 6 亮度睫帻内预测的才由嗍 色度块的预测 宏块的两个色度块( c b 和c r ) 使用相同的预测方式预测方式单独应用 到两个色度块色度块有种预测模式( d c 、i z o 删、盹删和p l 蚰) ，与 1 6 1 6 的亮度块基本一样 2 3 2 帧问预测 帧间预测编码利用连续帧中的时间冗余来进行运动估计和补偿。h 2 6 4 的运 动补偿支持以往的视频编码标准中的大部分关键特性，而且灵活地添加了更多的 功能，除了支持p 帧、b 帧外h 2 “还支持一种新的流间传送帧s p 帧。码 流中包含s p 帧后能在有类似内容但有不同码率的码流之间快速切换，同时支 持随机接入和快速回放模式。h 2 6 4 的运动估计有以下4 个特性。 不同大小和形状的宏块分割 对每。一个1 6 1 6 像素宏块的运动补偿可以采用不同的大小和形状，h2 “ 支持7 种模式，如图4 所示。小块模式的运动补偿为运动详细信息的处理提高了 性能，减少了方块效应，提高了图像的质量。宏块分割方法见图2 7 。 北京邮电大学硕：t 论文 图2 - 7 宏块分割的7 种模式【3 l 高精度的亚像素运动补偿 在h 2 6 3 中采用的是半像素精度的运动估计，而在h 2 “中可以采用l 4 或 者l 8 像素精度的运动估值在要求相同精度的情况下，h 捌使用l 似或者l 8 像素精度的运动估计后的残差要比h 2 6 3 采用半像素精度运动估计后的残差来 得小这样在相同精度下，h 2 “在帧间编码中所需的码率更小。 多帧预测 h 2 6 4 提供可选的多帧预测功能，在帧间编码时，可选5 个不同的参考帧， 提供了更好的纠错性能，这样更可以改善视频图像质量。这一特性主要应用于以 下场合：周期性的运动、平移运动、在两个不同的场景之间来回变换摄像机的镜 头。多帧参考技术在帧间预测中的运用与当前帧类型有关系，对于p 帧采用前向 多帧预测；对于b 帧采用前向、后向、双向和直接多帧预测方法，其中双向多 帧预测采用了多帧加权平均算法。采用多帧参考技术后，h 2 “不仅能够提高编 码效率，同时也能实现更好的码流误码恢复，但需要增加额外的时延和存储容量。 去块滤波器 h 2 6 4 定义了自适应去除块效应的滤波器，这可以处理预测