（通信与信息系统专业论文）基于h264的运动估计的研究和实现.pdf

浙江工业大学硕士学位论文 基于h 2 6 4 的运动估计的研究和实现 摘要 h 2 6 4 作为一个高级视频编码标准( a d v a n c e dv i d e oc o d i n g ，a v c ) ，是由m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) 和v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 联合制定，并于2 0 0 3 年5 月确定为国际标准。h 2 6 4 标准除了具有以往标准的优势外还支持多种新技术，提供更高 压缩率、更好编码效率。为了使h 2 6 4 更好地服务于高清的应用系统，提高编码效率是可 行办法之一。通过对h 2 6 4 编码器的分析，运动估计和运动补偿技术可消除视频序列时间 和空间上的冗余度以提高编码效率，它占据了整个编码处理过程绝大部分的开销，因此如 何减少运动估计时间，具有研究价值。 本文开始论述了h 2 6 4 编码标准的原理和编码算法新技术；然后介绍了h 2 6 4 中采用 的运动搜索算法并对比了它们的效率；最后本文在深入研究了混合非对称十字多六边形格 点搜索u m h e x a g o n s ( u n s y m m e t r i c a l c r o s sm u l t i - h e x a g o n g r i ds e a r c h ) 算法的基本原理和性 能之后，基于该算法进行了在提前截止情况分析、动态参考搜索窗口、非均匀搜索模板和 钻石搜索模板四个点进行改进，实现了一种新的基于u m h e x a g o n s 的快速运动估计算法， 它改善原算法间歇性地过早陷入局部最小点的状况，同时节省了运动估计时间来保证良好 的编码效率，使h 2 6 4 编码能更好地应用于高清场合。 通过h 2 6 4 的标准测试模型j m10 2 在v s 2 0 0 8 的平台上进行代码实现，通过对具有不 同运动量的6 个序列进行多性能指标的测试，发现新的算法在解码视频质量和码率基本不 变的情况下，使运动估计时间比u m h e x a g o n s 原算法平均节省了1 8 3 2 ，提高了编码器 的编码效率。 关键词：h 2 6 4 ；视频编码；运动估计；u m h e x a g o n s 算法 浙江工业大学硕士学位论文 r e s e a r c ha n di m p l e m e n t a t i o no fm o t i o n e s t i m a t i o nb a s e do nh 2 6 4 a b s t r a c t a sa na d v a n c e dv i d e oc o d i n gs t a n d a r d ( a d v a n c e dv i d e oc o d i n g ，a v c ) ，h 2 6 4i sd e c l a r e d a st h ei n t e r n a t i o n a ls t a n d a r di n2 0 0 3m a y ，w h i c hi sj o i n t l yd e v e l o p e db ym p e g ( m o v i n g p i c t u r ee x p e l sg r o u p ) a n dv c e g ( v i d e oc o d i n ge x p e a sg r o u p ) i na d d i t i o nt ot h es a m e a d v a n t a g e sw i t hp r e v i o u ss t a n d a r d s ，i ta l s oh a sn e wt e c h n o l o g i e s ，w h i c hp r o v i d e sh i g h e r c o m p r e s s i o nr a t e ，b e r e rc o d i n ge f f i c i e n c y i no r d e rt os e r v i c eh i ) a p p l i c a t i o n sp r e f e r a b l yw i t h h 2 6 4 ，i m p r o v i n gt h ec o d i n ge f f i c i e n c yi so n eo ft h ef e a s i b l em e a s u r e s b a s e do nt h ea n a l y s i so f h 2 6 4e n c o d e r , m o t i o ne s t i m a t i o na n dm o t i o nc o m p e n s a t i o nt e c h n i q u ec a ne l i m i n a t et h ev i d e o s e q u e n c e so ft e m p o r a la n ds p a t i a lr e d u n d a n c yt oi m p r o v ec o d i n ge f f i c i e n c y ，i to c c u p i e sm o s t o v e r h e a do ft h ee n t i r ec o d i n gp r o c e s s ，s oi ti sm e a n i n g f u lt od or e s e a r c ho nh o wt or e d u c et h e m o t i o ne s t i m a t i o nt i m e t h i sp a p e rd i s c u s s e st h ep r i n c i p l ea n dn e w t e c h n o l o g i e so fh 2 6 4c o d i n gs t a n d a r d ；t h e ni t i n t r o d u c e sm o t i o ns e a r c ha l g o r i t h m su s e db yh 2 6 4a n dc o m p a r e st h e i re f f i c i e n c y ；f i n a l l y ，a f t e r s t u d y i n gt h eb a s i cp e r f o r m a n c eo fu m h e x a g o n s ( u n s y m m e t r i c a l - c r o s sm u l t i - h e x a g o n - g d d s e a r c h ) a l g o r i t h m ，i tr a i s e sf o u ri m p r o v e m e n t sw h i c ha r ea n a l y s i so ft e r m i n a t i o ni na d v a n c e ， d y n a m i cr e f e r e n c es e a r c hw i n d o w ，n o nu n i f o r ms e a r c ht e m p l a t ea n dd i a m o n ds e a r c hp a a e m ，t o a c h i e v ean e wf a s tm o t i o ne s t i m a t i o na l g o r i t h mb a s e do n u m h e x a g o n s ，i ti m p r o v e st h e s i t u m i o nt h a ti tc o m e si n t oal o c a lm i n i m u mp o i n ts t a t u s p r e m a t u r e l ya n di n t e r m i t t e n t l y ， c o m p a r e dw i t ho r i g i n a la l g o r i t h m ，m e a n w h i l ei ts a v e st h em o t i o ne s t i m a t i o nt i m et oe n s u r eg o o d c o d i n ge f f i c i e n c y ，w h i c hm a k e sh 2 6 4e n c o d i n ga p p l i e di nh do c c a s i o n sb e t t e r b a s e do nh 2 6 4s t a n d a r dt e s tm o d e lj m10 2 ，i t c o m p l e t e st h ei m p l e m e n t a t i o no f i m p r o v e m e n t so nv s 2 0 0 8c o d i n ge n v i r o n m e n t t h r o u g hav a r i e t yo fp e r f o r m a n c et e s t sa b o u t6 s e q u e n c e sw i t ht h ed i f f e r e n tl e v e l so fa c t i v i t y ，i tf i n d st h a ti tr e d u c e sa b o u t18 3 2 o fe m o t i o n e s t i m a t i o nt i m eo nc o n d i t i o nt h a ti tg u a r a n t e e st h es a m ed e c o d e dv i d e oq u a l i t ya n dt h es a m eb i t r a t eb a s i c a l l y t h en e wm o t i o ne s t i m a t i o na l g o r i t h mr a i s e st h ec o d i n ge f f i c i e n c yo f t h ec o d e r k e yw o r d s ：h 2 6 4 ；v i d e oc o d i n g ；m o t i o ne s t i m a t e ；u m h e x a g o n sa l g o r i t h m 浙江工业大学硕士学位论文 图列 图1 - 1 高清与标清效果对比2 图1 - 21 k m 远距离高清图像细节呈现2 图1 3 国际标准发展历程3 图1 4 测试系统d s c o s 5 图2 1h 2 6 4 编码器8 图2 2h 2 6 4 解码器9 图2 3h 2 6 4 的分层结构1 0 图2 _ 44 * 4 亮度分量的帧内预测模式一1 2 图2 5 边界相邻像素15 图2 6h 2 6 4 参数集设计1 5 图2 - 7h 2 6 4 的片组方式1 6 图2 8 宏块排序的一种模式1 6 图3 - 1 运动估计算法分类一1 8 图3 - 2 前向和后向块匹配1 9 图3 3 全局搜索算法2 l 图3 41 2 精度像素插值一2 2 图3 5 运动补偿精度与误差方差的关系2 2 图3 石2 维对数搜索算法一2 3 图3 - 7 三步搜索算法2 4 图3 - 8 分级搜索范围算法2 4 图4 _ lu m h e x a g o n s 算法搜索流程2 7 图4 - 2 运动向量分布3 0 图4 - 3 六边形的内部分布3 2 图4 - 4 搜索窗i s l 的8 个区域3 8 图4 - 5 预测向量与最优向量的关系3 9 图4 - 6 模板改进算法举例，集中搜索区域为1 4 1 图4 - 7 模板改进算法举例，集中搜索区域为2 4 2 图4 - 8 改进的新算法流程图4 3 图4 - 9 基于帧的码率对比4 5 图4 - 1 0 基于帧的p s n r 对比4 5 图4 - l l 基于帧的编码时间对比4 6 图4 - 1 2 基于帧的运动估计时间对比4 6 图4 一1 3 基于帧的搜索点数对比4 6 图4 - 1 4c o n t a i n e r 序列主观评价4 8 图4 - 15m o b i l e 序列主观评价4 9 浙江工业大学硕士学位论文 表列衣岁u 表1 1h 2 6 4 与先前的标准相比平均的比特率节省4 表l - 2 主观质量评价标准5 表2 1 量化参数与量化步长的关系1 4 表4 - l 最佳m v 区域统计表3 8 表4 2 各方向最佳m v 概率和3 9 表4 - 3 测试结果4 4 表4 4 不同量化参数下的率失真性能4 7 浙江工业大学硕士学位论文 符号说明 a v c ( a d v a n c e dv i d e oc o d i n g ) m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) j m ( j o i n tm o d e l ) c i f ( c o m m o ni n t e r m e d i a t ef o r m a t ) u m h e x a g o n s ( u n s y m m e t r i c a l c r o s s m u l t i - h e x a g o n g r i ds e a r c h i t u - t ( t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) c c i t t ( i n t e r n a t i o n a lt e l e p h o n ea n dt e l e g r a p h c o n s u l t a t i v ec o m m i t t e e ) i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) g o p ( g r o u po fp i c t u r e ) p s ( p r o g r a ms t r e a m ) t s ( t r a n s p o r ts t r e a m ) t ( j o i n tv i d e ot e a m ) p s n r ( p e a ks i g n a lt on o i s er a t i o ) h p ( h i g hp r o f i l e ) a s p ( a d v a n c e ds i m p l ep r o f i l e ) h l p ( h i g hl a t e n c yp r o f i l e ) a v s ( a d v a n c e dv i d e oc o d i n gs t a n d a r d ) h d t v ( h i 曲d e f i n i t i o nt e l e v i s i o n ) h d - d v d ( h i g hd e f i n i t i o n d i g i t a lv i d e od i s k ) c c i r ( i n t e m a t i o n a lr a d i oc o n s u l t m i v ec o m m i t t e e ) m s e ( m e a ns q u a r e de r r o r ) m c ( m o t i o nc o m p e n s a t i o n ) d c t ( d i s c r e t ec o s i n et r a n s f o r m ) i s d n ( i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) l a n ( l o c a la r e an e t w o r k ) d s l ( d i g i t a ls u b s c r i b e rl i n e ) v o d ( v i d e oo nd e m a n d ) 3 g p p ( t h e3 r dg e n e r a t i o np a r t n e r s h i pp r o j e c t ) m m s ( m u l t i m e d i am e s s a g es e r v i c e s ) v c l ( v i d e oc o d i n gl a y e r ) n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 高级视频编码标准 动态图像专家组 视频编码专家组 联合模型 规范化图像格式 混合非对称十字 多六边形格点搜索 国际电信通信标准组织 国际电话与电报顾问委 员会 国际标准化组织 图像组 节目流 传送流 联合视频小组 峰值信噪比 高级档次 高级简单档次 高延迟档次 高级视频编码标准 高清晰度电视 高清晰数字视频光盘 国际无线电咨询委员会 均方误差 运动补偿 离散余弦变换 综合服务数字网 局域网 数字用户专线 视频点播 3 g 技术规范机构 多媒体信息服务 视频编码层 网络适配层 浙江工业大学硕士学位论文 r d o ( r a t e d i s t o r t i o no p t i m i s a t i o n ) d c ( d i r e c tc u r r e n t ) q p ( q u a n t i t a t i v ep a r a m e t e r s ) c a v l c ( c o n t e x t - a d a p t i v ev a r i a b l el e n g t hc o d i n g ) c a b a c ( c o n t e x t - a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) v l c ( v a r i a b l el e n g t hc o d i n g ) i d r ( i n s t a n td e c o d e rr e f r e s h ) f m o ( f l e x i b l em a c r o b l o c ko r d e r i n g ) b m e ( b l o c k - b a s e dm o t i o ne s t i m a t i o n ) d f d ( d i s p l a c e df r a m ed i f f e r e n c e ) p r a 俨e lr e c u r s i v ea l g o r i t h m ) m v ( m o t i o nv e c t o r ) n c f ( n o r m a l i z e dc r o s s c o r r e l a t i o nf u n c t i o n ) m a d ( m e a na b s o l u t ed i f f e r e n c e ) s a d ( s u mo f a b s o l u t ed i f f e r e n c e ) n t d ( n u m b e ro ft h r e s h o l d e dd i f f e r e n c e l f s a ( f u l ls e a r c h i n ga l g o r i t h m ) t s s ( t h r e es t e ps e a r c h i n g ) d s r a ( d e l a m i n a t i o ns e a r c h i n gr a n g ea l g o r i t h m ) m v p ( m o t i o nv e c t o rp r e d i c t i o n ) d s ( d i a m o n da l g o r i t h m ) e p z s ( e n h 粕c e dp r e d i c t i v ez o n a ls e a r c h ) d s r ( d y n a m i cs e a r c hr a n g e ) u p i d s ( u n e v e np r e d i c t i v ei n t e n s i v ed i r e c t i o ns e a r c h 、 i s r ( i n t e n s i v es e a r c h i n gr e g i o n ) m e t ( m o t i o ne s t i m a t i o nt i m e ) d s p ( d i g i t a ls i n g n a lp r o c e s s o r ) 率失真优化 直流 量化参数 内容自适应变长编码 内容自适应算术编码 变长编码 即时解码器刷新 灵活宏块排序 基于块的运动搜索法 帧间位移差 像素递归法 运动向量 标准化相关函数 平均绝对值误差 绝对差值和 阈值差别计数 全局搜索算法 三步搜索 分级搜索算法 运动向量预测 菱形算法 增强的预测区域搜索 动态搜索范围 非均匀预测强度方向 搜索 集中搜索区域 运动估计时间 数字信号处理器 浙江工业大学硕士学位论文 第1 章绪论 本章简要陈述了课题的背景及意义，给出了视频编码标准发展历程和视频质量衡量标 准，最后给出全文结构安排。 1 1 课题的背景及意义 2 l 世纪以来，伴随着视频技术的不断提升和人们生活水平的不断提高，人们对于日常 生活和工业生产中的视频质量要求越来越高，使得高清取代传统的标清而被广泛应用于高 清数字电视、视频会议、视频监控系统、高清电子消费产品等。高清时代已到来，并具有 强大的市场需求。高清最基本特点是图像清晰度高、细节更加清晰，为后续的视频查看、 图像识别和图像智能分析等提供了最基本的前提，比如传统监控系统大部分都只能到达 c i f ( 3 5 2 2 8 8 ) 或者4 c i f ( 7 0 4 5 7 6 ) 的分辨率，存在图像清晰度低、可看范围小等缺 点，无法满足城市主要道路路况大范围、高清晰监控的需求。从图1 - 1 和图1 - 2 可以看出 高清视频监控的显著优势。 高清具有众多优点的同时也存在着随之所带来的高码流、高传输带宽、高存储空间、 高成本等问题，而单纯地扩大存储容量空问和提升网络传输带宽是不能从根本上解决问题 的，视频编码技术才是改变现状的重要途径。 纵观视频编码标准的发展历程，不论从i t u t 标准的h 2 6 1 1 】到h 2 6 3 、h 2 6 3 + 、 h 2 6 3 + + 【2 】，还是m p e g 标准的m p e g 1 【3 】、m p e g 一2 1 4 以及m p e g 4 【5 】，追求的目标都是一 方面达到一定的压缩比，另一方面获取更好的重建视频帧质量。而在高清所带来的巨大传 输数据量问题面前，以往的视频压缩标准的压缩效率已经无法满足实际应用需求，在这样 的背景下，制定了i t u t m p e g 联合标准的h 2 6 4 a v c l 6 。 h 2 6 4 提供了优异的压缩性能，却是以牺牲计算复杂度为代价，运算量非常大，相对 其他压缩标准，其复杂度提高了几倍甚至几十倍，是一大考验，如何提高编码效率就具有 非常大的研究意义。运动估计和运动补偿可消除视频序列时间和空间上的冗余度以提高编 码效率，占据整个编码过程8 0 - 9 0 的处理时间，因此降低运动估计时间是保证良好的编 码效率的重要途径，是高清编码器实现并能投入实际应用的前提，具有重大的研究意义。 1 浙江工业大学硕士学位论文 这也是本文研究的重点。 图1 1 高清与标清效果对比 图1 21 k m 远距离高清图像细节呈现 1 2 视频编码标准发展历程 视频图像编码的方法有很多，而且被广泛应用于各个领域，为了兼容不同生产商的终 端，能使它们互换信息，或者从相同的信号产生源接收信息，一些国际组织开始在2 0 世 纪8 0 年代末开始了视频图像编码的标准化工作。而这一工作也得到了生产商的积极响应， 这就更加推动了视频编码标准制定工作的进展。1 9 8 8 年，国际电话与电报顾问委员会 ( i n t e r n a t i o n a lt e l e p h o n ea n dt e l e g r a p hc o n s u l t a t i v ec o m m i t t e e ，c c i t t ，于19 9 2 年更名为 2 浙江工业大学硕士学位论文 i t u t ) 颁布了第一个视频编码标准h 2 6 1 ，成了视频编码标准史上的重要里程碑。这以后， i s o 组织的m p e g 和i t u t 组织的v c e g 基于不同的应用环境和实际需求进行了相关整 合，在h 2 6 1 的前提下不断地颁布了相关系列的视频编码标准。i t u - t 致力于视频的实时 通信领域，颁发了h 2 6 x 系列标准；i s o 则主要专注于视频存储媒体、电视广播和多媒体 通信应用，颁发了m p e g x 系列标准。图1 3 给出了视频编码标准的发展历程。 h 2 6 3 十+ li t u - ：r h i 准 h 0 6 lh 2 6 3h 舶抖h _ 2 眈 匝圆圆医盈 图1 3 国际标准发展历程 19 8 5 年，c c i t t 召集第十五专家组来更进一步研究会议电视的标准化，并在19 8 8 年 颁发了针对6 4 k b i f f s 电视电弧按会议应用的h 2 6 1 标准。h 2 6 4 标准可以进行帧内( i 帧， i n t mf r a m e ) 和帧间( p 帧，p r e d i c t i v ef r a m e ) 两种编码，并采用了帧间预测、霍夫曼编码 等技术 7 1 。 1 9 9 1 年，i s o 着手制定m p e g 1 编码标准，主要是应用于数字媒体存储、检索到的视 频图像和声音及其组合的编码，在1 9 9 3 年的11 月成功地被纳入国际标准。m p e g 1 标准 是在h 2 6 1 的框架下，通过引入双向预测帧( b 帧，b i d i r e c t i o n a lp r e d i c t i o nf r a m e ) 、半像 素精度运动估计以及图像组( g r o u po f p i c t u r e ，g o p ) 的技术，做到了随机读取、反向重放 和快速进退搜索等功能。 这之后，1 s o 又联合i t u t 电信联盟组织，开始了m p e g 2 ( 在i t u t 中称为h 2 6 2 ) 的制定，并在1 9 9 4 年成为国际标准。m p e g 2 在m p e g 1 的基础上作了重大的改进。具体 为：针对隔行扫描的常规电视图像专门设定了按帧编码和帧场编码的方式；制定了二元码 流结构包括节目流p s ( p r o g r a ms t r e a m ) 和传送流t s ( t r a n s p o r ts t r e a m ) ，节目流的差错 率比传送流低很多；根据实际的应用场合，首次引入了档次( p r o f i l e ) 和级别( l e v e l ) 的 理念，解决比特流的可交换性和国际性；增加了可分级性的理念，允许从一个编码数据流 中得到不同质量等级或不同时空分辨率的视频序列。m p e g 2 属于成功的标准，己经被广 泛应用于人们的日常生活中了。 浙江工业大学硕士学位论文 由于网络技术的快速发展和普及，宝贵的网络带宽日益成为视频应用的瓶颈。为了缓 解这个问题，1 9 9 5 年i t u t 提出了h 2 6 3 编码标准，主要针对于低码率的应用。它是在 h 2 6 1 基础框架下，引入了m p e g l 2 标准中的一些技术，同时包含了四种编码算法以供选 择，分别为无约束运动矢量算法、高级预测法、基于语法的算法编码和p b 帧算法，更好 地提高了编码的效率。h 2 6 3 同时还支持包括q c i f s u b - q c i f 、c i f 、4 c i f 、1 6 c i f 等多 种视频格式。 1 9 9 8 年，i s o 继续提出了m p e g 一4 标准，它集合了数字电视、i n m e t 和交互式图形 学等领域的各个技术和功能，在前几个编码标准上进一步进行了扩展。m p e g - 4 的编码码 率覆盖了5 k b i d s 2 m b i d s 的范围，提出来与以往编码标准完全不同的编码概念，采用了基 于对象的编码理念。m p e g 4 不是一个标准化的不可变算法，它灵活地建立了可扩展的编 码工具集，由工具集创造不同的算法。同时，i s o 还在之后制定了m p e g 7 【8 】和m p e g 2 1 1 9 1 等标准，规定了各类多媒体信息的标准化，以及高效、可互操作和透明的媒体框架。 2 0 0 1 年的1 2 月，i s o 和i t u t 成立了联合视频小组( j o i n tv i d e ot e a m ，j v t ) ，着 手h 2 6 4 m p e g 4p a r t l 0 ( a d v a n c e dv i d e oc o d i n g ，a v c ) 标准的制定，并与2 0 0 3 年5 月 被纳为国际标准，它不仅能应用于低码率环境也能应用于高码率的环境。h 2 6 4 标准除了 具有以往标准的各项优点外，还提出了许多新技术，从而使得在相同解码质量条件下，编 码效率更好。表1 1 列出了h 2 6 4 跟先前的标准压缩率的比较【1 0 1 。有关文献就给出了高清 1 9 2 0 1 0 8 0 下b o o k 等视频序列在h 2 6 4 和m p e g 2 的性能差异：在整个测试序列和 p s n r ( p e a ks i g n a lt on o i s er a t i o ) 信噪比范围内，h 2 6 4 高级档次( h i g hp r o f i l e ，l i p ) 平均 比特率节省约为m p e g 2 的5 0 1 1 】。在主观评价中，h 2 6 4 高级档次也表现出了很好的性 能，8 m b p s 的h 2 6 4 视频质量优于2 4 m b p s 的m p e g 2 高清视频质量【1 2 j 。 表1 1h 2 6 4 与先前的标准相比平均的比特率节省 标准 m 噼e g _ 4a s ph 2 6 3h l pm 咿e g - 2 h 2 6 4 a v c3 8 6 2 4 8 8 0 6 4 4 6 m p e g _ 4a s p1 6 6 5 4 2 9 5 h 2 6 3h l p3 0 6 l 此外国内2 0 0 2 年也出台了具有自主知识产权的数字音视频编解码标准a v s ( a u d i o v i d e oc o d i n gs t a n d a r d ) 标准。目标是制定数字音视频的编解码、处理、表示等共性技术标 准，主要针对于h d t v 、h d d v d 、互联网宽带流媒体等重大信息产业。值得一提的是， 这个国内自主研发制定的a v s 标准经过多年的改进，能够达到在同等效率的情况下其实 4 浙江工业大学硕士学位论文 现的难度比m p e g 4 和h 2 6 4 低很多。现在的a v s 技术可实现高、低清晰度等不同格式 的数字信号编解码【1 3 1 。 1 3 视频质量衡量标准 重构图像质量的好坏是评价一个视频编码标准性能的重要指标之一。而重构图像质量 好与坏的界定是比较困难的，需要一些准则来判定。总体上，由主观质量判定和客观质量 判定二个准则。 1 3 1 主观质量判定 因为每个人的视觉系统存在差异，对视频序列的了解程度也不尽相同。为了减少主观 误差，在对视频图像质量进行主观判定以前，成立一个评分小组，由若干名专家和“非专 家”组成，根据5 项或7 项评分标准对同一个视频序列解码后的图像进行判定，然后再按 加权平均法对解码图像进行主观判定，见表1 2 。 表l - 2 主观质量评价标准 高清晰度采用七级评分等级评价c c i r 五级评分等级评分等级 非常令人讨厌损伤，无法观看劣劣 1 损伤令人讨厌，但尚可忍受很差很差2 有令人讨厌损伤稍差稍差稍差 3 有损伤，但不令人讨厌 好好4 不同程度的觉察，轻度损伤很好优5 刚能觉察有图像损伤相当好相当好 6 不能觉察任何图像损伤特别好 7 图l _ 4 测试系统d s c o s 如图1 4 的测试系统在国际上称之为d s c o s ，具体测试方式是：随机地让评委观察原 始的图像和编解码后的图像，图中a 为原始图像，b 为编解码后的图像，两者以随机的方 式出现来让评委进行打分判定。 浙江工业大学硕士学位论文 1 3 2 客观质量判定 主观质量判定确实是最接近人的视觉感受，但上述的测试方式需要耗费大量的人力和 时间，投入的成本将不低。相对于主观判定，客观质量的判定方式速度快且容易执行，但 往往跟人眼的视觉感受有所差异，只能体现大体上的质量。所以客观质量判定方式应该着 眼于改进测试标准和测试的方式，使其更接近于人眼的真实视觉。 客观质量判定的最常用测试准则是峰值信噪比( p 阶浓) ： p s n r = 1 0 l g ( 2 - 1 ) 2 m s e 这里m s e 为原始图像和压缩编解码后图像之间的均方误差，2 。- l 是视频信号的最大值，行 是每个像素的像素深度。 总体上，峰值信噪比越高，视频图像质量越好，反之亦然。可是有时候也存在例外的 情况，有时候主观评定的分数高的视频序列，p s n r 反而低。在有人脸的情况下，这样的 情况比较常见。 1 4 本文的主要研究内容 本文的重点是对h 2 6 4 中的运动估计算法进行研究。通过运动估计可以消除视频序列 时间和空间上的冗余度，大大提高了编码效率。同时对快速运动估计算法u m h e x a g o n s 算 法进行了深入研究并提出基于它的新算法。 全文分为五个章节，具体的结构安排为： 第一章，绪论介绍课题研究的背景和意义，多种视频编码标准以及论文的相关结构安 排。 第二章，先介绍了h 2 6 4 压缩编码标准的相关概念和h 2 6 4 编解码的框架，再详细讲 解了h 2 6 4 编码算法新技术，最后给出了h 2 6 4 的编码性能分析。 第三章，首先分析了基于频域和空域运动估计算法的分类，然后讲解了h 2 6 4 中的快 速运动估计算法新技术，最后介绍了目前已有的几种运动搜索算法以及它们的优缺点。 第四章，首先介绍了u m h e x a g o n s 算法的基本原理，然后提出了基于它的改进点分析， 最后在j m l 0 2 上实现，同时给出了新算法的实验结果。 第五章，总结和展望，对已完成工作的总结，并指出了今后工作的改进方向。 6 浙江工业大学硕士学位论文 第2 章h 2 6 4 a v c 视频编码技术 2 1h 2 6 4 a v c 标准简介 h 2 6 4 具有高效的编码效率和良好的网络亲和力，被广泛应用于各个领域。h 2 6 4 编码 标准的颁布，引起了视频编码和传输领域各界人士和组织的研究热潮。相对其他视频压缩 标准，h 2 6 4 还具有如下优异性能【1 4 】： 1 ) 在保持重建图像质量不受影响的条件下，h 2 6 4 标准比h 2 6 3 + 标准和m p e g 4 ( s p ) 标准节省了约5 0 左右的码率。 2 ) 能够很好地适应信道时延的问题。不仅能够工作在低时延的情况下来完成像视频 会议这样的实时业务外，还能够工作在没有时延限制的应用场合，像视频存储。 3 ) 采用对网络友好的结构和语法来提高网络的亲和性，抗误码和抗丢包能力加强， 从而进一步加强了解码器端的差错恢复能力。 4 ) 采用分层设计理念，将整个处理进行不同层次的区分，以满足具有不同复杂度的 实际应用环境。 相对于先前的各类视频压缩标准，h 2 6 4 引进了很多新的技术，包括4 * 4 整数变换、 1 4 像素精度的运动补偿技术、空间域的帧内预测、多参考帧与多块尺寸的帧问预测技术 等。新的技术保证了良好的视频压缩比，却同时加大了计算的复杂度。h 2 6 4 也采用 m c - d c t 结构，即运动补偿加变换编码的混合结构。h 2 6 4 编码模块主要分为帧内预测、 帧间预测( 运动估计与补偿) 、近似d c t 的整数变换、量化和熵编码等【1 5 1 。 h 2 6 4 实现了视频的更好视频压缩比，更好的重建图像质量和良好的网络亲和性，它 的低丢包率、低误码率和网络适应性使它非常适用在i p 网络和无线网络等具有不同特性的 网络中应用。因此h 2 6 4 的应用领域相当的广泛，如可视电话、实时视频会议、视频监控、 因特网传输及多媒体存储等。同时，h 2 6 4 并没有明确规定一个编解码器的具体实现方法， 只是规定了一个经过编码的视频比特流的句法和该比特流解码的方法，各个厂商的编解码 器在此框架下应该能够互相兼容，在实现的方案上具有灵活性，而且有利于相互竞争。在 目前，h 2 6 4 应用的领域有以下几个方面： ( 1 ) 流媒体方面。通过i s d n 、l a n 、c a b l em o d e m 、d s l 和无线网络的视频点播( v o d ) 和流媒体业务，具有长延时、低带宽等特点。 7 浙江工业大学硕士学位论文 ( 2 ) 对话型方面。通过i s d n 、l a n 、e t h e m e t 、d s l 、无线和移动网络，以及基于上 述混合网络的对话性业务，如通过h 3 2 3 、h 3 2 0 、3 g p p 等的电路交换和包交换应用，具 有短时延、低带宽( 小于1 m b i t s ) 等特点。 ( 3 ) 娱乐视频方面。包括通过卫星、有线、c a b l em o d e m 、d s l 等媒介的数字广播和 基于光、磁设备的数字节目存储等，具有长延时、高带宽( 1 8 m b i t s ) 等特点。 ( 4 ) 其他方面。通过i s d n 、l a n 、d s l 、无线和移动等各种网络的多媒体信息服务 ( m u l t i m e d i am e s s a g es e r v i c e s ，m m s ) 等。 2 2 h 2 6 4 a v c 编解码框架 h 2 6 4 的编码器和解码器的功能框图如图2 - 1 和图2 2 所示。从图中可见，和其他标准 一样，h 2 6 4 也是采用混合编码框架，它的高压缩率性能主要是由于在各个模块里细节上 改进的缘故。 自然界中的物体是处在运动的，导致了视频的内容随着时间也在变化，有些图像的空 间细节丰富，有些图像却大面积都是很平坦的，因为这种多变的特性就要求采用相应的自 适应