（计算机应用技术专业论文）h264视频编码快速算法的研究及其应用.pdf

摘要 摘要 h 2 6 4 是新一代运动图像压缩标准。h 2 6 4 视频标准( 又称为1 4 4 9 6 1 0 或 m p e g 4p a r t l 0 ) 的制定是由i s o i e c 下属的运动图像争家组m p e g ( m o v i n g p i c t u r ee x p e l sg r o u p ) 和i t u 下属的视频编码专家组v c e g ( v i d e oc o d i n ge x p e r t g r o u p ) 共l 司成立的联合视频小组j v t ( j o i n tv i d e ot e a m ) 在2 0 0 3 年发自i 的，已 经做为一种新型的视频标准被广泛接受。h 2 6 4 视频标准的优越性是以其复杂度 的成倍增加为代价换取的，因此一般的处理器平台已经刁i 能满足h 2 6 4 高计算复 杂度的需求。超长指令字( v e r yl o n gi n s t r u c t i o nw o r d ，v l i w ) 结构是近年来微 处理器设计结构的热点之一，大部分的d s p 厂商都生产基于v u w 的d s p 芯片， 而该芯片在视频处理领域有着出色的表现。本文主要研究h 2 6 4 的快速视频算 法，以降低计算复杂度，同时研究基于特定d s p 芯片结构的移植和优化内容， 以达到嵌入式系统下的实时编解码。 为了降低h 2 6 4 的编码复杂度，并使h 2 6 4 更加广泛的应用于d s p 领域。 本文在分析h 2 6 4 各个模块的运算复杂度和对编码性能贡献的基础上，对编码模 块巾比较耗时的运动估计和模式选择这两部分进行了深入研究：针对运动估计提 出了一种更为有效的快速算法，即自适应十字型、棱形、六边形快速运动估计算 法( a d a p t i v ec r o s s d i a m o n d 。h e x a g o n a ls e a r c ha l g o r i t h m ，a c d t l s ) ；针对模式选 择提出了基于纹理的模式选择快速算法。 为了实现不同码流的无缝切换，h 2 6 4 增加了s p 帧( s w i t c h i n gp r e d i c t i v e f r a m e ) 和s i 帧( s w i t c h i n gi n t r a f r a m e ) 代替i 帧( i n t r a f r a m e ) 实现码流的简 单切换。s p 帧的主要特色是：不同参考帧可以解码出相同的重构帧。因此利用 s p 帧技术生成的码流，能够在不同码率的码流问进行无缝切换，从而月艮务器能 够根掘用户的连接速度提供最好质量的服务。本文首先分析h 2 6 4 提议的s p 帧 编解码方案，然后针对编码方案中不合理的地方进行改进，改进的s p 帧编解码 方案，实现了不同码流之间的无漂移切换。 同时，本文通过研究h 2 6 4 标准参考模型j m l 2 0 ( j o i n tm o d e l1 2 0 ) 和德州 仪器( t e x a si n s t r u m e n t s ，t i ) 公司的t m s 3 2 0 d m 6 4 2 处理器的结构特点，对h 2 6 4 算法进行移植和优化。在算法的移植过程中，根据p c 机和d s p ( d i g i t a ls i g n a l p r o c e s s o r ) 编译器的不同特点和d s p 资源的有限性，采用存储空间分配、改变 存取方式和改变变量定义、声明等方法，对h 2 6 4 标准代码在d s p 上做了初步 的移植。算法优化是实现嵌入式下实时编解码的重点。本文借鉴一些嵌入式系统 常用编程和优化技巧，采用了调整程序结构、算法实现方式、数据打包技术、调 北京t 业火学t 学颁士学位沦文 整存储空间分配、内联汇编嵌入和循环内部流水线操作等一系列优化方法对 j m l 2 0 整体结构和其中的瓶颈函数做了优化，并取得了较好的实验结果。 论文针对h 2 6 4 视频标准提出的快速算法和基于d s p 芯片进行的视频算法 移植、优化等二 作对运动图像编码和基于d s p 处理器的实际应用有很高的参考 价值，同时对h 2 6 4 视频标准本身的发展和应用也具有重要意义。 关键词h 2 6 4 ；运动估计；模式选择；s p s i ：d s p a b s t r a c t h 2 6 4i san e wm o t i o np i c t u r ec o m p r e s s i o ns t a n d a r d t h eh 2 6 4v i d e os t a n d a r d f a l s on a r e e d1 4 4 9 6 10o rm p e g 一4p a r t l0 ) w a sr e l e a s e di n2 0 0 3b yj v t ( j o i n tv i d e o t e a m l ，w h i c hw a sf o u n d e db ym p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) o fi s o i e c a n dv c e g ( v i d e oc o d i n ge x p e r tg r o u p ) o fi t u i th a sb e e na c c e p t e de x t e n s i v e l y a s an e wv i d e os t a n d a r d t h es u p e r i o r i t yo fh 2 6 4 v i d e os t a n d a r di si nc o s to ft h e c o m p l e x i t yd o u b l e d s o ，g e n e r a lp r o c e s s i n gp l a t f o r m n ol o n g e rs a t i s f yt h eh i g h c o m p u t i n gc o m p l e x i t yo fh 2 6 4 v e r yl o n gi n s t r u c t i o nw o r d ( v l i w ) s t r u c t u r ei sa h o t s p o to fm i c r o p r o c e s s o rd e s i g n i n gs t r u c t u r er e c e n t l y ，t h em a j o rm a n u t h c t u r e r so t d s ph a v ep r o d u c e dt h ed s pc h i p sb a s e do nv l i 彤a n dt h e s ec h i p s b e h a v e o u t s t a n d i n g l yi nt h ev i d e op r o c e s s i n gf i e l d t h i sp a p e ri sm a i n l yr e s e a r c h i n go nt h e f a s ta l g o r i t h mo fh 2 6 4t od e c r e a s ei t sc o m p u t i n gc o m p l e x i t y , a n d c o n s i d e rt h e t r a n s p l a n ta n do p t i m i z a t i o na c c o r d i n g t ot h eh a r d w a r es t r u c t u r ec h a r a c t e r i s t i c so fd s p c h i p s s oa st oa c h i e v et h er e a l t i m ee n c o d i n gu n d e r e m b e d d e ds y s t e m s i no r d e rt od e c r e a s et h ec o d i n gc o m p l e x i t yo fh 2 6 4 ，a n da p p l yi nd s p f i e l d e x t e n s i v e l y , i nt h el i g h to ft h et w ot i m e - c o n s u m i n gp a g s ，w h i c h a r em o t i o ne s t i m a t i o n a n dn l o d es e l e c t i o n ，t h i sp a p e rp r o p o s e se f f e c t i v ef a s ta l g o r i t h mr e s p e c t i v e l y ，w h i c h a r ea c d h sf a d a p t i v ec r o s s d i a m o n d h e x a g o n a ls e a r c ha l g o r i t h m ) f o r m o t i o n e s t i m a t i o na n df a s tm o d es e l e c t i o na l r o t i t h mb a s e do nt e x t u r ef o rm o d es e l e c t i o n ，a f t e r t h ea n a l y z i n go fe v e r yp a r t sc o m p u t i n gc o m p l e x i t ya n dt h ec o n t r i b u t i o nt oc o d i n g p e r f o r m a n c e o fh 2 6 4 t or e a l i z et h es e a m l e s ss w i t c h i n gb e t w e e n d i f f e r e n tq u a l i t yb i t s t r e a m s ， s p f l a m e s ( s w i t c h i n gp r e d i c t i v ef l a m e ) a n ds i f l a m e s a r ea d d e dt or e a l i z es i m p l e s w i t c h i n gb e t w e e nb i t s t r e a m s i nh 2 6 4 t h ep r i m a r yf e a t u r eo ft h es p _ f l a m e t e c h n i q u e i st h a ts p f r a m ea l l o w si d e n t i c a lf l a m e st ob er e c o n s t r u c t e de v e nw h e nt h e y a r ed r e d i c t e du s i n gd i f f e r e n tr e f e r e n c ef l a m e s i nc o n s e q u e n c e ，a d o p t i n gs p f l a m e t e c h n i q u et op r o d u c em e d i as t r e a m s ，t h e s e r v e rd y n a m i c a l l ys w i t c h e ss e a m l e s s l y b e t w e e nt h es t r e a m st oa c c o m m o d a t et h ev a r i a t i o n so ft h eb a n d w i d t ha v a i l a b l et ot h e c l i e n t t h i sp a p e ra n a l y z e se n c o d e rp r o g r a mo fs pf l a m ei nh 2 6 4 ，a n dt h e ni m p r o v e s u n r e a s o n a b l ea s p e c t so fe n c o d e rs c h e m e ，f i n a l l yr e a l i z e sd r i f t f l e es w i t c h i n gb e t w e e n d i f f e r e n tq u a l i t yb i t s t r e a m s s i m u l t a n e o u s l y ，t h r o u g hs t u d y i n gj m l2o fh 2 6 4s t a n d a r dr e f e r e n c em o d e la n d ：i 匕京t 业人学t 学硕i j 学位论文 t h es t r u c t u r ec h a r a c t e r i s t i c so ft it m s 3 2 0 d m 6 4 2c h i p s ，t h i sp a p e ra c h i e v e st h e t r a n s p l a n ta n do p t i m i z a t i o no fh 2 6 4 d u r i n gt h et r a n s p l a n t ，t h em e m o r ya s s i g n m e n t ， a c c c s sm o d ea n dv a r i a b l ed e f i n i t i o n ，d e c l a r a t i o ne t c m u s tb em o d i f i e di nt h el i g h to f t h ed i f f e r e n c eb e t w e e nt h ec o m p i l e ro fp ca n dd s pa n dt h es c a r c i t yo fd spr e s o u r c e a l g o r i t h mo p t i m i z a t i o ni st h ek e yp o i n tt oa i ma t1 e a l t i m ec o d e c si ne m b e d d e d t o a c c e l e r a t et h es p e e do fc e d e c s ，s o m em e a s u r e so fe m b e d d e ds y s t e mp r o g r a m m i n ga n d o p t i m i z a t i o na r eu s e di n t h i sp a p e r as e r i e so fo p t i m i z a t i o ns k i l l ss u c ha st h e a d ju s t m e n to ft h es t r u c t u r eo fc o d e s ，t h e m o d if i c a t i o no f m e m o r ya s s i g n m e n t ， d a t a p a c k i n g ，i n l i n ea s s e m b l y a n da p p l i c a t i o no fp i p e l i n ea r ea d o p t e di nt h e o p t i m i z a t i o np r o c e d u r e s t h ep a p e rm a i n l ys t u d i e st h ea s p e c t so ff a s ta l g o r i t h mo fh 2 6 4v i d e os t a n d a r d a n dv i d e oa l g o r i t h mm i g r a t i o na n do p t i m i z a t i o nw h i c hi sb a s e do nd s p , a n ds oo n s o t h ep a p e ri sh i g h l yw o r t hr e f e r e n c i n gt om o t i o ni m a g ee n c o d i n ga n da p p l i c a t i o no f r e a l i t yb a s eo nd s p , a l s ow h i c hi sv e r yi m p o r t a n tt ot h ed e v e l o p m e n ta n da p p l i c a t i o n o fh 2 6 4v i d e os t a n d a r d k e y w o r d sh 2 6 4 ；m o t i o ne s t i m a t i o n ；m o d es e l e c t i o n ；s p s i ；d s p 1 v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文巾特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 迅遇黾! 1 3 l 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 躲勤面嬲新躲在型幽吼 互! ! 蔓：厶3 笫l 章绪论 1 1 课题研究的背景 第1 章绪论 2 0 世纪，电话网络的发展满足了人们语音信息交流的需要，已经成为人类 社会不可或缺的一种基本通讯设施，是人们信息交流的主要途径。但是，电话网 络所能提供的服务已经不能满足人们更深层次的需要。随着人类生存空间的逐渐 扩大，聚居的 | | 5 c 念也被淡化，人们十1 1 互之间的关系并没有随着空间距离的增加而 变得疏远，反而更加紧密。当传统意义上的面对面的交流变得难以实施的时候， 人们要求通信工具不仅仪能传递语音信息，而且能传递更多媒体信息，而这对于 传统的电话网络是难以实现的。 人们对视觉信息的需求，多年来一直是社会科技进步的主要推动力之一：电 视录像节目的制作、数码技术已显示了其推动消费电子行业变革的强大动力；电 视信号的转播质量和范围大大促进了卫星通信、微波通信、有线传输技术的发展； 多媒体通信技术成为推动信息压缩技术和宽带传输技术的重要凶素。自上个世纪 9 0 年代以来，多媒体通信业务的发展十分迅速，传统的话音业务比例逐渐下降， 多媒体业务的比例迅速上升。远程教育、远程医疗、视频点播、电视会议、移动 可视电话、家庭办公等各种多媒体服务逐渐成为人们关注的热点，也是一个国家 经济持续发展的新增长点，被认为是衡量国家发展水平的重要标志之一。 视频信息是多媒体信息中一个重要部分，随着图像视频压缩技术的不断发 展与成熟，视频通信技术近年来也得到了迅速发展，如数字视频广播、流媒体、 移动可视电话等技术日趋成熟。数字视频通信正在逐步替代传统的模拟技术，能 够提供多种模拟技术所不能提供的服务内容。随着网络技术的发展、网络环境的 改善，以及最终用户接入网络的带宽较以前有了巨大的改善，宽带网络技术正逐 渐成为主流技术；另方面，随着3 g 技术的成熟和无线通讯技术的发展，交 互的个人视频通讯和高质量的视频广播给当前的视频压缩技术带来了新的挑战。 无论是有线网络还是无线网络，都迫切需要一种新型的压缩算法，它不仅有高的 压缩比，而且可以根据不同的网络条件提供不同质量的视频服务。可以应用在较 低带宽的信道，也可以应用在高带宽的信道，同时还应该有一定的网络自适应功 能。 随着应用需求的发展和提高，视频标准也在慢慢的走向成熟。上个世纪8 0 年代以来，i s o i e c 制定的m p e g x 和i t u t 制定的h 2 6 x 两大系列视频编码国 际标准相继推出，开创了视频通信和存储应用的新纪元。从h 2 6 1 ( 1 9 9 0 年) 到 h 2 6 3 ( 1 9 9 6 年) 、h 2 6 3 + ( 1 9 9 8 年) 、h 。2 6 3 + + ( 2 0 0 0 年) 以及从m p e g 。1 ( 1 9 9 3 北京t q p 人学工学硕一i ，j 学位论义 年) 到m p e g 2 ( 1 9 9 4 年) 、m p e g 4 ( 1 9 9 8 ) 等都有一个共同的不断追求的目 标，即在尽可能低的码率( 或存储容量) 下获得尽可能好的图像质量。 h 2 6 x 系列标准是专门用于低比特率视频通信的视频编码标准，具有较高的 压缩比，它们采用的基本技术包括：d c t 变换、运动补偿、量化、熵编码等。 h 2 6 3 + 和h 2 6 3 + + 中考虑了较为恶劣的无线环境，设计了多种增强码流鲁棒性的 方法，定义了分级编码的语法规则。 m p e g 1 和m p e g 2 使用的基本技术和h 2 6 x 相同。m p e g 1 和m p e g 2 针 对的应用主要是数字存储媒体，码率高，清晰度高。人们熟知的v c d 、d v d 是 m p e g 一1 、m p e g 2 的典型应用。随后，m p e g 组织注意到低比特率应用潜在的 巨大- 亓sj d ，丌始和i t u 进行竞争。在m p e g 4 的制定过程中，不仅考虑了高比 特率应用，还特刖包含了适用于无线传输的低比特率应用。m p e g 4 标准的最大 特点是基于视频对象的编码技术。 随着市场对图像传输需求的增加，如何适应不同信道传输特性的问题也日益 显现出来。这促使i s o i e c 和i t u t 两大国际标准化组织联手制定新的视频标准 来解决面对的问题。2 0 0 3 年5 月，国际电信联盟( i t u ) 和m p e g 标准组织i s o 共同发布了h 2 6 4 m p e g 一4a v c ( 以下简称h 2 6 4 ) 视频压缩标准。新标准公 布后被j i k 界普遍看好，业内人士誉之为“下一代视频压缩编码标准”。它最主要 的特点仃两个：在同等图像质量条件下，视频压缩比是h 2 6 3 和m p e g 4 的2 倍1 2 刮；对于各种网络环境，特别是i p 和无线网络具有良好的适应性，同时h 2 6 4 具有广阔的应用f j 仃景，是迄今为止最新和最有效的编码标准之一。h 2 6 4 具有广 阔的应刚前景，例如实时视频通讯、因特网视频传输、视频流媒体服务、异构网 上的多点通信、压缩视频存储、视频数据库等。 1 2 课题研究的理论及其现实意义 h 2 6 4 是目前新一代的国际通用视频压缩标准，它的应用比较广泛。由于 h 2 6 4 采用了许多新的压缩技术，使其在压缩效果和对网络的适应性方面都有了 很大程度的提高。但是它的复杂度大概是m p e g 一4 的2 1 4 倍【2 训。所以本论文将 研究h 2 6 4 视频编解码过程中的运动估计、运动补偿、离散余弦变换、量化、熵 编码以及流媒体f 日j 切换等算法的快速算法，降低算法的复杂度，提高编解码速度， 以满足网络视频传输对实时性的要求。对于不同厂家和不用型号的d s p 芯片， 有不同的架构和指令集，所以移植和优化的方式也有不同。本论文将在基于 v l i w 架构的d s p 芯片上实现快速算法的移植和优化。 由于流媒体的普及和推广，使得视频算法研究速度加快。在各个行业中的应 用也越来越普遍，但是不论是硬件还是软件都存在着很大的差异，使得视频传输 筇1 章绪论 并不能达到理想的标准。所以本论文的研究在理论上有利于加快国内外视频压缩 标准的研究，降低视频编码的复杂性，提高编解码速度。在应用方面，可以加快 h 2 6 4 的产业化步伐，以适应社会对视频压缩性能的需求，同时可以带动其它产 业的发展。同h , t x q 国内视频标准a v s 的发展和完善，也有很大的促进作用，并 对国内视频标准a v s 下一步的产业化发展打下坚实的基础。 1 3 本文结构 本文主要从理论和实践两个方面对h 2 6 4 视频标准进行了快速算法的研究 和基于d s p 芯片的移植和优化，降低了复杂度，提高了编解码速度。 本文正义部分总共分八章，主要结构和内容如下： 第l 章是绪论，提踏问题。介绍了课题研究的背景及其理论和现实意义。 第2 章介绍了视频的基本概念和h 2 6 4 视频标准的相关技术，对视频的编解 码过程做了一个总体介绍，接着介绍了h 2 6 4 的国内外研究现状和背景，最后简 单的介绍了v l i w 的结构特性。 第3 章到第6 章主要是h 2 6 4 视频标准中快速算法的研究和s p 帧、s i 帧理 论方面的研究。 第3 章介绍了运动估计中最常用的块匹配方法，并对典型的基于块匹配的快 速运动估计算法进行了总结。在分析现有算法的基础上，提出了一种新的快速运 动估计搜索算法，即自适应十字交叉、棱形、六边形快速块运动估计搜索算法。 第4 章介绍了h 2 6 4 视频标准中的帧内预测编码技术和帧内模式选择技术， 然后分析了图像纹理原理，在基于图像纹理的基础上提出了帧内模式选择的快速 算法。实验结果表明，该算法可以节省3 0 一6 0 帧内模式选择的时间。 第5 章介绍了h 2 6 4 视频标准中采用的模式选择算法，并进行研究，然后提 出了基于纹理的帧间模式选择的快速算法。实验结果表明，该算法可以节省 5 0 一7 0 帧问模式选择的时间。 第6 章介绍了s p 帧s i 帧的应用和h 2 6 4 视频标准中s p 帧的编解码方案。 通过分析现有s p 帧的编解码方案，提出了自己的改进方案，解决了目前算法中 存在的一些问题，实现了不同质量码流的无漂移切换。 第7 章是应用方面的研究。对h 2 6 4 视频算法进行了基于v l i w 架构的d s p 芯片上的移植和优化工作。经过在c c s 平台上的优化，优化后的编解码速度大 大提高。 最后是对整个论文主要研究成果的总结，指出了本文的研究内容和取得的创 造性成果；i n t o 新点理论，并对其应用前景和社会、经济价值进行了预测和评价， 并指出今后进步在本研究方向进行研究工作的展望。 第2 章国内外关于h 2 6 4 的研究现状和分析 2 1 国内外视频标准发展史 2 1 1 国内视频标准a v s a v s 标准是信息技术先进音视频编码系列标准的简称，a v s 标准包括 系统、视频、音频、数字版权管理等四个主要技术标准和一致性测试支撑标准1 5 j 。 a v s 工作组成立于2 0 0 2 年6 月，当年8 月开始了第一次的工作会议。经过7 次 a v s 正式工作会议和3 次视频组附加会议，历经一年半的时j 日j ，审议了18 2 个提 案，先后采纳了4 l 项提案，终于在2 0 0 3 年1 2 月1 9 日a v s 视频部分定稿。 2 0 0 5 年4 月3 0 同，a v s 标准视频部分通过公示，在标准道路上迈出决定性 一步。2 0 0 6 年2 月2 2 曰，国家标准化管理委员会颁布通知：信息技术先进音 视频编码第二部分视频于2 0 0 6 年3 月1 日起开始实施。a v s 视频部分正式成 为国家标准，成为震动业内外的一件大事，国家和各部委领导纷纷发来贺信和题 词，对a v s 的工作给予了高度评价，并鼓励工作组再接再厉，再创辉煌。接下 来，标准其他部分将继续开展工作，陆续进入标准报批和审核程序。 2 1 2 国外视频标准 视频压缩编码的国际标准有m p e g 系列标准和h 2 6 x 系列标准。m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) 是在l9 8 8 年由国际标准化组织i s o ( i n t e r n a t i o n a l o r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 和国际电工委员会i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ) 联合成立的专家组，负责开发电视图像数据和声音数据的 编码、解码和它们的同步等标准。目前，m p e g 系列标准主要包括：m p e g 1 、 m p e g 2 、m p e g 4 、m p e g 7 等。它主要应用于视频存储( d v d ) 、广播电视、 因特网或无线网上的流媒体等。h 2 6 x 系列标准是由i t u t 的视频编码专家组 v c e g ( v i d e oc o d i n ge x p e l sg r o u p ) 制定的视频压缩标准，主要包括h 2 6 l 、 h 2 6 3 以及h 2 6 4 等。它主要应用于实时视频通信领域。目前，m p e g 系列标准 和h 2 6 x 系列标准的后续标准制定工作仍在进行当中。 除了以上系列的国际标准，微软也提出了它自己的视频编码标准w m v 9 。 w m v 9 是一种高性能的视频编码标准，和m p e g 系列以及h 2 6 x 系列标准不同 的是，它不是一种国际标准，而是微软所独有的。尽管w m v 9 不是通用的国际 标准，但是由于微软在其操作系统中大力支持w m v 系列版本，从而在桌面系统 北京t 业人学t 学硕- t ：学化论文 得以迅速普及。在性能上，w m v 9 和h 2 6 x 系列的h 2 6 4 的数据压缩率一样， 且两者的应用领域也非常相似。因此，两者之问存在着激烈的竞争。但是由于 w m v 9 只是属于一家垄断性的企业，所以普遍认为采用w m v 9 的商业风险较大， 且人们担心一旦w m v 9 站稳脚跟，微软将大幅提高专利授权费，因此，w m v 9 前面的道路并不平坦。 h 2 6 4 视频标准是由i s o i e c 与i t u t 组成的联合视频组j v t 制定的新一 代视频压缩编码标准l lj 。它综合了h 2 6 x 标准与m p e g x 标准的优势而有望成为 主流视频编码标准，在未来无线视频通信领域必将得到更广泛的应用。h 2 6 4 标 准将被做为m p e g 4 视频编码标准的一部分被m p e g 委员会所采纳，国际标准 化组织和国际电工委员会将其命名为1 4 4 9 6 10 m p e g 4a v c ( 高级视频编码) ， 国际电信联盟则将该标准命名为h 2 6 4 。目前的m p e g 4 标准被称为i s o i e c 1 4 4 9 6 2 。 h 2 6 4 视频标准是一种高效的视频压缩标准，它集中了以往标准的优点，并 吸取了标准制定中积累的经验，因此通过采用这利，新的视频编码标准，输出编码 视频流的比特率将得到极大的降低。在相同的图像质量下，该标准与m p e g 一2 标准相比输出的编码视频流可以节约6 4 的比特率。与h 2 6 3 + 矛1 1m p e g 4 简单 档次相比，h 2 6 4 采用与上述编码方法相类似的最佳编码器时最多可节省5 0 的 码率。同时h 2 6 4 标准在编码性能方面与m p e g 4 标准相比可以提高约3 3 。 这种输出编码数据的节省可加快互联网和无线视频点播服务的发展和实用化进 程。 2 2 视频应用范围及其现状 自从上世纪8 0 年代以来，视频通信业务快速发展，主要表现为以下几方面： ( 1 ) 远程视频监控 随着人们对安全的需求日益强烈，视频监控系统作为一种安全防范的有效手 段，越来越受到各界的广泛关注。视频监控业务将是未来i p 网上的主要业务之 一，除传统的视频监控业务外，它还是一个综合的音视频多媒体业务平台，将给 用户带来全新的体验，为运营商创造新的收入增长空间，为新技术的发展提供平 台。 ( 2 ) 视频会议 利用视频数字压缩技术和传输技术，可以使不同地点的人犹如在一个会议室 召开会议，节省了大量时间、费用，特别在争取时间、集思广益做决策时更显示 其重要性。 ( 3 ) 视频电话 第2 章同内外关于i t 2 6 4 的研究现状和分析 视频电话原来也叫可视电话，除了面对面的通话功能外，现正发展成具有各 种信息交互和任意切换功能的个人信息终端，可以进行视频通话，还可召开多人 发言的会议，支持多路视频图像，具有电子文档共享，浏览网页等功能。 ( 4 ) 远程学习和培训 由于技术、管理体制等不断发展、更新，在职人员的培训、学习极其重要。 目前，我国有的企业己经开始利用视频通信网络对职工进行远程培训教育。国外 非常重视这种远程培训，我国目前还属于起步阶段，需要进一步的研究和推广。 ( 5 ) 远程医疗 可利用视频设备和网络进行远程医疗，这对于我国农村广大地区，尤其是医 疗水平相对较低、农民经济水平不高的地区十分适宜，应该大力推广。 ( 6 ) 数字地面电视广播、有线电视、直播卫星视频业务 数字电视的发展已迫在眉睫，怎样通过网络和视频点播方式让老百姓看到高 质量、低价格、内容丰富健康的数字影片已是一个急待解决的问题。 2 3 国内外对h 2 6 4 的研究现状 2 3 1h 2 6 4 视频标准的基本架构 h 2 6 4 编码规范的基本编码技术是基于帧的，而不是基于对象的编码。此标 准采用的编码手段本质上没有脱离常规的编码框架( 如图2 1 所示) 。但是h 2 6 4 视频标准充分发挥了现有编码技术的优点，h 2 6 4 采用的是d p c m 加变换编码的 混合编码模式，并采用“回归基本”的简洁设计，从而使其编码质量非常高。不 用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能，加强了对各种信道的适应能 力，采用基于“网络友好”的结构和语法，有利于为进一步解决误码及丢包处理 提供良好的机制。实际应用范围较宽，可以满足不同速率、不同解析度以及不同 传输或不同存储场合的需求【6 j 。 h 2 6 4 的编解码过程和以前的标准( m p e g i 、m p e g 2 、m p e g 4 、h 2 6 1 、 h 2 6 3 ) 的编解码过程有很小的区别，重要的改变体现在每一个功能模块的实现 细节上。h 2 6 4 的视频编码器的结构框图如图2 1 所示，主要由编码器前向支路 ( f o r w a r dp a t h ) 和编码器重构支路( r e c o n s t r u c t i o np a t h ) 组成。h 2 6 4 的视频 解码器结构框图如图2 2 所示，解码器的数据流支路从右向左，非常类似于编码 过程的重构支路【6 】。 从图2 1 和图2 2 可知，h 2 6 4 视频编解码器主要包括帧内预测、帧间预测、 运动估计和运动补偿、离散余弦变换( d c t ) 和量化、反离散余弦变换( i d c t ) 及反量化、扫描、熵编码和环路滤波等主要模块。应当指出的是，h 2 6 4 比以前 北京工业人学t 学硕1 ：学位论文 的视频编码标准在性能上有很大的提高不是单靠某一项技术实现的，而是上边所 有模块的各种不同的技术共同作用产生的结果。 图2 1 视频编码流程图【6 1 f i g 2 1v i d e oe n c o d e rf l o wc h a r t 1 6 1 图2 - 2 视频解码流程图1 6 j f i g 2 - 2v i d e od e c o d e rf l o wc h a r t 1 6 1 此外，与之前的典型视频编码标准m p e g 2 、h 2 6 3 、m p e g 4 相比，h 2 6 4 为了达到较高的编码效率，h 2 6 4 采用了很多新技术1 】【7 】： 可变块大小的运动估计； 1 4 像素精度的运动估计； 多参考帧运动估计； 增强的b 帧预测； 环路滤波： 。 4 4 块大小整数变换； 基于上下文自适应的熵编码； 高效的算术编码； 灵活的宏块顺序( f l e x i b l em a c r o b l o c ko r d e r ，f m o ) ； s p s i 交换帧。 第2 章l 习内外关于t l2 6 4 的研究现状和分析 与以往视频编码标准不同的是，h 2 6 4 考虑了网络友好性( n e t w o r kf r i e n d l y ) 特征，将核心的面向视频信号的编码部分与面向网络的打包部分分离，形成视频 编码层( v c l ) 和网络适配层( n a l ) ，从而方便使用不同的传输网络和协议迸 行传输，如h 3 2 3 协议族，或者进行数字存储，如m p e g 2 程序流【7 1 。这大大 增加了对网络的亲和性和适应性。 2 3 2 研究现状 在图2 1 所示编码过程中的每一个步骤，都经过了相当多的研究。这些研究 分为两大类：第一类是应用研究，就足将图像压缩应用于不同的领域，如文献 8 】 9 】。第二类是理论研究，主要是提高视频的压缩性能，目的就是为了提高图 像质量，降低码流和降低复杂度，然而这三者是具有一定的矛盾性，同一个压缩 算法通常码流越低图像质量越差，而使得码流低、图像质量好的算法通常复杂度 比较高。h 2 6 4 就是综合考虑码流、图像质量以及算法复杂度的一个产物。本研 究课题主要是理论研究，所以下边简单介绍一下h 2 6 4 视频编码器在理论方面的 研究现状。 目前，国内外对h 2 6 4 实时编码器的研究主要是在下面三方面工作f l o j ： ( 1 ) 算法级的优化 算法级的优化做得最多，主要是对h 。2 6 4 编码器中最为耗时的模块进行优 化，最主要的是对运动估计算法进行优化。相关研究表明，如果采用1 个参考帧， 运动估计的计算时间大约占整个编码时间的6 0 ；如果采用5 个参考帧，运动估 计的计算时间则占到了整个编码时间的8 0 。因此，提高运动估计的速度，也就 能在很大程度上提高整体的编码速度。在h 2 6 4 中，运动估计通常有两种整像素 运动估计和子像素运动估计。首先当然是进行整像素运动估计，然后在整像素运 动估计过程中确定的最佳点附近运用子像素运动估计以便更好地表征视频流中 物体的运动和进一步压缩视频数据。h 2 6 4 标准接受了1 4 像素精度( 针对于图 像亮度信息) 的亚像素运动估计技术。 整像素运动估计是运动估计时间消耗的主要部分，因此国内外学者对运动估 计算法进行了很多研究工作。到目前为止比较好的整象素搜索算法有：三步搜索 法( t s s ) 【l l 】，新三步搜索法( n t s s ) 【1 2 】，四步搜索法( 4 s s ) 1 3 】，基于块的梯 度下降搜索法( b b g d s ) f 1 4 】，菱形搜索法( d s ) f 1 5 】，六边形搜索法及其改进算 法( h e r b s ) 1 6 】，非对称十字型多层次六边形格点搜索法( u m h e x a g o n s ) 1 7 - 2 0 】， 自适应十字模式搜索法及其改进算法( a r p s ) 等。随着整像素运动预测的快速 搜索算法的发展，整像素的搜索点数大幅度减少，平均只需要1 0 个搜索点；导 致1 1 4 像素运动预测的计算量占整个运动预测计算量的比重越来越大。如，经测 北京t h k 火学工学硕f j 学位论文 算得出整像素全搜索算法每次搜索像素点数一般为2 0 0 个，而1 4 像素全搜索算 法的搜索点数为1 6 个，1 4 像素运动预测的计算量仅占整个运动预测计算量的 7 3 ，如果整像素运动预测采用快速搜索算法而使每次搜索像素点数降为1 0 个， 那么1 4 像素运动预测的计算量在整个运动预测计算量的比重就由7 3 上升到 6 1 5 。因此，如何减少1 4 像素运动预测的计算量也成为了一个重要问题。目 前主要的亚像素搜索算法有：基于分像素搜索的抛物线预测算法( p p f p s ) ，基 于m s e 的小数像素运动估计快速算法，基于运动补偿误差的数学模型的快速算 法等。 虽然现有f i j 快速运动估汁算法很多，但是针对于实时编码器而做的研究还很 少。另外，大多数研究没仃考虑与实际的特定应用相结合。凶为针对于不一的应 用，快速运动估计算法需要考虑的凶素可能不相同。要改进快速运动估计算法的 性能，应该需要把运动估计和模式选择以及多参考帧选取模块更好地融合起来j 能达到更好的编码效率，根据实际的应用特征也需要对运动估计过程中的某些判 断准则做重新设定，而同内外学者对于这方面的研究也不太多。 离散余弦变换( d c t ) 和量化已经结合实际进行了矢量量化，同时离散余弦 变换已经产生厂很多快速算法。国内外学者对这方面研究也产生了科研成果，如 文献 2 1 - 2 3 】。 ( 2 ) 指令级的优化 在算法级优化的基础上，如果要进一步提高运算速度，优化。指令级的优化 也是对耗时模块进行优化，如用s i m d 插值、s a d 、d c t i d c t 等算法，就需要 进行指令级的指令集改写i 4 像素【2 4 。2 5 】。 ( 3 ) 系统级的优化 系统级的优化是在三个优化类型中最为重要的，也是应该首先考虑的优化方 案。这种优化方案主要考虑的是通过增强运算能力以及合理分配运算量来提高速 度，如进行并行计算等。目前