（信号与信息处理专业论文）h264解码器在dsp和智能手机平台上的优化实现.pdf

摘要 h 2 6 4 是国际电信联盟与国际标准化组织联合推出的新一代视频编码标准。 该标准采用了先进的编码技术，具有卓越的压缩性能，并且易于网络传输，能够 满足多种视频应用的需求。因此，h 2 6 4 在视频通信、流媒体和数字广播等领域 均有着良好的应用前景。然而，h 2 6 4 编码效率的提高是以运算复杂度的增大为 代价的。h 2 6 4 编解码器在各种平台上的优化实现已成为当今科研领域和产业界 关注的热点问题。 近年来，d s p 技术发展迅速，高性能的数字信号处理芯片为高复杂度的多媒 体应用提供了理想的实现平台。t i 的d m 6 4 2 是一款高性能的定点d s p ，适合数 字媒体方面的应用。b r e w 和s y m b i a n o s 是当今被广泛使用的智能手机平台， 基于这些平台的移动流媒体服务正在蓬勃发展。 本文以h 2 6 4 基本档次解码器为主要研究对象，在d s p 和智能手机平台上 开展了优化实现方面的研究。考虑到解码器应该具有良好的码流兼容能力，本文 以功能全面的j m 7 3 开源解码器作为优化对象。基于对j m 7 3 解码器运算复杂度 的分析，本文在p c 平台上对其程序结构、数据结构和算法进行了优化。优化后一 的解码速度有了显著的提高，为d s p 平台和智能手机平台上的优化实现奠定了 良好的基础。 在d s p 平台上，本文通过多种手段，从程序存储器、数据存储器以及汇编 语言的使用等方面对解码器进行了优化，使解码器的执行速度大幅提升。实验结 果表明，优化后的解码器对c i f ( 3 5 2 x 2 8 8 ) 和d 1 ( 7 2 0 5 7 6 ) 格式的h 2 6 4 压缩码流均实现了实时解码。此外，本文灵活运用d s p b i o s 实时操作系统提供 的各种机制，设计了基于h 2 6 4 解码器的实时网络视频传输系统。该系统在 d s p b i o s 的多任务内核上成功实现了接收h 2 6 4 的网络数据、实时解码与显示 等功能。以h 2 6 4 解码器为处理核心的客户终端能够提供良好的视频效果，解码 端可以与h 2 6 4 视频服务器配合工作。 接下来，本文分别基于b r e w 平台和s y m b i a no s 实现了h 2 6 4 解码器。针 对无线网络误码率高、误码常常造成播放中断等问题，本文设计了一种h 2 6 4 解 1 北京t 业大学t 学硕l 学位论文 码器端的误码处理机制，使得解码应用程序的稳定性大大提高。此外，为满足移 动流媒体系统对媒体格式的要求，本文对节目源的视音频格式转换进行了研究， 开发了相应的应用程序，能够为视频点播等服务提供丰富多彩的节目内容。 b r e w 平台的移动流媒体解决方案已经在中国联通运营的c d m a 2 0 0 01 x 网络 上试用成功，解码端可以在支持b r e w 的数字移动终端上为用户提供流畅的视 频点播服务。 关键词：h 2 6 4 ；解码器；d m 6 4 2 ；b r e w 平台；s y m b i a no s a b s t r a c t a b s t r a c t h 2 6 4i san o v e lv i d e oc o d i n gs t a n d a r dd e v e l o p e dj o i n t l yb yi 羽u ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu 1 1 i o n ) a n di s o ( i n t e m a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) i t a d o p t sm a n ya d v a n c e dc o d i n gt e c h n o l o g i e s a n dh e n c ea c h i e v e so u t s t a n d i n g c o m p r e s s i o np e r f o r m a n c ea n dn e t w o r kf r i e n d l i n e s s i tc a nm e e tt h er e q u i r e m e n t so f v a r i o u sk i n d so fv i d e oa p p l i c a t i o n s c o n s e q u e n t l y , h 2 6 4w i l lh a v eb r i g h tp r o s p e c t si n av a r i e t yo ff i e l d s ，s u c ha sv i d e oc o m m u n i c a t i o n , m e d i as t r e a m i n ga n dd i g i t a l b r o a d c a s t i n g h o w e v e r , t h ee n h a n c e m e n ti nc o d i n ge f f i c i e n c yo fh 2 6 4h a sb e e n a c h i e v e da tt h ec o s to fac o n s i d e r a b l ei n c r e a s ei nc o m p u t a t i o n a lc o m p l e x i t y r e c e n t l y t h eo p t i m i z a t i o na n di m p l e m e n t a t i o no fh 2 6 4e n c o d e ra n dd e c o d e ro nd i f f e r e n t p l a t f o l r m sh a v eb e c o m eah o tt o p i ci nm a n yr e s e a r c hf i e l d sa n di n d u s t r i e s c u r r e n t l y d s p ( d i g i t a ls i g n a lp r o c e s s o r ) t e c h n o l o g yi sd e v e l o p i n gr a p i d l y h i g h p e r f o r m a n c e d s p sp r o v i d ea ni d e a l p l a t f o r m f o r c o m p u t a t i o n a l l y i n t e n s i v e m u l t i m e d i aa p p l i c a t i o n s t id m 6 4 2i sah i g hp e r f o r m a n c ef l x e d - p o i n td s pt h a ti s s u i t a b l ef o rd i g i t a lm e d i aa p p l i c a t i o n s b r e wa n ds y m b i a no sa r et w ok i n d so f s m a r t p h o n ep l a t f o r m sw h i c ha r ew i d e l yu s e dn o w a d a y s m o b i l em e d i as t r e a m i n g s e r v i c e so nb r e wa n ds y m b i a no sa r eb o o m i n g i nt h i sp a p e r , t h er e s e a r c ho nt h eo p t i m i z a t i o na n di m p l e m e n t a t i o no fh 2 6 4b a s e l i n e p r o f i l ed e c o d e ri sc a r r i e do u to nd s p a n ds m a r t p h o n ep l a t f o r m s b e c a u s ead e c o d e ri s s u p p o s e dt ob ec o m p a t i b l ew i t haw i d er a n g eo fb i t s t r e a m s ，t h ep a p e rc h o o s e sj m 7 3 o p e n s o u r c ed e c o d e ra s t h eo b j e c tt ob eo p t i m i z e d b a s e do nt h ea n a l y s i so ft h e c o m p u t a t i o n a lc o m p l e x i t yo fj m 7 3d e c o d e r , w ep e r f o r mp cp l a t f o r mo p t i m i z a t i o no n i t sp r o g r a ms t r u c t u r e ，d a t as t r u c t u r ea n da l g o r i t h m s t h e s ee f f o r t sc o n t r i b u t et oa r e m a r k a b l ea c c e l e r a t i o ni nd e c o d i n gs p e e d ，w h i c hi si n d i s p e n s a b l et ot h eo p t i m i z a t i o n a n di m p l e m e n t a t i o no nd s pa n ds m a r t p h o n ep l a t f o r m s o nd s p p l a t f o r m t h eh 2 6 4d e c o d e r i so p t i m i z e di ns e v e r a la s p e c t s ，i n c l u d i n gt h eu s e o fp r o g r a mm e m o r y , d a t am e m o r ya n da s s e m b l yl a n g u a g e t h es p e e do ft h ed e c o d e r i sa g a i ni n c r e a s e d e x p e r i m e n t a lr e s u l t ss h o wt h a tt h eo p t i m i z e dd e c o d e ri sa b l et o p r o c e s sh 2 6 4b i t s t r e a mi nb c i t hc i f ( 3 5 2 x 2 8 8 ) a n dd 1 ( 7 2 0 5 7 6 ) f o r m a t so n r e a l - t i m eb a s i s a d d i t i o n a l l y , t a k i n ga d v a n t a g eo fd i f f e r e n tm e c h a n i s m si nt h e r e a l - t i m eo p e r a t i n gs y s t e md s p b i o s ，t h ep a p e rd e s i g n sar e a l t i m en e t w o r kv i d e o t r a n s m i s s i o ns y s t e mb a s e do nt h eh 2 6 4d e c o d e r t h es y s t e ma c h i e v e sm a n yf u n c t i o n s ， i 北京t 业大学t 学硕十学位论文 s u c ha sr e c e i v i n gh 2 6 4d a t af r o mn e t w o r k ，r e a l t i m ed e c o d i n go ft h ec o m p r e s s e d b i t s t r e a ma n dd i s p l a y i n gt h er e c o n s t r u c t e di m a g e so nam o n i t o r i nt h ed e c o d e r c e n t e r e dc l i e n tt e r m i n a l ，g o o dv i d e oq u a l i t yc a nb ep r o v i d e da n dt h ed e c o d e ri s d e s i g n e dt oc o o p e r a t e 、析t 1 1h 2 6 4v i d e os e r v e r i na d d i t i o nt oa l lt h er e s e a r c hw o r km e n t i o n e da b o v e ，t h i sp a p e ri m p l e m e n t sh 2 6 4 d e c o d e ro nb r e wp l a t f o r ma n ds y m b i a no sr e s p e c t i v e l y i nw i r e l e s sn e t w o r k s ，t h e e r r o rr a t ei sh i g ha n dt h u st h ev i d e op l a y i n gm a ya l w a y sb ei n t e r r u p t e d t ot a c k l et h i s p r o b l e m a n e r r o rc o n t r o lm e c h a n i s mf o rt h eh 2 6 4d e c o d e ri sd e s i g n e d i tc a l l d r a m a t i c a l l yi m p r o v et h es t a b i l i t yo ft h e d e c o d e rs o f t w a r e b e s i d e s ，t om e e tt h e r e q u i r e m e n t so fam o b i l em e d i as t r e a m i n gs y s t e m ，t h ep a p e ra l s od o e sr e s e a r c ho n v i d e oa n da u d i of o r m a tc o n v e r s i o no fs o u r c em e d i af i l e s av i d e of o r m a tc o n v e r s i o n s o f t w a r ei sd e v e l o p e dw h i c hi sa b l et op r o v i d et h ev o d ( v i d e oo nd e m a n d ) s e r v i c e w i t hv a r i o u sp r o g r a m s t h em o b i l em e d i as t r e a m i n gs y s t e ms o l u t i o no nb r e w p l a t f o r mc a ns u c c e s s f u l l yr u no nc h i n au i l i t o mc d m a 2 0 0 01x n e t w o r ka n dt h e h 2 6 4d e c o d e rc a l lp r o v i d eh i g hq u a l i t yv o ds e r v i c et oe n du s e r so nd i g i t a lm o b i l e t e r m i n a l sw i t hb r e w a p p l i c a t i o ne x e c u t i o ne n v i r o n m e n t k e yw o r d s ：h 2 6 4 ；d e c o d e r ；d m 6 4 2 ；b r e wp l a t f o r m ；s y m b i a no s 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名： 日期：锰挈年翊珈 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 签名：三k 导师签名； 第1 章绪论 第1 章绪论 1 1 本课题的研究背景与意义 多媒体技术的不断进步使越来越精彩的视频、图像和音频体验成为可能。在 众多相关应用的背后，有一代又一代的编码标准作为技术支持。在视频方面，为 人们所熟知的主要有两大系列的标准。国际电信联盟电信标准化部f - j ( i t u t ： i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n - t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 主推关于电视电话会议电视的视频编码标准h 2 6 1 、h 2 6 3 、h 2 6 3 堋2 6 3 + + 和 h 2 6 4 。国际标准化组织( i s o ：i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 和国 际电工委员会( i e c ：i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ) 的运动图像专家 组( m p e g ：m o v i n gp i c t u r ee x p e l sg r o u p ) 制定了针对活动图像的编码标准 m p e g 1 、m p e g 2 和m p e g - 4p a r t2 等。在两大系列的标准中，都综合采用了 各种性能优良的编码技术，其中最新的标准能够体现视频编码的发展水平。 2 0 0 1 年1 2 月，i s o i e c 的运动图像专家组( m p e g ) 和i t u t 的视频编码 专家组( v c e g ：v i d e oc o d i n ge x p e a sg r o u p ) 成立了视频联合工作组( t ：j o i n t v i d e ot e a m ) ，着手共同制定新一代的视频编码标准。到2 0 0 3 年5 月，新的标准， 也就是h 2 6 4 a v c 正式推出【1 1 。 h 2 6 4 标准的正式名称为h 2 6 4 m p e g 4p a r t1 0a v c ( a d v a n c e dv i d e o c o d i n g ) 。其主要目标是采用简单有效的编码技术，并达到增强的压缩性能和易 于网络传输( n e t w o r k f r i e n d l y ) 的能力，以满足日益增长的“对话型”( 视频电 话、会议等) 和“非对话型”( 视频存储、广播及流媒体等) 视频应用的需要。 最初，h 2 6 4 标准共分为3 个不同的档次，即基本档次( b a s e l i n ep r o f i l e ) 、主档 次( m a i np r o f i l e ) 和扩展档次( e x t e n d e dp r o f i l e ) 。2 0 0 4 年以来，又不断增补了 h i g hp r o f i l e 、h i g h1 0p r o f i l e 、h i g h 4 ：2 ：2p r o f i l e 和h i g h4 ：4 ：4p r o f i l e l 2 j 。 与以往的视频编码标准相似，h 2 6 4 采用的是基于运动补偿+ 分块变换的混 合编码框架。但为了获得更加高效的编码性能，h 2 6 4 采用了很多新的技术，包 括先进的帧内预测、多模式运动估计、整数变换与量化、去块效应滤波和先进的 熵编码技术等。h 2 6 4 的主要特性为： ( 1 ) 更高的编码效率。与m p e g 4p a r t2 以及以往的标准相比，其编码性 能有较大突破，在3 0 - - 一3 5 d b 的解码质量范围内，h 2 6 4 能比m p e g - 4p a r t2 节约 3 0 - - 5 0 的码率。 ( 2 ) 自适应的延时性能。h 2 6 4 既能工作于低延时的实时通讯应用( 如视 北京t 业大学t 学硕 j 学位论文 频会议等) ，也能用于没有延时限制的应用( 如视频存储等) 。 ( 3 ) 错误恢复能力。h 2 6 4 提供了解决网络传输包出错和丢失问题的工具， 显著提高了解码端的差错恢复能力，因此它适用于在干扰较强和误码率高的无线 网络中传输视频数据。 ( 4 ) 网络传输功能。h 2 6 4 的语法在概念上可分为视频编码层( v c l ：v i d e o c o d i n gl a y e r ) 和网络抽象层( n a l ：n e t w o r k a b s t r a c t i o nl a y e r ) 1 2 j 。v c l 实现对 视频序列的高效压缩，n a l 对应于网络的信息包传输过程。这两个层次相结合， 使得h 2 6 4 的编码信息可以更好地适应网络数据封装以及不同网络的传输特性。 h 2 6 4 标准的应用范围很广，主要包括i l j ： ( 1 ) 通过诸如有限、卫星、d s l 和c a b l em o d e m 等媒介的数字广播； ( 2 ) 光、磁设备的数字存储，如d v d 等； ( 3 ) 通过i s d n 、e t h e m e t 、l a n 、d s l 、无线和移动网络以及上述混合网 络传输的对话型业务； ( 4 ) i s d n 、c a b l em o d e m 、l a n 、d s l 和无线网络上的视频点播( v o d ：v i d e o o nd e m a n d ) 等流媒体业务； ( 5 ) i s d n 、d s l 、l a n 、无线和移动网络上的多媒体信息服务( m m s ： m u l t i m e d i am e s s a g es e r v i c e s ) ； ( 6 ) 视频监控和数码影院等。 本论文以h 2 6 4 标准的基本档次为研究重点。基本档次中支持帧内和帧间编 码( 利用1 分片和p 分片) 、上下文自适应变长编码( c a v l c ：c o n t e x t b a s e d a d a p t i v ev a r i a b l el e n g t hc o d i n g ) 和去块效应滤波等功能。该档次的目标是使编 码复杂度最小，在大部分网络环境和条件下可以提供高度的鲁棒性和灵活性，主 要应用于有线电视、视频点播、数字视频广播、卫星系统、网络视频和口视频 电话等诸多领域。 与以往的视频编码标准相比，h 2 6 4 具有卓越的性能，但这是以运算复杂度 的大幅提升为代价的。因此，它在各种平台上的实时实现是当今的研究热点。在 众多研究领域中，与本文密切相关的是定点d s p 平台和智能手机平台。 h 2 6 4 标准高效的压缩性能为其带来了广泛的市场应用前景。然而，实时性 处理的问题必须首先得到解决。本课题针对多种平台展开实时解码的研究，期望 为h 2 6 4 解码的应用提供高效而低成本的实现方案。 1 2 研究现状 自从h 2 6 4 标准正式推出以来，对其实时实现的研究工作一直在快速地开 展。随着硬件性能的不断提高和软件优化水平的进步，h 2 6 4 的编解码已经进入 第1 荦绪论 实时应用时代。 在p c 平台，通过对解码器代码结构的设计和调整，容易实现对c i f ( 3 5 2 2 8 8 ) 甚至d 1 ( 7 2 0 5 7 6 ) 视频序列的实时解码。如果充分发挥多媒体汇编指 令集的处理优势，还可以进一步提高速度，降低c p u 的占用率。 在定点d s p 平台上，有很多厂商实现了对d 1 视频的实时编解码。它们通过 可执行库的形式将h 2 6 4 的编解码器用于相关的配套设备。比如，美国t i 公司 ( t e x a si n s t r u m e n t s ，i n c ) 针对d m 6 4 x 和d m 6 4 4 x 达芬奇芯片开发了支持d 1 h 2 6 4 实时编解码的软件，能够达到3 0 帧秒的处理速度。 在智能手机平台，h 2 6 4 也有越来越广泛的应用。当今流行的众多中高档手 机，都己将h 2 6 4 列为所支持的视频媒体格式。除了硬件的固有支持，针对智能 手机的特定操作系统，还可以实现h 2 6 4 的软件解码器。这种方式显得更加灵活， 应用开发者可以根据实际的需要，将h 2 6 4 与其他增值业务结合起来。 1 3 本论文的研究内容 h 2 6 4 标准具有高效的编码性能，因此受到研究领域和产业界的一致认同， 在诸如流媒体服务和视频压缩存储等领域具有良好的应用前景。当前，基于h 2 6 4 的实时优化和实现工作是一大研究热点。本文的工作主要在两大类平台上开展。 1 3 1d s p 平台 h 2 6 4 解码器中包含大量的高复杂度运算，需要在处理能力较强的芯片上实 现。t i 公司的t m s 3 2 0 d m 6 4 2 是一款定点数字信号处理芯片【3 j ，被当今业界公 认为最适合高复杂度视频应用的d s p 芯片之一。其强大的并行处理能力为h 2 6 4 解码器的实时实现提供了可能。本文在d m 6 4 2 平台上对h 2 6 4 基本档次解码器 进行优化。 为了兼容基本档次的各种码流，本文最终选定j m 参考软件作为优化的起点， 使用的是7 3 版本 4 1 。在众多h 2 6 4 开源解码器中，j m 比较全面地实现了h 2 6 4 基本档次解码器的各种功能。但j m 在执行效率方面存在突出的问题，需要优化 的工作量很大。本文首先对整个解码器工程的代码结构进行了优化，使之适合在 d s p 处理器上运行。接下来基于d s p 平台的具体特点进行了有针对性的优化， 以进一步提高解码器的速度，对c i f 和d 1 格式视频均实现了实时处理。在实现 了实时解码之后，基于d s p b i o s 实时操作系统构建具有网络接收、解码和显示 功能的多任务处理系统，可以在局域网环境下实现视频的实时传输，为进一步在 视频监控、会议电视系统中的应用打下了良好的基础。 北京t p 大学t 学硕 j 学位论文 1 3 2 智能手机平台 本文在b r e w 和s y m b i a n 两种智能手机平台上实现了h 2 6 4 基本档次解码 器。考虑到手机具有屏幕尺寸相对较小、处理器的运算能力有限等特点，本文将 开发的目标定为对q c i f ( 1 7 6 1 4 4 ) 格式视频的实时解码。b r e w 和s y m b i a n 平台的应用程序开发与d s p 平台有较大不同，在代码移植时需要按照各平台自 身的特性和规范对解码器代码进行修改，以满足智能手机平台的要求。为了使应 用程序能够最终在真实手机上运行，在模拟器调试阶段之后还需要进行a r m 编 译和在硬件上的调试。手机解码端在无线网络环境中运行，而无线网络存在误码 率高的问题，必须在解码器中加入恰当的误码处理机制，才能保证最终播放效果 的连贯与流畅。 这部分工作主要面向视频点播等流媒体服务，因此在实现实时解码的同时， 还要开发相应的视音频节目源格式转换等应用程序，从而构成一套完整的可在无 线网络环境中运行的移动流媒体解决方案。 1 4 论文的结构安排 本论文共分为8 章，安排如下： 第1 章绪论。阐明本课题的研究背景与意义，介绍研究现状和研究内容， 说明对全文结构的安排。 第2 章h 2 6 4 视频编解码标准。首先介绍了h 2 6 4 基本档次解码器的整体 框架和解码流程，然后重点描述了该标准所采用的关键技术。 第3 章t id m 6 4 2 平台。本章从三个方面介绍了数字信号处理平台，第1 节是d s p 平台的概况，第2 节和第3 节分别描述了本文所采用的d m 6 4 2 芯片的 硬件特点和该平台上的软件开发所要注意的问题。 第4 章b r e w 和s y m b i a n 智能手机开发平台。首先对智能手机平台进行整 体介绍。接下来，依次分析了b r e w 平台和s y m b i a n 平台各自的特点。对b r e w 平台，从开发环境和基本技术方面进行了描述。对s y m b i a n 平台，则重点介绍了 该操作系统对c + + 语言的使用。 第5 章h 2 6 4 解码器在p c 平台上的优化。这一章的优化工作是后续工作的 基础。首先介绍了几种目前常用的开放源代码，然后对h 2 6 4 解码器的复杂度进 行了深入的分析。在此基础上，本文从程序结构、数据结构和算法等方面对h 2 6 4 基本档次解码器进行了优化。在本章的最后，给出了优化前后的实验结果对比， 并对实验结果进行了分析。 第6 章h 2 6 4 解码器在d s p 平台上的优化与实现。本章重点介绍了基于 第1 审绪论 d m 6 4 2 平台的h 2 6 4 解码器的优化工作。首先，介绍了d m 6 4 2 芯片的存储器结 构与特点，然后根据平台的具体情况对程序存储器和数据存储器的使用进行了优 化。除此之外，汇编语言优化、对集成开发环境的合理设置以及其他一些优化措 施也对解码器速度的提高有很大贡献。本章给出了d s p 平台优化前后的实验结 果对比分析。 第7 章h 2 6 4 解码器在b r e w 和s y m b i a n 智能手机平台上的实现。分别以 b r e w 和s y m b i a n 两大智能手机平台上的实际应用项目为背景，介绍了代码移 植、a r m 编译以及针对无线网络特点设计的误码处理机制。文中给出了h 2 6 4 解码器在两个平台上的实验结果。在本章的最后，介绍了可用于移动流媒体系统 的视音频格式转换与编码的设计与实现。 第8 章基于h 2 6 4 标准的网络实时视频传输系统的实现。本章把d m 6 4 2 平台上的实时h 2 6 4 解码器嵌入到d s p b i o s 操作系统中，实现了多线程的网络 实时视频传输演示平台。详细介绍了网络、解码和显示等功能模块的实现方法， 并给出整个系统的演示效果。 北京t 业大学下学硕 j 学位论文 第2 章h 2 6 4 视频编解码标准 h 2 6 4 a v c 标准的主要目标是力求设计简单有效的编码技术，获得高效的压 缩性能和网络适应性。该标准的编解码器能够在很广的范围内使用，满足不同码 率和不同视频分辨率应用的需求，并且可以适应各种不同的网络和系统( 比如组 播，d v d 存储，r t p i p 包网络，i t u t 多媒体电话系统) 。由于h 2 6 4 具有很高 的编码效率，因此能够在很多低码率应用中提供比以前的视频标准( 比如 m p e g 2 、m p e g 4p a r t2 或者h 2 6 3 等) 更好的视频质量。 本章将介绍h 2 6 4 标准基本档次解码器的框架以及该标准采用的关键技术。 2 1h 2 6 4 基本档次解码器的框架 h 2 6 4 延续了传统的基于运动补偿+ 分块变换的混合编码模式。图2 1 所示 的是h 2 6 4 基本档次解码器的框架【5 1 。从图中可以看到，解码器主要由帧内预测、 帧间预测、熵解码、反量化、反变换和去块效应滤波等部分构成。 图2 - 1h 2 6 4 基本档次解码器框架 f i g u r e2 - 1f r a m e w o r ko f h 2 6 4b a s e l i n ep r o f i l ed e c o d e r h 2 6 4 解码器可以逐个地对n a l 单元数据包进行处理。在读入1 分片和p 分片的内容之前，需要先对序列参数集( s p s ：s e q u e n c ep a r a m e t e rs e t ) 和图片参 数集( p p s ：p i c t u r ep a r a m e t e rs e t ) 进行分析，得到关于视频序列的各项重要参数 ( 比如视频帧的水平方向像素点数、垂直方向像素点数、量化参数和帧问预测用 到的参考帧数目等等) 。处理s p s 和p p s 之后，解码器会继续解析1 分片和p 分 片的数据。对变长数据元素进行熵解码得到一系列量化后的变换系数，这些系数 经过反量化和反变换得到残差块。 在另一条解码路线上，根据预测模式构建出预测块。残差块与预测块相加， 产生与编码端完全相同的重建图像。解码器按照上述方式，以宏块( m b - m a c r o b l o c k ) 为单位进行解码，逐步得到重建帧。对连续的n a l 单元解码，就 第2 章h 2 6 4 视频编解码标准 得到了重建视频序列。为了提高重建图像的主观质量，h 2 6 4 采用了去块效应滤 波的技术，这种方法能够有效去除基于宏块进行编码所带来的块效应。 2 2h 2 6 4 基本档次中的关键技术 与以往的标准相比，h 2 6 4 采用了许多新技术，包括帧内预测、多模式运动 估计、先进的熵编码技术等。这些技术的应用使得h 2 6 4 标准的编码效率有了很 大的提高。下面将介绍h 2 6 4 标准基本档次编解码器所采用的几种关键技术。 2 2 1 帧内预测 在帧内预测中，当前编码块的预测值可以由周围的已编码和重建样值得到。 当前块的像素值与相应预测值相减，得到残差。h 2 6 4 的帧内预测支持i n t r a4 4 、i n t r a1 6 x1 6 、i n t r a8 8 和ip c m 四大类模式。对于亮度分量，预测块可以 有4 4 和1 6 1 6 两种尺寸。对于4 4 的亮度块，有多达9 种的预测模式。对 于1 6 1 6 的亮度块，共有4 种预测模式。对亮度分量，统一按照8 8 的尺寸进 行预测，可选的模式也是4 种，与亮度分量1 6 1 6 预测基本相同。在h 2 6 4 提 供的ip c m 帧内编码模式中，不需要进行预测和变换，图像样值可以直接被编 码传输。这一模式在某些特殊情况下( 比如图像内容异常或采用的量化参数很小) 比常规的帧内预测、变换量化和熵编码过程更具效率。 1 亮度分量的4 4 预测 每个将要进行帧内4 4 预测的亮度块可能用到其上边和左边相邻的已编码 和重建的样值，h 2 6 4 的编码器与解码器能够利用这些样值生成相同的预测块。 图2 2 所示为待预测样值( 以小写字母标注的阴影点) 与参考点( 以大写字母标 注) 的位置关系。口p 为块像素，a - m 为相邻的预测参考像素。当选择i n t r a4 4 模式时，通过相邻的样值预测每个4 4 块的样值。i n t r a 4 4 有9 种预测模 式，直流预测模式( d c ) 通过一个值预测整个4 4 子块，其他8 种模式对应8 个不同的预测方向( 如图2 3 所示) ，这些模式适合预测具有方向结构的图像内 容。 模式o 为垂直预测模式，通过上面的样值( 彳，b ，c 和d ) 垂直向下进行 预测。模式1 与模式0 的预测方法类似，只是通过左边的样值( 厶 k 和三) 向右进行水平方向预测。模式3 和模式4 是以4 5 。的方向预测子块，而模式5 8 的预测方向分别与垂直或水平方向约呈2 6 6 。 北京t 业人学丁学硕i j 学位论文 m彳bc d e fgh i口bcd j岔 jg 矗 kl j 盂， mnd p 。 图2 - 2 帧内4 x 4 模式的待预测点与参考点的位置关系 f i g u r e2 - 2r e l a t i v ep o s i t i o n sb e t w e e np r e d i c t e dp i x e l sa n dr e f e r e n c ep i x e l si ni n t r a4x4m o d e s 心矽 衫 7 o ( a ) 帧内4 x 4 的预测方向 肾 矽 ( b ) 亮度4 4 块的帧内预测模式 图2 - 3 帧内4 4 预测模式 f a 、d i r e c t i o n so fn r e d i c t i o n sf o r i i l 倾4 4l m o d e s ( b ) i n t r ap r e d 衙1 0 nm o d e sf o rl u m a4 x 4b l o c k s f i g u r e2 - 3i n t r a4 x 4p r e d i c t i o nm o d e s 2 亮度分量的1 6 1 6 预测 每个宏块除了按照4 4 方式预测，还可以选用1 6 x1 6 的帧内预测模式，如 图2 4 所示。模式0 - - - - 2 与i n t r a4 x 4 的模式0 - - 2 的预测方法相似。模式3 为平 面预测，它用一个线性“平面 函数对上边和左边的样值进行插值，这种预测方 法对于变化平缓的亮度区域效果更好。 0 ( 垂直)2 ( 直流)3 ( 平面) 图2 _ 4 帧内1 6 x1 6 预测模式 f i g u r e2 - 4i n t r a16 x16p r e d i c t i o nm o d e s 3 色度分量的8 8 预测 帧内编码宏块的2 个8 8 色度分量都利用上边或左边已编码的色度样值进 第2 章h 2 6 4 视野! 编解码标准 行预测，并且它们采用的预测模式与1 6 1 6 亮度预测非常类似，同样分为垂直、 水平、直流和平面等4 种。对同一宏块，其色度分量预测模式的选择并不依赖于 亮度分量的预测模式，并且两个色度块选用相同的预测模式。 4 帧内预测模式的表示 h 2 6 4 的解码器必须知道每个4x4 块所采用的帧内预测模式才能按照与编 码端一样的方式进行预测和重建，这需要大量的比特。然而，相邻4 x 4 块的帧 内预测模式往往具有较强的相关性。例如，设a 、b 和e 分别为左边、上边和当 前的4 4 块，如果已编码的4 x4 块a 和b 采用模式1 进行预测，则块e 的最 佳预测模式很可能也是模式1 。为了利用这种相关性，可以采用预测编码的方法 对4 4 帧内模式进行编码。 对于当前块e ，编码器和解码器首先估计出最有可能的预测模式( a 和b 的 预测模式的最小值) 。如果a 和b 均不能用作参考( 例如在当前分片之外或者没 有采用帧内4 x 4 编码模式) ，那么将按直流模式来预测。 编码器为每个4x4 块传送一个标志p r e vi n t r a 4 x 4p r e dm o d ef l a g 。如果标 志是1 ，表示采用了最有可能的预测模式。如果该标志为0 ，那么就传送另一个 参数r e mi n t r a 4 x 4p r e dm o d e 来表明模式的变化。如果r e mi n t r a 4 x 4p r e d m o d e 小于当前最有可能的模式，就将预测模式设置为r e mi n t r a 4 x 4p r e d ，否则mode 将预测模式设置为( r e mi n t r a 4 x 4p r e d m o d e + 1 ) 。帧内1 6 1 6 的亮度预测模式 和帧内8 8 的色度预测模式都在宏块的头信息中给出，并不采用预测编码【l j 。 2 2 2 帧间预测 1 树结构的宏块和亚宏块分裂方式 h 2 6 4 采用了块匹配运动估计技术，为了提高运动估计的效率，h 2 6 4 支持 不同分块模式的运动估计。每个宏块的亮度分量( 1 6 x1 6 的宏块) 可用四种方 式进行分裂，如图2 5 ，并以1 个1 6 1 6 、2 个8 1 6 、2 个1 6 8 或4 个8 8 方式进行运动补偿。若选择了8 8 模式，每个8 8 的亚宏块还可以进一步分裂 为1 个8 8 的亚宏块、2 个4 x8 的亚宏块、2 个8x 4 的亚宏块或4 个4 x4 的 亚宏块，如图2 - 6 所示。具体的分裂方式可以根据视频序列中不同部分的运动特 点选择使用。对运动较平缓的部分，采用尺寸较大的块：对运动剧烈的部分，采 用尺寸较小的块，使预测更加精细。对于完全固定的背景区域，直接使用跳过模 式( s k i pm o d e ) ，不必对残差进行编码。 北京t 业大学t 学硕f ：学位论文 口田目田 图2 - 5 宏块分裂方式：1 6 1 6 ，8 1 6 ，1 6 x 8 和8 8 f i g u r e2 - 5m