（通信与信息系统专业论文）h264解码器在dsp上的实现.pdf

h 2 6 4 解码器在d s p 上的实现 摘要 近年来，随着通信产业的发展和第三代移动通信的发展，对视频通信提出了更高 的要求。而视频业务，则在生活中以及商业上使低码率视频通信得到广泛的应用。新 的业务需求和无线信道要求新的视频通信标准能够满足高压缩比，以及具有更强的信 道容错能力，各种视频压缩标准在努力提高编码的压缩效率的同时，也在努力提高码 流对高误码率信道的容错能力。2 0 0 3 年年中，国际电联关于数字视频编解码的技术建 议h 2 6 4 被国际标准组织正式接受，成为正式的国际标准。新的标准也带来新的需求， 并且迫切的需要将新的标准实现到终端上。 目前随着数字信号处理器( d s p ) 的高速发展，为实现高效的音视频信号处理提 供了可能性；另一方面，最新的低码率视频压缩标准h 2 6 4 的出台，提供了适合通信 的视频标准和算法指导。因此，将两者结合，把h 2 6 4 算法在d s p 上实现，对于多 媒体通信的研究具有一定的意义和价值。h 2 6 4 工作组推出的j m 模型是用于测试 h 2 6 4 定义的相关功能实现的。代码复杂性较大，没有进行优化之前，远不能实现软 件实时编解码的要求。 软件优化分为语法的优化和算法的优化，论文着重介绍软件语法的优化，这是软 件优化的通用方法，合理的运用这些方法，可以大大提高软件的执行效率。这些优化 方法的使用，贯穿h 2 6 4 编解码器语法优化的始终。对d s p 代码的优化共分为四个 层次：结构级优化、算法缴优化、c 代码级优化、汇编程序级优化。 同时本项目的目标是丌发出一个适用于d s p 环境的解码器终端设备。整个系统 核心解码器采用h 2 6 4 ，核心处理芯片采用p h i l i p 的f m l 3 0 0 ，系统在时实嵌入式操 作系统p s o s 环境下协调运作。在编码器和解码器分别都可以在d s p 上正常工作之 后，我们需要利用嵌入式系统p s o s 把编码器和解码器链接起来，并且协调两者之删 的竞争同步和通信。嵌入式把编码器和解码器分别看成是两个进程。编码器进稗和解 码器进程分别执行、等待、就绪。由p s o s 负责掌握两个进程之间的资源竞争和共享。 所以需要对编码器进程，解码器进程和系统进程之间进行仔细的计划，使其能够连续 的进行数据的交换和匹配。同时加上和底层驱动模块的匹配，实现视频入，视频山， 同时进行编码和解码。在论文的最后对编码器，解码器，以及自环的性能进行了i 羊尽 的分析。 关键字：h 2 6 4 编解冯器优化t r i m e d i a l 3 0 0d s p i m p l e m e n t a t i o no fh 2 6 4d e c o d e ro nd s p a b s t r a c t o fl a t ey e a r s ，t h ed e v e l o p i n go ft h et e l e c o m m u n i c a t i o na n dt h e3 gp r o t o c o lr e q u i r e h i g h e rp e r f o r m a n c et ot h ev i d e oc o m m u n i c a t i o n a n dt h ev i d e os e r v i c e sa n dt h el o wr a t e s v i d e oc o m m u n i c a t i o na p p l ym o r ei nt h ec o n s u m i n ga n db u s i n e s sm a r k e t i n g t h en e w s e n , i c ea n dt h eq u a l i t yo fw i r e l e s sc h a n n e l sw a n tt h en e wv i d e op r o t o c o lh a v i n gh i g h e r c o m p r e s s i o na b i l i t y a n dr o b u s t n e s st h a t t y p e s o fv i d e o c o m p r e s s i o np r o t o c o l a r e d e v e l o p i n go nb o t ho ft h e m i nt h em i d d l eo f2 0 0 3 ，t h ei t ur e c o m m e n d a t i o nh 2 6 4h a v e b e e na c c e p tb yi s oa n db e c a m eao f f i c i a li n t e r n a t i o n a ls t a n d a r d ，t h en e ws t a n d a r db r i n g n e wr e q u i r e m e n t ，a n di ti su r g e n tt oc a r r yo u tt h en e ws t a n d a r do nt oh a r d w a r e a l o n gw i t ht h ee x t r e m e l yd e v e l o p i n go fd i g i t a is i g n a lp r o c e s s i n gd s p , i ti sp o s s i b l et o i m p l e m e n t v i d e oa n da u d i oc o n v e n i e n t l y , o nt h eo t h e rh a n d ，t h en e wv i d e oc o m p r e s s i o n s t a n d a r dh 2 6 4p r o v i d et h ep r o p e rm e a n sf o rc o m m u n i c a t i o n s oi ti ss i g n i f i c a n tt o i m p l e m e n tt h eh 2 6 4c o d e c o nt od s p b e c a u s et h ea i mo fj mm o d e li st ot e s tt h eb a s i cf u n c t i o no fh 2 6 4d e f i n i t i o n ，t h e c o m p l e x i t yo fj mi s t o o h i g h t om a k ear e a lp r o d u c t ，e v e nc o u l d n if o rr e a l t i m e c o d i n g d e c o d i n g s oi ti s i m p o r t a n tt oo p t i m i z et h ec o d e c t h eo p t i m i z a t i o nc a l lb e d i v i d e di n t ot h ec o d i n go p t i m i z a t i o na n dt h ea l g o r i t h m i co p t i m i z a t i o n t h i sp a p e rf o c u s e s 0 1 1t h eo p t i m i z a t i o no fc o d i n g a n dt h em e t h o di sg e n e r a lt ot h es wo p t i m i z a t i o n ，a n dc a l l i n l p r o v et i l ee f f i c i e n c y t h ei m p l e m e n to ft h e s em e t h o d sc a na p p l yo nt h eo p t i m i z a t i o no f h 2 6 4c o d e c ，a n dt h el e v e lo f o p t i m i z a t i o nc a nb es e e nt of o u rl e v e l s ：t h es t r u c t u r el e v e l t h ea r i t h m e t i cl e v e l ，t h ecc o d el e v e la n dt h ea s s e m b l el a n g u a g el e v e l a n dt h ea i mo fp r o j e c ti st o d e v e l o p at e r m i n a ld e c o d e rs y s t e mf i t t e dt od s p e n v i r o n l n e n t t h ec o r ec o d e co ft h i ss y s t e mi sh2 6 4 ，a n dt h ec o r ed s pi st m13 0 0b y p h i l i p s t h es y s t e mc a nw o r kb yt h ec o n t r o lo fe m b e d d e do s p s o s w h e nt h ee n c o d e r a n dd e c o d e rw o r ko nt h ed s p s u c c e s s f u l l y , w ec a nu s et h ep s o st oc o n n e c te n c o d e ra n d d e c o d e rt o g e t h e r , a n dc o o r d i n a t et h et w oo ft h e mt h ep s o sm a k ee n c o d e ra n dd e c o d e rt o t w op r o c e s s e s t h ee n c o d e ra n dd e c o d e rp r o c e s se x e c u t e ，w a i t ，s u s p e n ds e p a r a t e l y ，a n dt h e p s o sm a i n t a i nt h er e s o u r c ec o m p e t i t i o na n ds h a r e s oi ti si m p o r t a n tt op l a nc o o p e r a t i o n b e t w e e np r o c e s s e so fe n c o d e ra n dd e c o d e r , t h a tm a k ei tc a ne x c h a n g ed a t aa n dw o r k t l u e n t l y t h e na d d i n gt h ea p ia n dv i d e o l n v i d e o o u t ，t om a k et h es e l f l o o ps u c c e s s f u l l y i n t h ee n d ，w ed i s c u s st h ep e r f o r m a n c eo fc o d e ca n ds e l f l o o pi nd e t a i l k e yw o r d s ：h2 6 4 ，c o d e c ，o p t i m i z a t i o n ，d s p , t m13 0 0 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢 意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：日期 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以 公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇 编学位论文。( 保密的学位论文在解密后遵守此规定) 注释：本学位论文不属于保密范围，适用本授权书。 本人签名 导师签名 日期： 日期：阜自乒妒 北京邮电大学硕士研究生毕业论文 第l 页共1 0 6 页 第一章绪论 当前的数字视频分配主要以m p e g - 2 为基础，这是一个近1 0 年的旧标准，已经 达到了视频压缩效率的极限。h ，2 6 4 m p e g 一4 1 0 是新的开放式视频压缩标准，2 0 0 3 年由i t u ( 国际电信联盟) 和m p e g 所批准。h ，2 6 4 有望成为涵盖所有媒体和格式的 广播质量视频压缩的世界权威标准。现有广播设备以及h d 和s d 新应用增加了 l 2 6 4 的优势。 多媒体通信终端的实现主要有两点：一方面需要快速、稳定的处理器作为媒体信 号处理的平台，另一方面需要适合多媒体通信的协议标准和软件算法，尤其是对音视 频信号的压缩处理算法。两者的结合爿能产生高效的多媒通信设备。目前随着数字信 号处理器( d s p ) 的高速发展，为实现高效的音视频信号处理提供了可能性；另一方 面，最新的低码率视频压缩标准h 2 6 4 的出台，提供了适合通信的视频标准和算法指 导。因此，将两者结合，把h 2 6 4 算法在d s p 上实现，对于多媒体通信的研究具有 一定的意义和价值。 1 1 视频压缩编码标准简介 数字视频发展到今天已经成为一门实用的技术，在可视电话，视频会议到d v d 、 数字电视等各个领域得到广泛采用，数字视频的快速发展和视频编码标准的开发是密 不可分的。目前世界上最广泛使用的数字视频编码标准主要源自两大标准体系，其一 是i t u t ，该组织制定的视频编码标准称为“建议( r e c o m m e n d a t i o n s ) ”，即h2 6 x 系 列( h 2 6 1 、h 2 6 2 、h 2 6 3 和h 2 6 4 ) 主要用于实时视频通信，如可视电话、视频会 议。另一个主要的视频编码标准组织为i s o i e c ，其标准主要是m p e g 系列 m p e g l 、 m p e g 一2 、m p e g 一4 、m p e g 7 和m p e g 一2 1 ) 侧重于视频存储( v c d 、d v d ) 、视频 广播( 电视广播) 以及视频流的应用。两者的共同目标是在尽可能低的码率( 或存储容 量) 下获得尽可能好的图像质量。两大标准化组织的第一次合作是在h 2 6 2 m p e g - 2 标准的开发过程中。随着市场对图像传输需求的增加，如何适应不同信道传输特性的 问题也日益显现出来。两大组织再次联手推出的视频编码新标准，纳入i t u t 体系称 为h 2 6 4 标准，在i s o i e c 体系中作为m p e g - 4 的第1 0 部分。目的在于解决不同特 征信道下的视频传输问题。视频编码标准的开发演进过程如图1 - 1 所示。 北京邮电大学硕士研究生毕业论文 第2 页共1 0 6 页 1 9 8 41 0 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 6 9 9 82 0 0 0 2 0 0 22 0 0 4 图i - ii t u t 建议及m p e g 标准的开发过程【1 2 h 2 6 x ： h 2 6 1 是由i t u t 第1 5 研究组为在窄带综合业务数字网( n i s d n ) 上开展速率为 p * 6 4 k b s 的双向声像业务( 可视电话、视频会议) 而制定的。 h 2 6 3 以h 2 6 1 为基础制定了h 2 6 3 ，并发展为h 2 6 3v e r s i o n 2 ( h 2 6 3 + ) 和h 2 6 3 v e r s i o n 3 ( h 2 6 3 + + ) ，后二者是在h 2 6 3 的基础上扩展而成，与h 2 6 3 兼容，有更好 的压缩性能和更广的应用范围。 h 2 6 l 集中了以往标准的优点，并吸收了标准制定中积累的经验 h 2 6 4 是由i t u t 视频编码专家组( v c e g ) 和i s o i e c 移动图像专家组( m p e g ) 共同提出的最新国际视频编码标准。它在h 2 6 1 ，h 2 6 3 ，h 2 6 l 等视频压缩标准的基础 上，进行了进一步的改进和扩展。其目的是为了进一步降低编码率，提高压缩效率， 同时提供一个友好的网络接口，使得视频流更适合在网络上传送。由于该标准可以提 供更低的码率，所以更适合应用于多媒体通信领域。 m p e g x 由i s o 活动图像专家组( m o v i n gp i c t u r ee x p e r tg r o u p ) 制定的标准。 m p e g 1 ：1 9 9 2 年为速率为1 1 5 m b s 的数字声像信息的存储而制定的标准。 分为图像编码、声音编码和声响同步与复用( 系统) 3 个部分。该标准通常用于能够 提供录像质量( v h s ) 视频节目的光盘存储系统。相对于h 2 6 1 标准m p e g l 增加了 双向预测( b 帧图像) 和半像素运动估计。 m p e g 一2 ：1 9 9 5 年由i s o 活动图像专家组和1 t u t 共同制定，在l t u t 系列建 议中被称为h 2 6 2 ，广泛应用于d v d 和d t v 。为了使用不同的应用，m p e g 一2 用范 畴( p r o f i l e ) 及范畴中的一个和几个层次来描述不同的编码参数。它与m p e g 一1 兼容， 增加的功能为：处理隔行扫描视频信号的能力( 包括帧场d c t 和帧场运动补偿) ； 更高的色度信号取样模式；可伸缩的视频编码方式。 m p e g 一4 ：1 9 9 8 年制定，目标是支持目前的标准尚未全面支持所谓那些应用。如： 移动通信中的声像业务、与其他多媒体数据( 如计算机产生的图形图像) 的集成、交 互式多媒体服务等。m p e g 一4 视频部分采用h 2 6 3 的核心设计，并增加了许多新特性， 包括形状的分段编码、静止纹理的领属小波编码、合成和半合成的内容编码等。 j p e g 系列 j p e g ：由i s o 联合摄影专家组( j o i n t p h o t o g r a p h i ce x p e r tg r o u p ) 为单帧彩色图 北京邮电大学硕士研究生毕业论文第3 页共1 0 6 页 像的压缩编码制定的标准。该标准可将每像素2 4 比特的彩色图像压缩至1 2 比特， 并保持较好的质量。j p e g 定义了4 种模式：顺序( s e q u e n t i a l ) 方式、渐进( p r o g r e s s i v e ) 方式、无损方式、分层( h i e r a c h i c a l ) 方式。 j p e g 2 0 0 0 ：下一代静止图像压缩标准，可提供极高压缩l t ( 8 0 一3 5 0 ：1 ) 的电子图像 交换格式。j p e g 2 0 0 0 编解码器，不论是采用有损的还是无损的压缩模式，都使用相 同的基于小波变换的框架。 表1 1 图像压缩标准的应用 标准应用范围数据率 j p e g 静态存储；未定义 j p e g 2 0 0 0 静态存储：未定义 h 2 6 li s d n 视频会议p * 6 4 k b i t s s i n t e r n e t 流媒体；由终端或网络给定 h 2 6 3可视电话：可以低于6 4 k b i t s s 3 g 或无线甚至低于2 8 8 k b i t s s i p e g 一1 c d r o m ，多媒体 _ = 1 5 m b i t s 电视传输， m p m l ： q b i t s 式21 2 s i g n ( z i j ) = s i g n ( w i j ) 式2 1 3 其中的 表示二进制右移。在参考模型中，帧内块的f 等于2 q b i t s 3 ，帧间块的f 等于 2 q b i t s 6 a 基本反量化操作为 y i j z i j q s t e p 式21 4 ( 由矩阵e i 中依赖于系数位置的值包括a 2 ，a b 2 或b 2 4 ) 反变换中的预反量化因子集成 在操作中，同时加入了一个常数反量化因子6 4 ，以避免舍入误差： w i j = z i jq s t e p p f 6 4 式2 1 5 w i j 是反量化系数，是由反变换核心中变换而来。反变换的输出值被除以6 4 以去 除反量化系数( 这只用通过一次加法和一次右移即可实现) 。h 2 6 4 标准并没有直接指 定q s t e p n p f 。对于任意系数位置，代之以定义了参数v = ( q s t e p p f 6 4 ) ，因为0 q p 5 ，反量化操作变为： 嘭= 乙巧2 加州q p “ 式21 6 2 3 3 34 x 4 亮度d c 系数变换和量化( 1 6 1 6 帧内模式) 如果宏块以1 6 1 6 帧内预测模式编码( 例如，整个1 6 1 6 亮度分量都是由相邻样 值预测得到) ，每个4 4 残差块首先用以上提到的核心变换( c 仪c f r ) 变换。每个4 北京邮电大学硕士研究生毕业论文 第1 4 页共1 0 6 页 4 的d c 系数接着进行4 4 h a d a m a r d 变换： w d 是4 x 4 d c 系数块，y d 是变换后的块。输出系数y d 0 , j ) 量化以后可得到量化 d c 系数： 一2 ( - ；i m e m o , o ) + 2 厂) ( q b 聃1 ) 式21 8 s i g n ( z , , ( o = j 咖( ( u ) ) m f ( 0 0 1 是表中位置( 0 o ) 上的乘法系数，f , q b i t s 的定义不变。 在解码端，先反h a d a m a r d 变换，接着反量化( 注意，并不像想象的一样顺序相反) 嘭。 表2 3反量化系数v 位置位置 q p ( 0 ，o ) ( 2 ，0 ) ( 2 ，2 ) ( 0 ，2 ) ( 1 ，1 ) ( 1 ，3 ) ( 3 ，1 ) ( 3 ，3 ) 其他位置 o 1 0 1 61 3 11 l1 81 4 21 32 01 6 31 42 31 8 41 62 52 0 51 82 92 3 解码器变换为 式21 9 v ( o ，o ) 是表中位置( 0 ，o ) 上的反量化系数，因为v ( o ，0 ) 在块中是常数，反变换和反 量化可以倒换顺序，所指定的顺序( 先反变换再反量化) 是为了扩大反变换的动态范 围。 d c 系数的反量化系数w d 插入到各自的4 4 块中，每个4 4 系数块的反变换 都是用d c t 反变换( c t i w c i ) 。在1 6 1 6 帧间编码宏块中，大部分的能量都集中在 4 4 块的d c 系数上，且有很强的相关性。在经过以前的变换之后，能量进一步集 加式 d旧妒叭，加犹p 卜 ，唧 删 严“ m m 呒呒 北京邮电大学硕士研究生毕业论文第1 5 页共1 0 6 页 中到更少的特定系数上。 2 2 - 3 42 2 色度d c 系数变换和量化 色度分量每个4 4 块的d c 系数分组为2 2 块( w d ) r 在量化前还要经过变换 2 2 输出块y d 的量化为： 1 2 【1 式22 1 i z d 忆) i2 ( 1 “川嵋啪) + 2 厂) ( q b i t s + 1 ) 式2 2 2 s i g n ( z o ( “) ) = s i g n ( y o ( w ) ) m f ( o ，o ) 是表中位置( o ，0 ) 上的乘法系数，f , q b i t s 的定义不变。 在解码时，反量化在反变换之前： 其中反量化为 1111 2 1 1 【乙】 1 一1 式22 3 ( u ) k 0 , 0 ) 2 f l 。r ( q p 6 ) - i , ( q p 6 ) 式22 4 【毗，) k o 】 l ，( q p 3 只有左面的相邻象素有效的时候： p r e d 4 x 4 l x ，y 2 ( p 【一1 ，0 + p 一1 ，1 + p - l ，2 】+ p 【一l ，3 + 2 ) 2 只有上面的相邻象素有效的时候： p r e d 4 x 4 l x ，y 】2 ( p 【0 ，一1 】+ p 1 ，一1 + p 【2 ，- 1 + p 3 ，一1 + 2 ) 2 北京邮电大学硕士研究生毕业论文 第1 9 页共1 0 6 页 全部相邻象素都无效的时候 p r e d 4 x 4 l x ，y 】- 1 2 8 模式3 ( i n t r a 一4 x 4 一d i a g o n a l _ d o w n _ l e f t ) ： p r e d 4 x 4 l x ，y 】2 ( p 【6 ，一1 】+ 3 + p 7 ，一1 + 2 ) 2 ，x - 3 ，y = 3 p r e d 4 x 4 l x ，y 】= ( p 【x + y ，- 1 】+ 2 + p 【x + y + 1 ，一1 】+ p x + y + 2 ，一1 + 2 ) 2 ，其他 模式4 ( i n t r a 一4 x 4 一d i a g o n a l _ d o w n _ r i g h t ) ： p r e d 4 x 4 l x ，y 】= ( p 【x y 一2 ，一1 + 2 + p x y 一1 ，一1 + p x y ，一1 + 2 ) 2 ，x y p r e d 4 x 4 l x ，y 】= ( p 一1 ，y x 一2 + 2 + p 一1 ，y - x 一1 + p 【一1 ，y x 】+ 2 ) 2 ，x 2 ， x = y a bc 图2 8 当前4 x 4 亮度块与相邻块 在计算完预测块之后，编码器需要从9 种模式中选择一种最好的预测模式。相邻 块的帧内预测模式是高度相关的【l 】，如图3 8 所示，块a 和块b 都是已经编码的4 x 4 块，分别位于当前块c 的上面和左面，那么c 的预测模式和a 、b 的预测模式是相 关的，可从a 、b 的预测模式中得出c 最可能的预测模式m o s t p r o b a b l e m o d e 。关于 m o s t p r o b a b l e m o d e 的用途，下面将做介绍，这里首先给出计算m o s t p r o b a b l e m o d e 的 方法。按照协议中规定，每个模式都有一个序号，当a 的预测模式序号小于b ，那 么a 的预测模式就作为c 的m o s t p r o b a b l e m o d e ，反之，b 的预测模式就作为c 的 m o s t p r o b a b l e m o d e 。这里也有特例，当a 或b 与c 不在同一个s l i c e ，我们称a 或 b 无效，在帧间编码图像中，如果a 或b 处在帧间宏块中也无效，此时c 的 m o s t p r o b a b l e m o d e 为模式2 ( d c 预测) 。 例如，当a 的预测模式是1 ，b 的预测模式是2 ，那么当前块c 最可能的预测模 式是1 ，这时，就把模式1 作为当前块c 的m o s t p r o b a b l e m o d e 。 选择当前块c 的最佳预测模式b e s t m o d e 的具体准则是按下面的公式计算，最佳 预测模式的c o s t 最小。 c o s t = s a d + ，- l a m d a ( q p ) 其中s a d 表示当前块与预测块的绝对差的和，q p 表示量化参数，l a m d a ( q p ) 为 率失真因子，r 的取值与m o s t p r o b a b l e m o d e 有关，当要预测的模式等于 北京邮电大学硕士研究生毕业论文 第2 0 页共1 0 6 页 m o s t p r o b a b l e m o d e ，则r 为0 ，否则为1 。 在确定预测模式之后，需要对帧内预测模式进行熵编码，这样解码端才能正常解 码。由于一个宏块有1 6 个4 x 4 的块，这样以来将需要大量的比特开销。在实际编码 的过程中，由于b e s t m o d e 一般与m o s t p r o b a b l e m o d e 相同，利用这个特性来提高编码 效率。当前块的最佳预测模式b e s t m o d e 等于最可能的预测模式m o s t p r o b a b l e m o d e 时，用比特“1 ”表示，码长仅为l ，否则，用比特0 表示，然后比较b e s t m o d e 与m o s t p r o b a b l e m o d e ，如果前者小的话则不变，如果前者大的话则减1 ，这样把剩下 的8 种模式用0 7 来表示，然后再进行编码，码长为4 。这样，大部分预测模式都用 一个比特表示，只有在b e s t m o d e 与m o s t p r o b a b l e m o d e 不相同的时候才用4 比特表示， 节省了比特开销。 4 种1 6 x 1 6 亮度块的预测 上面介绍了4 x 4 亮度块的预测，1 6 x 1 6 亮度块同样也是由相邻的重建象素产生预 测块，然后求s a d 选择最佳模式，并对残差信号进行编码。表2 5 列出了4 种预测 模式。 表2 - 51 6 x 1 6 亮度块的4 种帧内预测模式 预测模式模式名称 0 i n t r a 一1 6 x 1 6 ，e r t i c a l 1 i n t r a 1 6 x 1 6 h o r i z o n t a l 2 i n t r a 1 6 x 1 6 d c 3 i n t r a 一1 6 x 1 6 j l a n e 图2 - 9 表示了预测的方向，同4 x 4 块一样，通过预测来去除象素在这个方向的相 关性。预测块的计算方法参阅“。1 6 x 1 6 的预测对图像平坦的区域比较有效，对于1 6 x 1 6 块模式的编码，因为一个宏块只要一个预测模式，比特开销不大，标准中是把预测模 式和宏块类型合在一起进行编码 1 】o 0 ( v e r t i c a l ) 1 ( h o r i z o n t a l ) 2 ( d c ) 3 ( p l a n e ) 桶蘑鏖藤 图2 - 91 6 x 1 6 亮度块帧内预测的方向1 1 北京邮电大学硕士研究生毕业论文第2 l 页共1 0 6 页 4 种色度块的预测 色度块也有4 种预测模式，与1 6 x 1 6 的亮度块基本一样，见表2 - 6 。 预测模式模式名称 o i n t r a _ c h r o m a d c l i n t r a c h r o m a h o r i z o n t a l 2 i n t r a c h r o m a ，e r t i c a l 3i n t r a c h r o m a j l a n e 表2 - 6 色度块的4 种帧内预测模式 图2 1 0 中表示了当前色度块与相邻象素，相邻象素同样存在有效与无效的情况。 a 、b 、c 、d 组成当前色度块，大小都是4 x 4 ，当d c 预测时，4 个块用不同的预测 值。 s os l s 2 ab s 3 cd 图2 1 0 色度块帧内预测的示意图 预测块的计算方法参考【”，另外，色度块帧内预测模式的编码采用统一的变长编码 ( u v l c ) ，本节后面将会讲到。 2 2 5 帧问预测 帧问预测是提高视频压缩比的关键技术，预测的好坏取决于运动估计的准确性。 随着视频编码标准的发展，运动估计的精确度不断提高，主要在以下几个方面。 匹配块的种类： 运动估计技术是以1 6 x 1 6 的宏块为基本单位进行搜索，找出最匹配的块。但是， 对于细节比较复杂的图像，在一个宏块中可能会有两个或两个以上的物体，每个物体 可能会有不同的运动方向，一个运动矢量就不能表示宏块的运动情况，在这种情况下， 如果把宏块继续分为更小的块进行运动估计，使不同运动方向的不同物体分在不同的 块中，用不同的运动矢量来表示运动情况，从而更好的去除空间的相关性，达到更好 的压缩效果。如图3 1 2 ，当前帧a 的宏块1 中有一个大圆和一个小圆，预测帧b 中， 小圆在宏块3 中，而大圆在宏块2 中，从中可以看出两个圆的运动方向不同，对宏块 北京邮电大学硕士研究生毕业论文第2 2 页共1 0 6 页 l 预测时，用两个运动矢量分别表示宏块的上半部和下半部效果会更好。 2 u 3 l n 秽 31 o 图2 1 2 当前帧a ( 左侧) 与预测帧b ( 右侧) 视频编码是以宏块为单位进行编码，早期的标准也是以宏块为单位进行运动估 计，找出匹配块，如h 2 6 1 。在m p e g - 2 中，由于引入了帧、场结合的编码，所以运 动搜索的块类型有两种：1 6 x 1 6 和1 6 x 8 ，增强了运动估计的精确性。h 2 6 3 标准的选 项f 为先进的预测模式，在1 6 x 1 6 的块运动估计的基础上加入了8 x 8 的块运动估计， 在m p e g - 4 中也是这样的，另外如果是帧场结合的预测，则需要进行1 6 x 8 的块的运 动估计。上述1 6 x 8 的块只有在场编码的时候才用到。h 2 6 4 标准引入了7 种大小的 块，极大的增强了编码效率。 匹配精度： 运动估计的匹配精度即采用整象素还是非整象素的运动估计。h 2 6 1 标准采用整 象素的运动估计，而h 2 6 3 标准或m p e g 一2 标准采用半象素的运动估计，m p e g 一4 中 也基本以半象素为主，可以选择1 4 象素的运动估计。到h 2 6 4 标准，引入了1 4 象 素甚至1 8 象素的运动估计。 瀚懑 图2 1 3 整象素与半象素示意图 数字图像是用离散的象素点来表示连续的自然图像，每个象素点的值是由摄像机 中的某个感光元件获取的。假定一幅图像中，纹理的边沿正好落在感光元件上，将会 被清楚的获取，这就表示整象素的定位。这样摄下来的图像，在此处纹理可以很好的 表现出原始图像。 而当某个纹理的边沿与感光元件有半个象素的距离，那么此处摄下的图像将会模 北京邮电大学硕士研究生毕业论文第2 3 页共1 0 6 页 糊，如果边沿两侧是黑与白的话，图像将呈现灰色，不能很好的表现原始图像。如图 2 1 3 。同样，纹理边沿与感光元件的距离可能是1 4 、3 4 象素或其他距离。 对于数字视频序列，同一个纹理的边沿在不同时刻可能会是整象素、半象素、1 4 象素等位置。在进行图像压缩的时候，如果只用整象素的运动估计，可能找不到很匹 配的块，因此引入了半象素或1 4 象素甚至1 8 象素的运动估计，通过象素点的内插 得到半象素或1 4 象素的点，把这些新插出的点都作为预测象素，有助于找到更匹配 的块。 参考帧： 传统的视频编码标准如m p e g 一2 ，采用了前向预测与后向预测，即通常所说的p 帧与b 帧。参考帧与当前帧都是相邻的，p 帧只进行前向预测，而b 帧进行前向与 后向的双向预测，比p 帧编码效率要高，但算法复杂。h 2 6 4 引入多参考i 帧的预测， 前向与后向不仅可以使用相邻的帧作为参考，而且可以参考前向与后向多个帧，来提 高预测的精确性，当然，这样做的代价是巨大的，因为算法复杂度与参考帧的数量是 成正比的。不难想象，对于周期性的图像序列或背景不变的图像序列来说，多参考帧 的预测相对与单参考帧可以提高编码效率。图2 1 4 中的图像序列采用h 2 6 4 的多帧 预测会比m p e g 一2 或m p e g 4 的预测效果要好。 图2 1 4 多参考帧预测示意图【6 】 h 2 6 4 致力于提高帧问预测的精确度，其运动估计具有3 个新的特点：1 4 象素 精度、7 种大小的块进行匹配、前向与后向多参考帧。事实上，h 2 6 4 就是在上述三 个方面做改进，以复杂的运算来提高编码的效率。 h 2 6 4 在帧间编码中，一个宏块( 1 6 x 1 6 ) 可以被分为1 6 x 8 、8 x 1 6 、8 x 8 的块，而 8 x 8 的块被称为子宏块，又可以分为8 x 4 、4 x 8 、4 x 4 的块，如图3 1 5 所示。总的来说， 共有7 种类型的块做运动估计找出最匹配的类型，从而更好的去除空间的相关性，达 到更好的压缩效果。 北京邮电大学硕r 上研究生毕业论文 第2 4 页共1 0 6 页 宏块口目田田 该块口目田田 图2 一1 5h 2 6 4 的块分配方式 我们知道，在h 2 6 3 中引入了半象素精度的运动估计，相对于整象素运动估计有 效的提高了压缩比，而1 4 象素精度的运动估计进一步起到了好的压缩效果。图3 1 6 表示了亮度信号的1 4 象素内插，半象素内插采用6 - t a p 滤波器( 1 、。5 、2 0 、2 0 、一5 、 1 ) ，例如b 点是由e 、f 、g 、h 、i 、j 计算得出，即b = ( e 5 f + 2 0 g + 2 0 h 5 i + j ) 3 2 。 1 4 象素则是采用线性差值得到，例如a = ( g + b ) 2 。具体的运动估计过程将在后面讲到。 囹圈园园图图图 圈圈园圆圆圈图 圈 圉 圈 圈 囤 圈 圜 固 圈 园 圃 圈 圈圈圈圆圈囵圈 圈囹团圃圈圈圜 图2 1 61 4 象素内插示意图【1 1 与以往标准的p 帧、b 帧不同，h 2 6 4 采用了前向与后向多个参考帧的预测，提 高了编码增益。 北京邮电大学硕士研究生毕业论文第2 5 页共1 0 6 页 大量的仿真表明，编码器中运用多种类型的块进行运动估计，节省了1 5 以上的 比特率，相对于一种1 6 x 1 6 的块来说。1 4 象素精度可以节省2 0 的比特率，相对于 整象素预测来说。多参考帧预测方面，假设为5 个参考帧预测，相对于一个参考帧来 说，可节省5 到1 0 比特率1 6 j 。以上百分比都是统计数据，不同视频因其细节特征 与运动情况而有所差异。 。 由于h 2 6 4 中引入了多块与多帧预测，那么关于m v d ( 运动矢量差) 的计算以 及匹配准则要比以往的标准复杂，接下来将讨论这两方面内容。 m v d 的计算 d bc a e 图2 1 7 运动矢量预测示意图 如图2 1 7 所示，e 为当前块，a 、b 、c 为相邻块，设m v a 、m v b 、m v c 、m v d 分别表示块a 、b 、c 、d 的运动矢量，块e 运动矢量的预测值取m v a 、m v b 、m v c 的中值，但有许多特例需要处理，规则如下： 1 、如果a 和d 无效的话，那么m v a 、m v d 设为零 2 、如果b 、c 、d 无效的话，那么设m v b 、m v c 、m v d 等于m v a 3 、如果c 无效的话，那么设m v c 等于m v d 4 、如果a 、b 、c 、d 任一个是i 块的话，则认为与当前块e 不在同一个参考帧。 5 、如果a 、b 、c 里仅有一个与e 的参考帧相同，假设只有a 与e 参考帧相同，则 用m v a 做块e 运动矢量的预测值 上述无效是指，此块与当前块不在同一个s l i c e 中，或者在当前块之后编码、或者 为i 块。 另外，对于8 x 1 6 与1 6 x 8 的块，预测矢量的选择比较特殊，如图2 1 8 。仍然参考 图2 1 7 中块的位置，规则如下： 1 、8 x 1 6 的块：左面的块用m v a 预测，右面的块用m v c 预测。 2 、1 6 x 8 的块：上面的块用m v b 预测，右面的块用m v a 预测。 3 、这两种块规定了预测的方向，但如果预测无效的时候，则按前面介绍的方法进行 预测。 北京邮电大学硕士研究生毕业论文第2 6 页共1 0 6 页 图2 - 1 88 x 1 6 与