（信号与信息处理专业论文）基于dsp+tms320dm642的h264视频解码的实现和优化.pdf

原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不 包含任何其他个人或集体己经发表或撰写过的科研成果。对本文的研 究作出重要贡献的个人和集体，均已在文中以明确方式标明。本声明 的法律责任由本人承担。 论文作者签名： 日期：) i o - 0 9 、9 - 6f j 日期： 、 ( j 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意学 校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权山东大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 敝储躲掣心臌名：煎日 山东大学硕士学位论文 摘要 h 2 6 4 a v c 是国际电信联盟i t u t 和国际标准化组织i s o 国际电工委员会i e c 联合推出的新标准作为新一代的多媒体应用视频编码标准，h 2 6 4 a v c 采用了 许多不同于以往标准的先进技术，在编解码效率和性能大幅提高的同时，也增加 了h 2 6 4 编解码器的复杂度，限制了在很多领域尤其是实时领域的应用。因此如 何在硬件资源有限的嵌入式环境下对h 2 6 4 视频编解码算法进行优化具有十分重 要的理论意义和实用价值。 由于处理速度快和资源消耗小两方面的优势，d s p 芯片在很多领域都有非常 出色的表现。t m s 3 2 0 d m 6 4 2 是美国德州仪器公司开发的第二代高性能超长指令 字结构的定点d s p 处理器，它扩展了专门用于视频图像处理的指令集，提高了视 频处理的并行性；在6 0 0 m i - i z 的时钟频率下，d m 6 4 2 的峰值处理速度达到 4 8 0 0 m i p s ( 每秒百万条指令) ；d m 6 4 2 具有丰富的片上外围接口，非常适合基于 i p 和无线网络的音视频传输、安全监控等视频图像处理领域的应用。 本论文丰要介绍的是在基于t it m s 3 2 0 d m 6 4 2 数字媒体处理器的硬件平台上开 发和优化h 2 6 4 解码器。首先，本文对n 2 6 4 标准进行了深入的介绍，然后基于p c 平台对选取的x 2 6 4 解码器代码进行了分析和修改，最后在d m 6 4 2 平台上完成了解 码器的移植和优化。所做的工作包括：对解码器程序进行修改并移植至i j d s p 平台 上运行；利用优化选项、内联函数、线性汇编等对程序进行改进，提高代码运行 的并行性；根据d m 6 4 2 两级c a c h e 的特点对代码进行了优化。 本论文的n 2 6 4 解码器经过重新设计和采用多种优化策略，每秒能够完成 3 5 - 5 0 帧q c i f 格式图像的解码，达到了实时解码的要求。 关键词：h 2 6 4 ；解码器；t m s 3 2 0 d m 6 4 2 ；移植；优化 山东大学硕士学位论文 a b s t r a c t h 2 6 4 a v ci st h en e w e s tv i d e oc o d i n gs t a n d a r do ft h e1 1 u - tv i d e oc o d i n g e x p e r t sg r o u pa n dt h ei s o i e cm o v i n gp i c t u r ee x p e r t sg r o u p a sav i d e oc o d i n g s t a n d a r df o rn e x t - g e n e r a t i o nm u l t i m e d i a , h 2 6 4 a v ca d o p t san u m b e ro fa d v a n c e d t e c h n o l o g i e sd i f f e r e n tf r o mt h ep r e v i o u ss t a n d a r d s i na d d i t i o nt oi m p r o v e dc o d i n g e f f i c i e n c ya n dc o d i n gp e r f o r m a n c e ，t h e s et e c h n o l o g i e sa d dt h ec o m p l e x i t yo fh 2 6 4 c o d e ra n dl i m i ti t sp r a c t i c a lu s ei nm a n y a r e a s ，p a r t i c u l a ri nr e a l t i m es y s t e m s ot h e r ei s t h e o r e t i c a lm e a n i n ga n dp r a c t i c a lv a l u et o o p t i m i z ev i d e oc o d i n ga n dd e c o d i n g a l g o r i t h m 谢1t h el i m i t e do n - c h i pm e m o r ys p a c ei ne m b e d d e de n v i r o n m e n t b e c a u s eo ft h ef a rs p e e da n dt h el o wc o n s u m p t i o no fr e s o u r c e s ，d s ph a s o u t s t a n d i n gp e r f o r m a n ei nm a n ya r e a s t h et m s 3 2 0 d m 6 4 2d e v i c ei saf i x e d - p o i n t d i g i t a ls i g n a lp r o c e s s o r ( d s p s ) b a s e do nt h es e c o n dg e n e r a t i o nh i g h - p e r f o r m a n c ev e r y l o n gi n s t r u c t i o nw o r d ( v l i w ) v e l o c i t 1 2d e v e l o p e db yt e x a si n s t r u m e n t s ( t i ) i t e x t e n d e di n s t r u c t i o ns e tf o ras p e c i a lv i d e o i m a g e p r o c e s s i n g ，e i 吐l a n c e dv i d e o p r o c e s s i n gp a r a l l e l i s m a tac l o c kr a t eo f6 0 0 m h z ，t h ed m 6 4 2d e v i c ec a np e r f o r mu p t o4 8 0 0m i l l i o ni n s t r u c t i o n sp e rs e c o n d ( m i p s ) t h ed m 6 4 2d i g i t a lm e d i ap r o c e s s o r h a san u m b e ro fp e r i p h e r a li n t e r f a c ec h i p ，i ti ss u i t a b l ef o rt h ev i d e oa n di m a g i n g a p p l i c a t i o n s ，f o re x a m p l e ，t h ea u d i o v i d e ot r a n s m i s s i o na n ds e c u r i t ym o n i t o ro v e ri p a n dw i r e l e s sn e t w o r k s t h em a i nt a s ko ft h i st h e s i si st od e v e l o pa n do p t i m i z eh 2 6 4d e c o d e rs o f t w a r eo n t h et e x a si n s t r u m e n t s t m s 3 2 0 d m 6 4 2d i g i t a lm e d i ap r o c e s s o r t h et h e s i sf i r s t l y m a k e sat h o r o u g hi n t r o d u c eo fh 2 6 4s t a n d a r d , t h e na n a l y z e sa n dm o d i f i e sx 2 6 4 d e c o d e ro nt h ep cp l a t f o r m ，m i g r a t e sa n do p t i m i z e st h ed e c o d e ro nt h ed m 6 4 2 p l a t f o r ma tl a s t t h ew o r ki n c l u d e ss e v e r a lp a r t s ：t or e d u c e ，m o d i f yt h es o u r c ep r o g r a m a n dm i g r a t ei tf r o mp ct ot h ed s p p l a t f o r m ；t oi m p r o v et h ea l g o r i t h ma n dc o d eu s i n g o p t i m i z a t i o no p t i o n s ，i n t r i n s i c sa n dl i n e a ra s s e m b l yl a n g u a g e ，w h i c hc a ni m p r o v et h e p a r a l l e l i s m ；t oo p t i m i z et h ec o d ec o n s i d e r i n gt h ec h a r a c t e ro ft w ol e v e lc a c h es t r u c t u r e o fd m 6 4 2c h i p o u rh 2 6 4d e c o d e rc a nd e c o d e3 5 - - 。5 0f r a m e sp e rs e c o n d ( f p s ) f o rq c i fr e s o l u t i o n v i d e ob yr e d e s i g n i n ga n do p t i m i z i n g ，a c h i e v i n gt h er e a l - t i m ed e c o d i n go fq c i fv i d e o s e q u e n c e sb a s i c a l l y 2 k e y w o r d ：h 2 6 4 ；d e c o d e r ；t m s 3 2 0 d m 6 4 2 ； m i g r a t i o n ；o p t i m i z a t i o n 山东大学硕士学位论文 第一章绪论 随着信息技术的高速发展，人们对多媒体的需求越来越多，各种数字视频应 用，如数字电视，视频电话，视频会议，视频传输，存储，视频娱乐等，已经广 泛地深入到我们的工作和生活中，为人们的日常生活提供了便利。然而，由于视 频信号所包含的信息量较大，传输网络所需要的带宽相对较宽。例如，用于可视 电话的视频质量较低的q c i f 格式的视频信号，在帧率为3 0 f p s 、未进行数据压缩 的情况下，视频码率仍需要( 1 7 6 1 4 4 8 3 2 ) 3 0 = 9 1 m b p s ，而一路高清晰 电视信号( h d t v ) ，不压缩后竟需要1 g b i t s 的传输速度。因此，如何压缩视频数 据量成为多媒体技术发展的关键问题，成为降低传输成本和存储成本的一个重要 手段。 多年来，各国际机构不断致力于先进视频压缩算法的研究和视频标准的制 定。由此产牛的各种视频压缩标准为视频数据的压缩和传输提供了解决方案，最 新的压缩标准h 2 6 4 博采众长，以其高效性和开放行得到了广泛的关注，它优异的 压缩性能在数字广播电视、视频实时通信、网络视频流媒体传递以及多媒体短信 等各个方面发挥了重要的作用。同时，高效的视频压缩标准对多媒体通信的终端 提出了更高的要求。多媒体通信终端系统的关键是信号处理，视频信号是信息量 最大、数据量最大的部分，由于传输信道带宽的限制，必须对视频信号进行压缩 处理以适应信道码率的要求，而视频压缩一般都具有很高的运算复杂度，像运动 估计，d c t 变换等，运算量非常大，它们占用了多媒体信号处理总量的绝大部分 时问。因此具有较高运算能力的处理器才能作为多媒体通信终端的运算单元。t i 公司的d s pt m s 3 2 0 d m 6 4 2 处理器具有高丰频、多条流水线、高并行度以及专门的视 频信号处理指令等优点，很适合成为新一代视频压缩标准多媒体处理的硬件平台。 1 1 课题背景 1 1 1 视频编码的基本原理 视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息 可分为空域冗余信息和时域，凡余信息。压缩技术就是将数据中的冗余信息去掉( 去 除数据之间的相关性) ，预测编码和变换编码是当前视频编码中最常用的技术， 山东大学硕士学位论文 预测和变换的丰要目的是降低图像原始空间域表示中的相关性，使得预测或变换 后的数据矩阵变成弱相关性矩阵，这样可以用标量量化和熵编码来进行有效的压 缩。预测编码分为线性预测和非线性预测两种，它既可以在一幅图象内进行( 帧 内预测编码) ，也可以在多幅图象之间进行( 帧问预测编码) 。预测编码是基于 图象的空间和时间冗余特性，用相临的已知象素来预测当前象素的取值，然后再 对预测差值进行量化和编码。 与预测编码技术相比，消除图象数据空间相关性的一种更有效的方法是进行 信号变换，通过变换编码使图象数据在变换域上最大限度地不相关。尽管图象变 换本身并不带来数据压缩，但由于变换后系数之间相关性明显降低，图象大部分 能量集中到少数几个变换系数上，采用适当的量化和熵编码后可以有效地压缩图 象的数据量。常用的变换方法包括正交变换、k - l 变换、d c t 变换等。 近年来，一些新型编码方法如分形编码( f r a c t a lc o d i n g ) 、模型编码 ( m o d e l b a s e dc o d i n g ) 和小波编码( w a v e l e tc o d i n g ) 等正逐步成为图像视频编码 领域的研究热点。分形编码通过消除图像的几何冗余度来压缩数据，对某些具有 明显自相似性或统计自相似性的图像具有较高的编码效率，t u 对一般图像的编码 效率不是很高，并且它没有考虑人眼的视觉特性，算法也十分复杂。基于模型的 图像编码方法以先验模型为基础，通过调整模型参数来实现高效压缩，但模型编 码存在建模复杂、恢复图像不够自然等很多问题，应用范围受到很大限制。小波 编码是一种基于小波变换的图像编码方法，它拥有传统编码方法的一些优点，能 够很好地消除图像数据中的统计冗余；小波变换的多分辨率特性提供了可以充分 利用人眼视觉特性的机制，也为进一步对图像进行不同频率区域的压缩提供了很 好的编码于段。 1 1 2 视频编解码的发展历程 国际电信联盟i t u t( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ) 和国际标准化组织i s o ( i n t e r n a t i o n a l s t a n d a r d i z a t i o no r g a n i z a t i o n ) 国际电工委员会i e c ( i n t e r n a t i o n a le l e c t r o nt e c h n i c a l c o m m i s s i o n ) 是制订标准的两大组织。i t u t 制定的视频压缩协议丰要是h 系列， 包括早期的h 2 6 1 ，h 2 6 3 ，h 2 6 3 + + + 和当前正在完善的h 2 6 4 。h 系列视频编码标 4 山东大学硕士学位论文 准主要应用于视频电话、视频会议、视频广播等领域，针对低码家视频要求。 i s 0 i e c n 定的国际视频协议是m p e g 系列，包括m p e g 一1 ，m p e g 一2 和最新的视频编码 标准m p e g - 4 。m p e g 主要是针对视频压缩码率不是太低的应用领域，如v c d ，d v d 、 视频娱乐、h d t v 等。虽然这些视频编码标准所采用的具体技术细节不同，但是它 们都遵循运动估计、运动补偿、变换编码、嫡编码这样的编码框架。下面对一些 主要视频编码标准作简要介绍。 1 ) h 2 6 1 标准 h 2 6 1 是i t u - t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电话、 视频会议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式 进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来 处理。h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分， 包括运动补偿的帧间预测、d c t 变换、量化、嫡编码，以及与固定速率的信道相 适配的速率控制等部分。h 2 6 1 在实时编码时l l m p e g 所占用的c p u 运算量少得多， 此算法为了优化带宽占用量，引进了在图像质量与运动幅度之间的平衡折衷机 制，也就是说，剧烈运动的图像比相对静止的图像质量要差。由于该标准丰要针 对实时业务，要求编解码的延时尽可能小，所以只采用了单参考帧作前向预测。 h 2 6 1 是一个典型的预测变换( d p c m d c t ) 编码方案。 2 ) h 2 6 3 标准 h 2 6 3 标准是删t 于1 9 9 6 年制定的一种码率低于6 4 k b p s 的甚低比特率视 频压缩编码标准。h 2 6 3 编码算法核心仍然采用h 2 6 1 标准中的d p c m d c t 混合 编码方法，同时吸收了m p e g 等其它一些国际标准中有效合理的部分，如半像素 精度预测、不受限运动矢量、高级预测模式、p b 帧等，在编码性能和复原图像质 量上都优于h 2 6 1 。目前h 2 6 3 标准作为视频编码解码的核心算法被广泛应用于 视频电话终端如h 3 2 4 ( p s t n ) ，h 3 2 0 ( n i s d n ) 和h 3 1 0 ( b i s d n ) 等。 h 2 6 3 + 和h 2 6 3 + + 是i t u t 在h 2 6 3 标准基础上推出的修订版本，增加了1 5 个 可选模式，支持自定义图像格式和图像冻结与快照等，目的是拓宽应用领域、提 高压缩效率和抗误码能力等。 3 ) m p e g - i 标准 山东大学硕士学位论文 m p e g - 1 是i s o i e c 活动图像专家组( m o v i n gp i c t u r ee x p e r tg r o u p ) 为速率 为1 1 。5 m b p s 的数字声像信息的存储而制定，共分为图象编码、声音编码以及声 像同步与复用( 系统) 三个部分，可适用于不同带宽的设备，如c d r o m ，v i d e o c d 等。m p e g 1 同样采用d p c m d c t 混合编码方式，但与h 2 6 1 和h 2 6 3 标准不同， m p e g 更侧重于控制视频质量而不是码率。在编码方法上，m p e g 1 除了包含i 帧 ( i n t r a c o d e df r a m e ) 和p 帧( p r e d i c t i v ef r a m e ) 外，还增加了b 帧( b i d i r e c t i o n a l f r a m e ) 和d 帧( d cf r a m e ) 。 4 ) m p e g - 2 ( 1 - i 2 6 2 ) 标准 m p e g - 2 标准是由i s o 肥c 和r r u - t 共同制定的，设计目标是高级工业标准的 图象质量以及更高的传输率。它所提供的传输速率在3 m - 1 0 m b p s 。m p e g - 2 技术就是 实现d v d 的标准技术，现在d v d 播放器已经在家庭中普及起来了，除了用于d v d 外，还可以为广播、有线电视网、电缆网络以及卫星直播提供广播级的数字视 频。m p e g 2 系统与m p e g 一1 系统向下兼容，核心编码技术仍是分块d c t 和帧间运 动补偿预测技术，t u 开始支持半像素预测，引入“帧”和“场”两种编码模式。 作为一个得到普遍应用的国际标准，m p e g 2 的成功之处在于它的共性和兼容 性，标准规定了分辨率从低到高的4 个级别( 1 e v e l ) 5 个档次( p r o f i l e ) 共l1 种单独 的技术规格，分别用于标准数字电视、高清晰度电视，码率从4 m b p s 1 0 0 m b p s ， 可以满足不同用途的需要。 5 ) m p e g - 4 标准 i s o 的m p e g - 4 工作组在1 9 9 3 年成立，它的初衷是制定一个通用的低码率 ( 6 4 k b s 以下) 标准，并打算采用第二代压缩编码算法，以有效地支持甚低码率 的应用，但是由于很多压缩编码的第二代算法仍在研究阶段，在m p e g - 4 工作组 预定的时间内似乎还不够成熟，因而m p e g - 4 的目标后来转向支持目前的标准尚 未全面推广的应用。例如，移动通信中的声像业务、其它多媒体数据如计算机产 牛的图形图象的集成和交互式多媒体服务等。 m p e g - 4 更加注重多媒体系统的交瓦性和灵活性，以及多产业领域的融合。 该标准不再是一种具体的音视频压缩编码算法，而是将众多的多媒体应用集成于 一个完整的框架内，人们可以在系统中加入许多新的算法。m p e g 4 首次引入了 音视频对象( a v o ：a u d i o v i d e oo b j e c t ) 的概念，可以对a v o 进行独立编码、 6 山东大学硕士学位论文 存储和传输，用户在接收端可以对画面进行操作和交互访问。这种基于内容的编 码方法很好地利用了人的心理特性，比现有以像素为基础的标准具有更好的压缩 性能，也更适合于a v 服务和远程监控。m p e g 一4 还扩充了编码的数据类型，由自 然数据对象扩展到计算机生成的合成数据对象，采用合成对象自然对象混合编 码( s y n t h e t i c n a t u r a lh y b r i dc o d i n g ，s n h c ) 算法：基于内容的压缩编码是卿e g 研究的热点。m p e g - 4 的编码系统是开放的，为各种多媒体应用提供一个灵活的框 架和一套开放的编码工具，不同的应用可选取不同的算法。 6 ) h 2 6 4 标准 h 2 6 4 a v c 是i ，r u t 和i s o i e c 共同成立的联合视频工作组j 、，t 开发的新一代 视频压缩编码标准。2 0 0 2 年5 月，n 叮形成委员会草案，7 月形成最终委员会草 案，1 2 月形成最终国际标准草案。2 0 0 3 年5 月，h 2 6 4 a v c 标准正式推出，正式名 称为h 2 6 4 m p e g - 4p a r t1 0a v c ( a d v a n c e dv i d e oc o d i n g ) 。本文将在第二章中对 h 2 6 4 标准做详细介绍。 1 1 3 课题的研究现状及应用前景 因为h 2 6 4 具有显著的性能优势，因此存在巨大的市场价值。目前，国内外众 多的研究机构和企业公司在h 2 6 4 的研究方面投入了大量的人力物力，依托于 h 2 6 4 的新技术和新产品层出不穷。在解码器方面，挪威的t a n d b e r g - 率先在视频 业界首家推出了支持h 2 6 4 的产品：2 0 0 5 年1 月美国b r o a d c o m 公司已经发布了可对 h 2 6 4 编码格式h d t v 影像进行解码的l s i ”b c m 7 4 11 ”：另夕b c o n e x a n t ( t h ec x 2 4 1 8 x ) ， n e o m a g i c ( m i m a g i c6 ) 和s t m i c r o e l e c t r o n i c s ( t h es t b 7 1 0 0 ) 等几家公司也都提 供了可供测试的h 2 6 4 解码器样片；加拿大的一家企业u b - - v i d e o 提供的h 2 4 6 解决 方案目前是i t 官方网站上推荐的一款成功的解决方案，u b - - v i d e o 的工程人员采用 t m s 3 2 0 d m 6 4 2 数字信号处理芯片作为平台，重点实现和优化了m a i np r o f il e 的编解 码器；一家美国企业w w 通信公司则基于t i 的c 6 4 x 和d m 6 4 x 两个系列的d s p 实现了 h 2 4 6 的b a s e li n e 编解码系统但1 。另外，日本a d i ，n e c ，j v c 、大金工业等多家公司 也各自推出了自己的编解码器产品。在国内，虽在n 2 6 4 的产品开发方面起步稍 晚，目前己有不少公司开展了支持h 2 6 4 标准的产品研发。 尽管h 26 4 具有很多以往标准无法比拟的优点，但该标准计算复杂度高，用 7 山东大学硕士学位论文 一般的图像处理芯片难于达到实时编解码的要求。因此，多媒体通信终端的实现 除了需要适合多媒体通信的协议标准和软件算法外，还需要快速、稳定的处理器 作为多媒体信号处理的平台。两者的结合才能产生高效的多媒体通信设备。随着 数字信号处理器d s p 的高速发展，为实现高效的音视频信号处理提供了可能性。 将h 2 6 4 算法在高速d s p 平台上实时实现，使之不仅适合于可视电话、视频会议、 高清晰电视等应用场合，同时也适用于嵌入手机等移动终端的使用，是目前多媒 体信号处理及图像通信研究领域的一个热点问题。研究如何获得一种低成本、便 携、高效的多媒体通信终端平台具有重要的意义，并有很好的市场应用潜力。 1 2 视频解码芯片的选择 目前，适用于视频处理的多媒体处理器结构大致可以归纳为四大类：专用集 成电路、通用处理器、通用d s p 芯片和视频处理器四类【4 】。视频编解码从本质上来 说是数字信号处理，因此，我们认为通用d s p 芯片更适合进行嵌入式开发和实时视 频编解码算法的仿真与实现。譬如，采用改进的哈佛总线结构，内部采用硬件乘 法器、累加器，使用流水线结构，具有良好的并行特性，并有专门设计的适合信 号处理的指令系统等。d s p 芯片的这些特点使得它非常适合用于不允许有延迟的 实时应用领域，并且对于图像处理系统而言，一块d s p 芯片结合外围电路就能完 成整个系统的功能。这种方案的好处是系统灵活，硬件系统设计完成后，整个系 统的升级仅仅是修改软件即可完成。 本课题选用的d s p 芯片是美国t i 公司的t m s 3 2 0 c 6 0 0 0 系列通用d s p 芯片， 改芯片适合应用于运算量大、算法复杂度高的多媒体处理。t l 公司为d s p s 产品 开发了汇编语言和c 语言代码产牛工具以及各种软硬件调试工具，使d s p s 的开发 难度大大降低。f u 是在t i 的d s p 上进行程序开发需要开发者针对芯片结构和指令 集特点进行多种优化，对开发者有较高的要求。 1 3 论文主要内容以及结构安排 第一章绪论，丰要介绍了视频编解码的原理和发展历程，阐述了本课题的研究 现状和应用前景，对本文的丰要工作和结构安排进行了介绍。 山东大学硕士学位论文 第二章丰要介绍新一代视频压缩编码标准一h 2 6 4 ，着重阐述h 2 6 4 标准的特 点、编解码器的结构及发展前景，并对开源解码器进行了评测。 第三章主要介绍了h 2 6 4 解码器中涉及的关键技术，并在p c 平台上对解码器 进行了修改和优化。 第四章介绍了硬件开发平台d s pt m s 3 2 0 d m 6 4 2 及软件开发环境c c s ，详细 介绍了h 2 6 4 解码器的d s p 移植。 第五章h 2 6 4 解码器在d s p 平台上的优化，主要是从程序结构、内联函数、 线性汇编、存储器等方面对解码器进行优化，并对优化后的解码器做性能分析。 第六章对本文进行总结，探讨课题的进一步的发展方向。 山东大学硕士学位论文 第二章h 2 6 4 视频编码标准及解码器评测 2 1h 2 6 4 视频编解码标准介绍 新一代视频压缩标准h 2 6 4 采用“回归基本”的简洁设计，不用众多的选项， 但可以获得很高的压缩性能；加强了对各种信道的适应能力，采用“网络友好”的 结构和语法，有利于对误码和丢包的处理；应用目标范围较宽，以满足不同速 率、不同解析度以及不同传输( 存储) 场合的需求。技术上，它集中了以往标准 的优点，并吸收了标准制定中积累的经验。h 2 6 4 在所有码率下都能持续提供较 高的视频质量，能工作在低延时模式以适应实时通信的应用( 如视频会议) ，同时又 能很好地工作在没有延时限制的应用，如视频存储和以服务器为基础的视频流式 应用。h 2 6 4 提供包传输网中处理包丢失所需的工具，以及在易误码的无线网中 处理比特误码的工具。在系统层面上，h 2 6 4 提出了一个新的概念，在视频编码 层( v i d e oc o d i n gl a y e r ，m c l ) y 阿i 络提取层( n e t w o r ka b s t r a c t i o nl a y e r ，n a l ) 之 间进行概念性分割，前者是视频内容的核心压缩内容之表述，后者是通过特定类 型网络进行递送的表述，这样的结构便于信息的封装和对信息进行更好的优先级 控制。 2 1 11 t 2 6 4 的技术特点 帧内预测编码 帧内编码用来缩减图像的卒间冗余。为了提高h 2 6 4 帧内编码的效率，在给 定帧中充分利用相邻宏块的空间相关性，相邻的宏块通常含有相似的属性。因 此，在对一给定宏块编码时，首先可以根据周围的宏块预测( 典型的是根据左上 角的宏块，因为此宏块已经被编码处理) ，然后对预测值与实际值的差值进行编 码，这样，相对于直接对该帧编码而言，可以大大减小码牢。在h 2 6 4 中，4 x 4 亮 度予块有9 种可选预测模式，适用于大量细节图象的编码，1 6x1 6 亮度块有4 种 预测模式，适用于平坦区域的图象编码。而i - p c m 编码方式是作为两种方式的替 代方式，允许编码器不经过预测和变换编码过程，而是直接把编码的采样值传送 出去。对色度都采用8 x 8 预测模式，8 x 8 预测也有4 种预测模式。显然，h 2 6 4 采 l o 山东大学硕士学位论文 用的帧内预测【9 】不是在时间域上，而是在空间域上进行的预测编码算法，可以除 去相邻块之间的空间冗余度，取得更为有效的压缩效果。 帧间预测编码 帧问预测编码利用连续帧中的时间冗余来进行运动估计和补偿。h 2 6 4 的运 动补偿支持以往的视频编码标准中的大部分关键特性，而且灵活地添加了更多 的功能，除了支持p 帧、b 帧外，h 2 6 4 还支持一种新的流间传送帧s p 帧，码流中包含s p 帧后，能在有类似内容但有不同码率的码流之间快速切换， 同时支持随机接入和快速回放模式。h 2 6 4 的运动估计有以下4 个特性。 ( 1 ) 不同大小和形状的宏块分割 对每一个1 6 x 1 6 像素宏块的运动补偿可以采用不同的大小和形状，h 2 6 4 支持7 种模式。小块模式的运动补偿为运动详细信息的处理提高了性能，减少了方块效 应，提高了图像的质量。 ( 2 ) 高精度的亚像素运动补偿 在h 2 6 3 中采用的是半像素精度的运动估计，而在h 2 6 4 中可以采用1 4 或者 1 ，8 像素精度的运动估值。在要求相同精度的情况下，h 2 6 4 使用1 4 或者1 8 像素精度的运动估计后的残差要比h 2 6 3 采用半像素精度运动估计后的残差来得 小。这样在相同精度下，h 2 6 4 在帧间编码中所需的码率更小。 ( 3 ) 多帧预测 h 2 6 4 提供可选的多帧预测功能，在帧间编码时，可选5 个不同的参考帧，提供 了更好的纠错性能，这样更可以改善视频图像质量。这一特性丰要应用于以下 场合：周期性的运动、平移运动、在两个不同的场景之间来回变换摄像机的镜 头。 ( 4 ) 去块滤波器 h 2 6 4 定义了自适应去除块效应的滤波器，这可以处理预测环路中的水平和垂直 块边缘，大大减少了方块效应。 整数变换与量化 在1 t 2 6 4 中，采用的是基于4 x 4 块的整型d c t 运算，使得变换仅用整数加减 法和移位操作即可实现，避免了h 2 6 3 中d c t 小数运算，减少了运算量和复杂 度，从而有利于实现实时化和移植到定点d s p 上。这样做的代价是压缩性能的略 山东大学硕士学位论文 微下降。为进一步利用图像的空间相关性，在对帧间预测残差和帧内预测的预测 残差进行上述整数d c t 变换后，标准还将每个4 x 4 变换系数块中的d c 系数抽取出 来组成2 x 2 或4 x 4 大小的块，进一步做哈达玛变换。对于4 x 4 块的逆d c t 变换在 h 2 6 4 中同样进行了整型化，整型化过程与d c t 变换类似。 h 2 6 4 中可选3 2 种不同的量化步长，这与h 2 6 3 中有3 1 个量化步长很相 似，但是在h 2 6 4 中，步长是以1 2 5 的复合率递进的，而不是一个固定常数， 变换系数的读出方式也有两种：之字形( z i g z a g ) 扫描和双扫描。 熵编码 熵编码【2 4 】是无损压缩的编码方法，它生成的码流可以经过解码无失真地恢复 出原数据。h 2 6 4 采用两种熵编码的方法，一种是基于上下文自适应的可变长编 码( c a c ) ，它的特点是根据已编码的句法元素的情况，动态地调整编码中的 码表，因此获得了极高的压缩率。另一种编码方法是基于上下文的自适应二进制 算术编码( c a b a c ) ，它的特点是可以简单的通过更新符号概率表来实现对信源 统计特性的自适应，通过对不同上下文用不同的概率表可以容易的实现条件编 码。 c a b a c 熵编码方法是h 2 6 4 a v c 标准丰要的一部分，在视频流、广播或存 储等方面得到广泛的应用。实验结果显示了c a b a c 相对于v l c c a v l c 等熵编 码方法具有强大性能。对于广播中的典型应用，在3 0 3 8 d b 的可接受视频质量范 围中位速率平均节省9 1 4 。 2 1 2h 2 6 4 视频编解码器的结构n 钉 h 2 6 4 并不明确地规定一个编解码器如何实现，而是规定了一个编了码的视频 比特流的句法，和该比特流的解码方法，在实现上具有较大的灵活性。 山东大学硕士学位论文 编码器结构 图2 1h 。2 “编码器 h 2 6 4 编码器采用的是变换和预测的混合编码方法，在图2 _ 4 中，输入的帧或 场f n 以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。 如果采用帧内预测编码，其预测值p r e d ( 图中p ) 是由当前片中以编码的参考图 像经运动补偿( m c ) 后得出的，其中参考图像用f 。1 表示。为了提高预测精度， 从而提高压缩比，实际的参考图像可以在过去和未来已编码解码重建和滤波的帧 中进行选择。预测p r e d 和当前块相减后，产牛一个残差块d 。，经块变换、量化 后产生一组量化后的变换系数x ，再经熵编码，与解码所需的一些边信息一起组 成一个压缩后的码流，经n a l ( 网络自适应层) 供传输和存储用。为了提供进一 步预测用的参考图像，编码器必须有重建图像的功能。因此必须使残差图像经反 量化、反变换后得到的d n 与预测值p 相加，得到u f 。( 未经滤波的帧) 。为了 除去编码解码环路中产牛的噪声，提高参考帧的图像质量，从而提高压缩图像的 性能，设置了一个环路滤波器，滤波后的输出f n 即为重建图像，可用作参考图像。 山东大学硕士学位论文 解码器结构 艮l ( 参考帧) r t 重建帧) 翮戈k补偿r 弋 u1 r n p d n xw a l 图2 2h 2 6 4 解码器 解码器的码流方向是从右到左的，对应编码的逆过程。解码器从n a l 接收压缩 后的比特流：经过嫡解码和顺序重排，得到量化后宏块系数x ：反量化、反变换生成 d n ，这一过程和编码器重建码流牛成d n 的过程一致。使用码流中解出的头信息， 解码器从参考帧中得到预测宏块p ，和编码器形成的原始预测宏块p 相同。p 与d n 相加得n uf n ，对重建图像进行滤波，去除块效应，得到解码图像f 。对比h 2 6 4 编解码流程可以看到，编码器的重建码流的目的是为了保证编解码器使用的预测 值p 相同，即使用的参考帧相同。否则，使用不同的预测值p 会导致在编解码器间 产牛错误或者偏差。 2 1 3h 2 6 4 的应用领域和发展前景 h 2 6 4 的高编码效率和“网络友好性”提供了新的应用领域和商业机会。其 潜在的应用领域非常广泛，包括吲： 基于有线电缆、卫星、m o d e m 、d s l 等通信信道的广播 视频数据在光学或磁介质上的存储 基于i s d n 、以太网、局域网、d s l 、无线及移动网络，m o d e m 等的交瓦 式视频会话服务 基于多种i p 和无线网络的视频点播和流媒体服务 互联网多媒体信息服务( m m s ) 1 4 内5 帧两型 _ 祗兰 山东大学硕士学位论文 h 2 6 4 标准自正式发布以来，得到了业界的强有力的支持。在卫星传输方面， 美国及欧洲的主要卫星电视运营商已经决定采用h 2 6 4 ；在地面传输市场，日本 六大电视台联合与m p e gl a 签约，决定采用h 2 6 4 标准；在光盘机市场，d v d 论 坛决定将h 2 6 4 、w m v 9 与m p e g - 2 - - 道确定为新一代蓝光d v d 机h dd v d 的编解 码标准。而一些大公司包括d e u t s c h et e l e k o m ，b r o a d c o m ，n o k i a ，m o t o r o l a 等目 前都在开发h 2 6 4 的实时解决方案。半导体公c o n e x a n t ，l s il o g i c ，s t m 等也陆 续发布了h 2 6 4 专用解码芯片的样片和最新成果。在国内市场，电信运营商、内 容提供商目前正在进行m t v 、i p v o d 服务的试点。可以预见，在未来几年内， h 2 6 4 标准的产业化进程将进一步加快，其在网络传输、移动通信、视频存储等 领域将扮演越来越重要的角色。 2 2h 2 6 4 开源解码器评测 2 0 0 3 年5 月，当h 2 6 4 编码标准草案发布时，很多人都觉得h 2 6 4 太复杂，不 宜实用。 u 随着硬件性能的提高和视频编码工作者对h 2 6 4 的不断优化，如今的 h 2 6 4 已完全实用，最新的达芬奇芯片上能实现d 1 分辨率( 7 2 0 * 4 8 0 ) 视频的实时编 码，而对于解码，普通的p c 机就能实现x 2 6 4 编码的d v d r i p e g 影的流畅播放。对 于现在的编解码发展所取的成就，h 2 6 4 的开源项目以及参与这些项目的开发者自 然是功不可没。 2 2 1h 2 6 4 主要开源解码器介绍7 1 1 、j md e c o d e r j md e c o d e r 是h 2 6 4 的官方源码，通常也称为校验模型。其特点是支持特性 好，实用性差。本文选用的程序是j m 8 6 ，不支持h i g hp r o f i l e ，j m 一直没有做实 用化方面的努力，所以其解码速度代表的是2 0 0 3 年的水平 2 、t 2 6 4d e c o d e r t 2 6 4 是国内的开源项目，t 2 6 4 d e c o d e r 的程序做过汇编优化，速度还可以，但 只能解t 2 6 4 本身的码流。本文使用的是t 2 6 40 5 0 6 1 8 版本，支持b a s e l i n e 的解码。 3 、x 2 6 4d e c o d e r 山东大掌硕士学1 立论文 ) 【2 “本身没有d e c o d e r ，但其包含d e c o d e r 的部分函数雏形，本文的x 2 6 4 d e c o d e r 是开源项目开发者在x 2 6 4s v nc h e c ko u t2 0 0 5 1 2 2 6 的基础上实现的，支持 b a s e l i n e 的解码。 4 、f f i n p e gl i b a v c o d e c f f m p e g 是一个大项目，它包含各种音视频标