（信号与信息处理专业论文）基于tms320dm642的h264解码器研究与实现.pdf

摘要 摘要 由i t u t 和i s o f i e c 联合开发的新一代视频编码标准h 2 6 4 ，因其很高的数据 压缩比率、良好的网络亲和性、较强的抗误码特性等优势，越来越得到广泛应用 和学术研究。但同时h 2 6 4 编解码器庞大的代码量和很高的计算复杂度，不仅对 平台的性能提出了很高的要求，也大大增加了实时实现的难度。t i 公司推出的新 一代数字媒体处理器t m s 3 2 0 d m 6 4 2 ( 以下简称d m 6 4 2 ) 具有处理速度快、并行处 理能力强、专用的音视频接口、e d m a 通道等特点为视频实时解码提供了一个良 好的平台。研究h 2 6 4 解码算法并在d m 6 4 2 上高效实现对于多媒体通信终端平台 的应用具有重要的参考意义，并有很好的市场应用潜力。 本论文正是针对上述问题，以h 2 6 4 解码器的d m 6 4 2 高效实现为主要研究对 象，在深入分析h 2 6 4 解码算法和d m 6 4 2 硬件结构基础上，对影响解码器效率的 关键模块作了改进和优化。主要内容为： 1 构建d s pd m 6 4 2 平台上的解码器软件架构。将p c 平台下的h 2 6 4 解码器 移植到d m 6 4 2 上，使之符合d m 6 4 2 的程序结构和存储空间分配，并进行移植后 的编译链接和运行测试。 2 深入分析了h 2 6 4 解码器的运算复杂度和空间消耗。对d m 6 4 2 平台上的 解码器应用t c c sp r o f i l e 工具分析其耗时和存储器空闯消耗情况，找出影响解码 器效率的部分作为优化实现的重点。 3 基于d m 6 4 2 的h 2 6 4 解码器优化实现。详细分析了h 2 6 4 解码器的算法 原理，并结合d m 6 4 2 的特点，对解码器进行一系列的优化改进：包括：算法改进、 程序结构调整、存储空间分配优化、线性汇编优化等。 4 解码输出显示和系统测试分析。将解码视频通过d m 6 4 2 视频口输出到电 视机显示，并对优化实现后的解码器进行整体测试和分析。 经过上述工作后，h 2 6 4 解码器已经可以在d m 6 4 2 上正确解码和输出显示， q c i f 解码速度达到4 6 3f r , s 左右，满足实时性的要求。 关键词：h 2 6 4 ，解码器，d s p ，t m s 3 2 0 d m 6 4 2 ，两行缓存机制 a b s t r a c t a bs t r a c t t h en e wg e n e r a t i o nv i d e oc o d i n gs t a n d a r dh 2 6 4w h i c hw a sp r o p o s e db yi t u t a n di s o i e ci n t e r n a t i o n a lo r g a n i z a t i o n , i sb e i n gm o r ea n dm o r ee x t e n s i v e l ya p p l i e da n d r e s e a r c h e di nt h ef i l e do fi n d u s t r ya n da c a d e m i cb e c a u s eo ft h ea d v a n t a g e ss u c ha s ：h i 曲 d a t ac o m p r e s s i o nr a t i o ，g o o dn e t w o r ka d a p t a b i l i t y , s t r o n ga n t i - e r r o rc h a r a c t e r i s t i c ，a n d s oo n b u ta tt h es a m et i m e ，t h eh u g ea m o u n to fc o d ea n dv e r yh i g hc o m p u t a t i o n a l c o m p l e x i t yo fh 2 6 4e n c o d e ra n dd e c o d e rn o to n l yh a sah i g hr e q u i r e m e n to nt h e p l a t f o r mp e r f o r m a n c e ，b u t a s o g r e a t l y i n c r e a s et h e d i f f i c u l t y o fr e a l t i m e i m p l e m e n t a t i o n t h en e wg e n e r a t i o nd i g i t a lm e d i ap r o c e s s o rt m s 3 2 0 d m 6 4 2 ( d m 6 4 2 f o rs h o r t ) w a sl a u n c h e db yt e x a si n s t r u m e n t sc o r p o r a t i o n i th a sp r o v i d e da g o o d p l a t f o r mf o rv i d e or e a l - t i m ed e c o d i n g 谢t l lt h ef e a t u r e so fq u i c kp r o c e s s i n g ，s t r o n g p a r a l l e lp r o c e s s i n ga b i l i t y , s p e c i a la u d i oa n dv i d e oi n t e r f a c e ，e d m ac h a n n e l ，a n ds oo n t h ei m p l e m e n t a t i o na n dr e s e a r c ho fh 2 6 4d e c o d e rb a s e do nd m 6 4 2h a si m p o r t a n t s i g n i f i c a n c eo np l a t f o r mo fm u l t i m e d i ac o m m u n i c a t i o nt e r m i n a l ，a l s oh a sp o t e n t i a lo f m a r k e ta p p l i c a t i o n s i nt h i st h e s i s ，t h ee f f e c t i v ei m p l e m e n t a t i o no fh 2 6 4d e c o d e rb a s e do nd m 6 4 2 h a sb e e na n a l y z e d 。t h e nk e ym o d u l e so fd e c o d e rt h a tg r e a t l ya f f e c te f f i c i e n c ya r e i m p r o v e da n do p t i m i z e do nt h eb a s i so fd e e pa n a l y s i so fh 2 6 4d e c o d e ra l g o r i t h ma n d d m 6 4 2h a r d w a r ea r c h i t e c t u r e t h em a i nr e s u l t sa r ea sf o l l o w s ： 1 c o n s t r u c t i n gs o f t w a r ea r c h i t e c t u r eo fh 2 6 4d e c o d e ro nt h ep l a t f o r mo fd s p d m 6 4 2 t r a n s p l a n t i n gt h eh 2 6 4d e c o d e rf r o mp cp l a t f o r mt od m 6 4 2 ，s ot h a tt h en e w d e c o d e ri nl i n e 、析mt h ep r o g r a ms t r u c t u r ea n ds t o r a g ed i s t r i b u t i o no fd m 6 4 2 t h e n c o m p i l i n g ，l i n k i n g ，r u n n i n gt h en e wd e c o d e ro nt h en e wp l a t f o r m 2 c o m p u t a t i o n a lc o m p l e x i t ya n ds t o r a g es p a c ec o n s u m p t i o no fh 2 6 4d e c o d e r h a sb e e na n a l y z e dd e e p l y t u n ea n ds t o r a g ec o n s u m p t i o no fd e c o d e rh a sb e e na n a l y z e d b yt h et o o l so ft ic c sp r o f i l e ，a n dt h e nf i n d i n go u tm o d u l e st h a ts e v e r e s l ya f f e c t d e c o d i n ge f f i c i e n c yf o rn e x ti m p r o v e m e n t a t i o na n do p t i m i z a t i o no nd m 6 4 2 3 t h eo p t i m i z a t i o na n di m p l e m e n t a t i o no fh 2 6 4d e c o d e rb a s e do nd m 6 4 2 a t t a bs t r a c t s e r i e so fo p t i m i z e dm e a s u r ea r ec a r r i e do u tw h e nu n d e r s t a n d i n gt h ea l g o r i t h mo fh 2 6 4 d e c o d e ra n dc o m b i n n i n gt h es t r u c t u r ec h a r a c t e r i s t i c so fd m 6 4 2 t h o s em e a s u r e s i n c l u d ea l g o r i t h mi m p r o v e m e n t , a d j u s t m e n to fp r o g r a ms t m c n l r e ，r e a l l o c a t i o no f d e c o d e rs t o r a g es p a c e ，l i n e a ra s s e m b l el a n g u a g ea n ds oo n 4 d i s p l a yo fv i d e os e q u e n c ea n ds y s t e mt e s t i n g t h ed e c o d e dv i d e os e q u e n c ei s o u t p u t t e da n dd i s p l a y e do nt vt h r o u g ht h ev i d e op o r to fd m 6 4 2 f i n a l l y , t e s t i n gt h e o p t i m i z e dd e c o d e ra n dm a k i n gd e t a i l e dc o m p a r i s o nw i t ht h ed e c o d e ro np cp l a t f o r mo n t h ea s p e c t so f d e c o d i gs p e e da n de f f i c i e n c y a f t e rt h ea b o v e - m e n t i o n e dw o r k , h 2 6 4d e c o d e rb a s e do nd m 6 4 2h a sa l r e a d y r i g h t l yw o r k e da n do u t p u t t e d t h ed e c o d i n gs p e e do fq c i fv i d e os e q u e n c ec a l lr e a c ht o a b o u t4 6 3 f p s ，w h i c hc a nm e e tt 1 1 er e a l - t i m er e q u i r e m e n t k e y w o r d s ：h 。2 6 4 ，d e c o d e r ，d s p ，t m s 3 2 0 d m 6 4 2 ，b u f f e rm e c h a n i s m i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明 确的说明并表示谢意。 签名： 日期：砷年午月1 日 ll 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：导师签名墼圭 日期：2 o q 7 年孓月z z 目 第一章绪论 1 1 视频编码标准简介 第一章绪论 目前，视频编码标准的制定工作主要由m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ， i s o i e c ) 和v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ，i t u t ) 两大国际组织机构负责，至 今形成了m p e g x 和h 2 6 x 两套标准系列。i s o i e c 和i t u t 自从1 9 9 0 年以来已 经开发了多种应用于图像传输和存储的视频编码标准。 由i t u t 制定，1 9 8 8 年形成草案，1 9 9 0 年通过的h 2 6 1 协议，是视频编码标 准走向实用化的重要一步。其输出速率大于6 4 k b i t s ，h 2 6 1 采用了帧内图像编码、 帧间误差预测运动补偿、d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 、变长编码等技术，建立 了取得巨大成功的基于块混合编码框架，为后来的m p e g 1 、m p e g 2 等视频压缩 标准奠定了基础。h 2 6 1 主要用于i s d n 及a t m 等准宽带及宽带信道视频，不适 宜于p s t n 及移动通信等窄带及带宽有限的信道与网络上应用i l j 。 1 9 9 4 年，m p e g 2 视频编码标准( 也称为h 2 6 2 ) 开发完成，它大体上是m p e g 1 的扩展，主要应用与所有的数字电视系统。m p e g 2 的出现使得标准清晰度电视 ( s d t v ) 、高清晰度电视( h d t v ) 得以通过卫星( d v b s ) 、有线电缆( d v b c ) 和基站 ( d v b t ) 进行有效传送。作为一个得到广泛应用的国际标准，m p e g 2 成功之处在 于提出了通用的压缩编码方法，定义了不同的“档次”( p r o f i l e ) 和“等级”( 1 e v e l ) ， 可满足不同图像分辨率及相应的存储成本和处理速度的需要。与h 2 6 1 视频标准 相比，m p e g 一2 开始使用半像素精度的运动矢量搜索，引入了“帧 ( f r a m e ) 和“场 ( f i e l d ) 的编码方法，支持可分级性技术，包括空间可分级性、时间可分级性和信噪 比可分级性等。 1 9 9 5 年，i t u t 推出h 2 6 3 标准，用于低于6 4 k b i t s 的低码率视频传输。在 h 2 6 1 建议的基础上，h 2 6 3 进行了重要改进，采用了半像素精度的运动矢量搜索， 增加了非限制运动矢量，提出了基于语法的算术编码、先进预测模式和参考帧编 码等多个高级选项，从而达到了进一步降低码率和提高编码质量的目的。h 2 6 3 + 和h 2 6 3 + + 扩充了h 。2 6 3 的编码可选项，提高了编码效率，适用范围更大，同时支 持s q c i f 等多种图像格式。h 2 6 3 在增加编码效率的同时，增强了抗误码的差错 隐藏性能，将信道传输性能问题在信源编码中加以综合考虑。 电子科技大学硕士学位论文 m p e g - 4 于1 9 9 9 年初正式成为国际标准。m p e g 4 不仅是针对一定比特率下的 视频、音频编码，更加注重多媒体系统的交互性和灵活性。m p e g 4 标准主要应用 于可视电话( v i d e op h o n e ) ，视像电子邮件( v i d e oe m a i l ) 和电子新闻( e l e c t r o n i cn e w s ) 等，其传输速率要求较低，在4 8 0 0 6 4 0 0 0 b i t s s e c 之间，分辨率为1 7 6 x 1 4 4 。m p e g - 4 利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少的数据获得最 佳的图像质量。与m p e g 1 和m p e g 2 相比，m p e g - 4 的特点是其更适于交互a v 服务以及远程监控。m p e g - 4 是第一个使你由被动变为主动( 不再只是观看，允许 你加入其中，即有交互性) 的动态图像标准，它的另一个特点是其综合性。从根源 上说，m p e g 4 试图将自然物体与人造物体相溶合( 视觉效果意义上的) 。m p e g - 4 的设计目标还有更广的适应性和更灵活的可扩展性【l j 。 2 0 0 3 年3 月i t u t 和i s o i e c 正式公布了h 2 6 4 a v c 视频压缩编码标准，不 仅显著提高了压缩比，而且具有良好的网络亲和性，加强了对i p 网、移动网的误 码和丢包处理。 相对于以往的标准，h 2 6 4 的主要优点如下【1 3 】： 第一，在相同的码率下能获得较高的压缩比和更高的压缩性能，使图像的数 据量减少，有利于利用有限的空间存储更多的图像数据。在同等的图像质量条件 下，h 2 6 4 的数据压缩比能比当前d v d 系统中使用的m p e g 2 高2 3 倍，比m p e g 4 高1 5 2 倍。 第二，对网络传输具有更好的支持，引入面向数据包编码，有利于将数据打 包在网络中传输，支持流媒体服务应用。提高网络适应性，采用“网络友好 的 结构和语法，加强对误码和丢包的处理，提高解码器的差错恢复能力。 第三，具有较强的抗误码特性，以适应在噪声干扰大、丢包率高的无线信道 中传输。 第四，对不同应用的时延要求具有灵活的适应性编码和解码复杂度可扩性， 支持编码和解码复杂度的不等分配和扩展。对信道时延的适应性较强，既可工作 于低时延模式以满足实时业务，如会议电视等，又可工作于无时延限制的场合， 如视频存储等。 作为一种新型的视频压缩标准，h 2 6 4 因其这些优势，具有很宽阔的研究空间 和市场前景。h 2 6 4 定位于覆盖整个视频应用领域，包括：低码率的无线应用、标 准清晰度和高清晰度的电视广播应用、i n t e r n e t 上的视频流应用，传输高清晰度的 d v d 视频以及应用于数码相机的高质量视频应用等。目前市场上已有基于d s p 的 h 2 6 4 编码的可视电话。i c 方面的发展，也是有很多厂商投入人力开发。海思公 2 第一章绪论 司推出了一款基于h 2 6 4b p 算法的视频压缩芯片h i 3 5 1 0 ，该芯片采a r m + d s p + 硬件加速引擎的多核高集成度的s o c 构架，具备强大的视频处理功能。当前在i p t v 业务方面，h 2 6 4 也得到了很大应用，已应用于u t 斯达康i p t v 系统中。目前h 2 6 4 研究的热点主要集中在：基于h 2 6 4 高分辨率视频实时编解码、基于h 2 6 4 的视 频监控和i p t v 系统等方面。随着3 g 技术的发展，h 2 6 4 在3 g 移动通信方面也将 会得到很大的应用。 h 2 6 4 获得优越性能的代价是计算复杂度的大幅增加。据统计，h 2 6 4 解码的 计算复杂度大约相当于h 2 6 3 的2 倍。对视频编解码实现平台提出了更高的要求。 h 2 6 5 是i t u tv c e g 正在规划中的视频编码标准，期望在2 0 0 8 2 0 1 0 期间推 出。其目标是给音视频服务提供更好的视频编码方法。h 2 6 5 标准基于h 2 6 4 ，对 一些相关的技术加以改进。新技术使用先进的技术用以改善码流、编码质量、延 时和算法复杂度之间的关系，达到最优化设置。新标准将会更加适应各种类型的 网络，比如，i n t e m e t 、l a n 、m o b i l e 、i s d n 、g s t n 、h 2 2 2 0 、n g n 等网络【l j 。 1 2h 2 6 4 关键技术特点 相对于先期的视频编码标准，h 2 6 4 引入了很多先进的技术，包括4 x 4 整数 变换、空域内的帧内预测、1 4 像素精度的运动估计、多参考帧与多种大小块的帧 间预测技术等，新技术带来了较高的编码比，同时大大提高了算法的复杂度。 ( 1 ) 运动估计( m o t i o ne s t i m a t i o n ) 搜索精度 在h 2 6 4 中，l u m a 分量的运动矢量( m vm o t i o nv e c t o r ) 使用1 4 像素精度。 c h r o m a 分量的m v 由l u m am v 导出，由于c h r o m a 分辨率是l u m a 的一半( 对4 ：2 ：0 ) ， 所以其m v 精度将为1 8 ，这也就是说1 个单位的c h r o m a 所代表的位移仅为 c h r o m a 分量取样点间距离的1 8 。如此精细的预测精度较之整数精度可以使码率节 省超过2 0 3 , 6 1 。 一宏块分解方式 在h 2 6 3 的运动预测中，宏块有两种分解模式。在不使用非限制运动矢量模 式下，每一个宏块m b 作为一个块，使用一个运动矢量；在非限制运动矢量模式下， 每一个宏块m b 可分为4 个8 x 8 块，每块使用一个运动矢量。在h 2 6 4 的运动预 测中，宏块的分解由两种模式扩展到了多种不同的模式，在这种方式下，每个宏 块可以分解为1 个1 6 x 1 6 块、2 个8 x 1 6 块、2 个1 6 x 8 块、4 个8 x 8 块，并拥有与 电子科技大学硕士学位论文 块数相对应的运动矢量。如果宏块被分解成4 个8 x 8 块，每个8 x 8 块还可以再分 解多个小块，这时宏块拥有和小块数量相对应的运动矢量。这种多模式灵活和细 致的划分，更切合图像中实际运动物体的形状，大大提高了运动估计的精确程度 1 3 - 6 o 一多参考帧模式 h 2 6 4 支持多参考帧预测，即可以有多于一个( 最多5 个) 的解码帧作为参考帧， 以产生对当前帧的预测。这适用于视频序列中含有一周期性运动的情况。采用这 一技术，可以改善运动估计的性能，提高h 2 6 4 解码器的错误恢复能力，但同时 也增加了缓存的容量以及编解码器的复杂性。不过，h 2 6 4 的提出是基于半导体技 术的飞速发展，因此这两个负担在不久的将来会变得微不足道。较之只使用一个 参考帧，使用5 个参考帧可以节省码率5 1 0 3 一。 ( 2 ) 帧内预测 帧内预钡, u ( i n t r ap r e d i c t i o n ) 用来缩减图像的空间冗余，相邻的宏块通常含有相似 的属性。因此，在对一给定宏块编码时，首先可以根据周围的宏块预测( 典型的是 根据左边或上边的宏块，因为此宏块已经被编码处理) ，然后对预测值与实际值的 差值进行编码。这样，相对于直接对该帧编码而言，可以大大减小码率。h 2 6 4 提供了9 种4 x 4 亮度预测模式，4 种1 6 x 1 6 亮度预测模式，4 种色度预测模式【3 】。 ( 3 ) 分层设计 h 2 6 4 的算法在概念上可以分为两层：视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 负责高效的视频内容表示，网络提取层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) 负责以网 络所要求的恰当的方式对数据进行打包和传送。在v c l 和n a l 之间定义了一个 基于分组方式的接日，打包和相应的信令属于n a l 的一部分。这样，高编码效率 和网络友好性的任务分别由v c l 和n a l 来完成。v c l 层包括基于块的运动补偿 混合编码和一些新特性。与前面的视频编码标准一样，h 2 6 4 没有把前处理和后处 理等功能包括在草案中，这样可以增加标准的灵活性。n a l 负责使用下层网络的 分段格式来封装数据，包括组帧、逻辑信道的信令、定时信息的利用或序列结束 信号等。 ( 4 ) 抗块效应滤波器 抗块效应滤波器( d e b l o c k i n gf i l t e r ) ，它的作用是消除经反量化和反变换后重建 图像中由于预测误差产生的块效应，即块边缘处的像素值跳变，从而一来改善图 像的主观质量，二来减少预测误差。h 2 6 4 中的d e b l o c k i n gf i l t e r 还能够根据图像 内容做出判断，只对由于块效应产生的像素值跳变进行平滑，而对图像中物体边 4 第一章绪论 缘处的像素值不连续给予保留，以免造成边缘模糊。与以往的d e b l o c k i n gf i l t e r 不 同的是，经过滤波后的图像将根据需要放在缓存中用于帧间预测，而不是仅仅在 输出重建图像时用来改善主观质量，也就是说该滤波器位于解码环中而非解码环 的输出外，因而它又称作l o o pf i l t e r 。需要注意的是，对于帧内预测，使用的是未 经过滤波的重建图像。 ( 5 ) 整数变换 在变换方面，h 2 6 4 使用了基于4 x 4 像素块的类似于d c t 的变换，但使用的 是以整数为基础的空间变换，不存在反变换，因为取舍而存在误差的问题。与浮 点运算相比，整数d c t 变换会引起一些额外的误差，但因为d c t 变换后的量化 也存在量化误差，与之相比，整数d c t 变换引起的量化误差影响并不大。此外， 整数d c t 变换还具有减少运算量和复杂度的特点。 1 。3h 2 6 4 开源参考模型 针对h 2 6 4 的产业应用和学术研究，已经开发出了好几个版本的h 2 6 4 开源 模型。目前，h 2 6 4 开源参考模型主要有：j m 、x 2 6 4 、t 2 6 4 。 j m 是h 2 6 4 的官方测试源码，由德国h h i 研究所负责开发。该源码实现了 h 2 6 4 编解码器所有的功能和新特性，便于理解h 2 6 4 的原理，与标准文档具有很 好的一致性。但是该模型程序结构冗长，忽视了算法运行复杂度，程序执行效率 很低，实用性不型7 1 。可以参考它，对其进行设计和优化。 x 2 6 4 是网上自由组织联合开发的兼容2 6 4 标准码流的编码器，创始人是一个 法国人。特点：注重实用。和j m 相比，在不明显降低编码性能的前提下，努力降 低编码的计算复杂度，故x 2 6 4 摈弃了2 6 4 中一些对编码性能贡献微小但计算复杂 度极高的新特性，如多参考帧、帧间预测中不必要的块模式、c a b a c 等。但x 2 6 4 并没有提供完整的解码方法。 t 2 6 4 是中国视频编码自由组织联合开发的2 6 4 编解码器，编码器编码输出标 准的2 6 4 码流，解码器只能解t 2 6 4 编码器生成的码流。特点：和x 2 6 4 的出发点 相似，并吸收了j m 、x 2 6 4 、x v i d 的优点。 参考已有h 2 6 4 开源参考模型，吸收其中好的思想，可以缩短开发周期、提 高编解码效率、取得更好的效果。为了实现一个高效的h 2 6 4 解码器，可以参考 这些参考模型，对其进一步的设计和优化。 电子科技大学硕士学位论文 1 4 视频编解码实现平台 视频编解码具有数据量大，计算费时等特点，它对视频编解码实现平台的处 理速度和应用灵活性等方面提出了更高的要求。目前主要的实现方式有：纯软件在 p c 上实现、基于d s p 或者f p g a 的硬件实现、i c 实现等。这些实现方式分别以 p c 、数字信号处理器( d s p ) 芯片、可编程逻辑阵y u ( f p g a ) 芯片和集成电路( a s i c ) 芯片为核心。 a s i c 从名称上看很清楚，其目的是针对于某一种特定的应用。在芯片设计中， a s i c 拥有最大的灵活性，可是在应用中，却只有最小的灵活性。例如，一片i d c t 专用芯片只能被用来做i d c t ，无法在上面实现卷积运算。a s i c 专用视频编码器 会集成一些外围接口，通过硬件实现视频编解码，所开发出的产品功能较为单一 且具有同质性。a s i c 比较适合于消费类产品应用，成本价位可以控制在较低水平， 但是在成形后再难以有所变化且应用范围很窄，不便于产品升级。 f p g a 却拥有非常灵活的设计应用。因为其内部拥有大量相同的可配置的逻辑 单元，用户可以在其上实现自己所需要的任何算法。所有的算法都是通过硬件来 实现的，因而f p g a 拥有很高的处理速度。但f p g a 在面对多媒体处理方面，因 为设计起来相对复杂，所以大多数情况只是作为专用芯片前期研制的雏形，而并 没有作为最终的实现手段被用户所采纳。 虽然现在p c 的处理速度己经可以满足实时视频编解码的要求，但是由于基于 p c 的视频编解码系统应用不灵活，无法满足移动多媒体实时传输等领域，现在越 来越倾向于在嵌入式平台上实现视频编解码算法。基于这种平台的编解码系统多 用在楼宇监控，交通监控等领域。 d s p 作为通用多媒体处理器平台，即以d s p 为核心并集成视频单元和丰富的 外围接口，d s p 通过软件编程来实现视频编解码且能扩展特色化功能。d s p 通过 高性能的软件可编程特色可以全面支持各种标准格式视频编解码算法，并且产品 规划兼顾软件升级的兼容性，有利于未来产品更新换代。因此在多种数字视频编 解码标准存在的今天，占据了视频和图像解决方案的核心平台地位。也因此，目 前中国市场上的视频压缩处理芯片主要是以d s p 为主流。在d s p 平台上进行视频 产品开发有以下几方面的优势： 第一，用户开发自由度更大，支持多种个性化开发，可以满足市场不断提出 的新的要求，在第一时间提升产品性能，增强产品的竞争能力。 第二，d s p 处理能力强，可以在一个d s p 上同时实现多路音视频信号的压缩 6 第一章绪论 处理，同时为了及时满足应用的需要还提供了很多视频专用功能，比如视频滤波、 d e i n t e r l a c e 处理、高分辨显示输出、o s d 功能等，甚至像网络接口、i d e 接口都 成为了视频d s p 的主要功能，这样使进一步大幅度降低产品的成本成为可能。 第三，开发周期短，实现快速技术更新和产品换代。 第四，芯片功耗低，对提高产品的稳定性提供可靠保障。 1 5 选题的意义 随着通信和信息技术的快速发展，人们对多媒体信息的需求越来越多，要求 的质量也越来越高。数字电视、可视电话、视频会议、车载移动电视、视频安防 监控等产品已经广泛应用于我们的生活中。目前我国开始大力推动3 g ，4 g 的研 究开发和产业应用，手机等通信终端实现无线视频传输和高速上网将成为主要技 术特点，更好的满足人们对信息的需求。手机电视、视频监控、口t v 等高性能的 视频应用将会成为3 g 的主要业务，对视频等多媒体信息的实时传输提出了更高的 要求。 将h 2 6 4 算法在高速d s p 平台上实时实现是目前多媒体信号处理及图像通信 研究领域的一个热点问题。对于获得一种低成本、便携、高效、产品升级方便的 多媒体通信终端平台具有重要的意义，并有很好的市场应用潜力。 基于d s p 平台的h 2 6 4 解码器系统作为多媒体通信终端平台的一部分，主要 完成将有线或无线方式传输过来的视频实时解码显示，并根据需要将解码视频进 行存储和进一步的视频检索、视频处理等。该系统可以为视频监控和手机终端等 多媒体终端应用提供参考，所以其研究意义和应用价值是很大的。 1 6 论文的研究内容和结构安排 1 6 1 研究内容 为了实现基于d s p 平台的h 2 6 4 解码器系统，本文借鉴了h 2 6 4 开源参考模 型一些好的思想，对h 2 6 4 解码器关键模块进行设计和优化，并对d s p 上的解码 器架构进行合理布局，充分发挥d s p 平台的优势，以实现高效的解码器。并将实 现后的解码器和j m 进行性能比较。 本文在合众达s e e d - v p m 6 4 2 多媒体开发平台上优化和设计h 2 6 4 解码器， 7 电子科技大学硕士学位论文 充分利用d s p 多级流水线体系结构、q d m a 、c s l 、s i m d 指令等特点对关键模 块进行设计和优化，通过d m 6 4 2 视频口输出解码视频。首先将p c 下的解码器移 植到d s p 上，利用t i 集成开发环境c c s 的p r o f i l e 剖析工具对解码器进行空间 复杂度和时间复杂度的分析，以确定设计和优化的重点。然后对解码器进行项目 级、c 语言级、汇编级优化、c a c h e 级优化、算法设计、以及解码存储设计等。最 后，通过配置d m 6 4 2 的v p 口，经d a 转换将解码后的视频序列输出电视显示。 1 6 2 结构安排 全文共分六章，结构安排如下： 第一章为绪论。介绍视频编码标准发展及现状，选题的意义和研究内容等。 第二章h 2 6 4 解码器的基本理论。介绍了h 2 6 4 解码器核心模块的原理和解 码流程。 第三章基于d s p 的解码硬件系统。介绍了视频解码d s p 平台，并概述了 t m s 3 2 0 d m 6 4 2 的结构、性能、指令集等特点，最后介绍了合众达s e e d v p m 6 4 2 多媒体硬件开发平台。 第四章解码器移植和复杂度分析。介绍h 2 6 4 解码器从p c 平台到d s p 平台 的移植，利用c c s 的p r o f i l e 工具对解码器的复杂度进行了分析，确定了优化和设 计的重点。 第五章h 2 6 4 解码器的d m 6 4 2 实现。综合运用各种手段从项目级、算法级、 c 语言级、汇编级、存储器空间分配等方面对解码器进行优化和设计，并通过 d m 6 4 2 的视频口输出显示。 第六章对论文及工作成果进行总结，提出下一步改进的建议。 8 第二章h 2 6 4 解码器基本理论 第二章h 2 6 4 解码器基本理论 总体来说，h 2 6 4 解码器负责将符合h 2 6 4 码流规范的压缩视频流解码，并进 行图像重建。据图2 1 所示的解码器框图，解码流程大致如下：解码器从 n a l ( n e t w o r ka b s t r a c tl a y e r ) 中接收压缩的比特流，经过对码流进行熵解码获得一 系列量化系数x ；这些系数经过反量化和反变换得到残差数据d ；解码器使用从 码流中解码得到的头信息创建一个预测块p r e d ，p i 迮d 与残差数据d 求和得到图 像块数据u f ；最后每个u f 通过去方块效应滤波得到重建图像的解码块f 【5 1 。 2 1n a l 单元解码 2 1 1h 2 6 4 码流结构 图2 ，1h 2 6 4 解码器功能框图 在h 2 6 4 标准中码流由n a l 单元( - n a l u ，n e t w o r ka b s t r a c tl a y e ru n i t ) 构成， 有两种格式：一种为r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 封装的，还有一种为带有起 始码前缀的字节流n a l u 。其码流结构如图2 2 所示。 在n a l u 结构中，头字节中隐藏比特位默认为o ，当网络识别到单元中出现 比特错误时位1 。后五位表示n a l u 的类型，如序列参数集单元( s p sn a l u ) ，图 像参数集单元( p p sn a l u ) 等。6 7 位用于在重构过程中标记一个n a l u 的重要性， 0 表示这个n a l u 没有用于预测，因此可被解码器抛弃而不会有错误扩散；非0 表示此n a l u 要用于无漂移重构，且值越高，对此n a l u 丢失的影响越大。n a l u 主体即为封装于网络抽象单元的数据原始字节序列包r b s p 5 , 羽。 9 电子科技大学硕士学位论文 层一 层二： n a l u a n n e x b 格式 r t p 格式 图2 - 2h 2 6 4 码流基本结构图 n a l ur b s p 包含三部分： ( 1 ) s o d b ：原始数据码流，即熵编码后的码流； ( 2 ) r b s p _ t r a i l i n g _ b i t s ：由r b s ps t o p _ o n e _ b i t ( 1 ) 和若干个字节对齐0 比特位； ( 3 ) 在某些r b s p 结尾的r b s p 之后可以出现的一个或多个_ t r a i l i n g b i t so x 0 0 0 0 1 6 比特的句法元素c a b a cz e r ow o r d 。 本文中解码的h 2 6 4 码流为字节形式的n a l 单元。其特点是在每个n a l 单 元之前有一个标识n a l 单元的起始码前缀s t a r t c o d e p r e f i x 。当n a l u 为p p s 、s p s 、 一帧中的第一个片时，其值为0 x 0 0 0 0 0 0 0 1 ，否则为0 x 0 0 0 0 0 1 。为了防止r b s p 中出现与s t a r t c o d e p r e f i x 相同的字符串，编码时在r b s p 中加入防竞争字节0 x 0 3 后变成e b s p ( 扩展字节序列包) ，解码时在获得一个n a l u 后，需要将e b s p 中的 防竞争字节去掉得到r b s p ( 原始字节序列负荷) 。 从第三层开始为h 2 6 4 中片( s l i c e ) 层语法结构，片是由宏块( m b ) 构成，它包含 每个m b 的编码模式、宏块类型、运动向量、参考帧以及变换量化编码后的残差 数据等信息，这些信息供解码器解码使用。 2 1 2n a l 单元解码过程 在进行n a l 单元解码之前，首先或者通过r t p 协议解析( 采用r t p 封装) ，或 l o 第二章h 2 6 4 解码器基本理论 者通过起始码检测( 采用比特流方式) ，从传输码流中获取n a l u 数据。n a l u 解 码的总体流程是：首先从n a l 单元中提取出r b s p 语法结构，然后按照如图2 3 所示的流程处理r b s p 语法结构，因此对于n a l 单元的解码过程，其输入是n a l 单元，输出结果是经过解码的当前图像样点值娜1 。 从传输码流中获取n a l u 将n a l u 中e b s p 去竞争字节c x 0 3 得r b s p 上 一 豁lf 辫li 豁 型分ji 型分l a 型 割鸺fl 割解l1 分割 码il 码il 解码 2 。2c 趟，l c 熵艇码 n a l u 的类型 罄钏卧翼 图2 3n a l 单元解码流程 c a v l c 常用于残差块的编码，按照熵编码的原理，其码字长度可变，码长越 短，码字出现的可能性越大。其编码过程是对变换量化后的残差系数中非零系数 个数、托尾系数个数、托尾系数的符号、幅值以及零的个数编码。而c a v l c 解码 是编码的逆过程，从码流中读取码字，查表解析出各个句法元素。在查表之前需 要由当前块左边及上边块的非零系数个数得出当前块非零系数个数预测n c 。 c a v l c 解码流程如下【4 ，5 ，8 】： ( 1 ) 由n c 选择码表，读码字查表得t r a i l i n g o n e s ，t o t a l c o e f f ； ( 2 ) 解析托尾系数的符号； ( 3 ) 解析除托尾系数之外的非零系数幅值； ( 4 ) 读码字查表得t o t a l z e r o s ； ( 5 ) 查表解析每一个非零系数前0 的个数r u n 。_beforei 在d s p 平台上实现熵解码时，频繁的读码流数据查表会极大地影响c p u 的效 率。应该努力寻求一种适合d s p 程序结构的查表方法。 电子科技大学硕士学位论文