（信号与信息处理专业论文）基于tms320+dm642的h264解码器优化.pdf

摘要 h 2 6 4 a v c 是i t u - t 视频编码专家组( v c e g ) 和i s o i e c 运动图像专家组 ( 肝e g ) 最新制定的视频编码标准。其目的是提供一个具有更高压缩性能和网络 友好的算法。即适用于“会话服务( 视频电话) 也适用于“非会话服务”( 存 储，广播，流媒体) 应用。 t m s 3 2 0d m 6 4 2 是美国德州仪器公司开发的第二代高性能超长指令字结构的定 点d s p 处理器，具有8 个独立的功能单元和6 4 个3 2 位通用寄存器，在8 个功能 单元里扩展了专门用于视频图像处理的指令集，提高了视频处理的性能和指令 结构的并行性；d m 6 4 2 的强大处理和接口能力使它非常适合基于i p 和无线网络 的音视频传输、安全监控等视频图像处理领域的应用。 本论文主要介绍的是在基于t it m s 3 2 0 d m 6 4 2 数字媒体处理器的硬件平台上 实现h 2 6 4 “b a s e l i n ep r o f i l e 解码器算法。t m s 3 2 0 d m 6 4 2 代表着未来更高处 理能力d s p 的发展方向，非常适合于承担h 2 6 4 解码器这样高运算量和复杂度的 工作。解码器源程序采用三大开源代码之一的j m ，视频解码算法在d s p 芯片上 的高效实现，必须充分挖掘视频处理器的并行特性和计算资源，才能满足系统 实时性的要求。我们在j m 程序基础上主要做了以下几项工作：一是对程序进行 裁减、修改并最终移植到d s p 平台上运行；二是充分利用d m 6 4 2 的e d m a 控制器 等对数据传输和存储空间进行优化；三是利用内联函数、线性汇编等对h 2 6 4 核心算法和程序进行改进，提高代码运行的并行性，其中我负责一和二的工作。 经优化后的解码器每秒钟能够完成3 0 4 0 帧o c i f 格式图像的实时解码。 关键词：视频编解码t m s 3 2 0 d m 6 4 2j m h 2 6 4 a v c a bs t r a c t h 2 6 4 a v ci st h en e w e s tv i d e oc o d i n gs t a n d a r do ft h ei t u tv i d e oc o d i n ge x p e r t sg r o u p ( v c e g ) a n dt h ei s o i e cm o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) t h em a i ng o a l so ft h e h 2 6 4 a v cs t a n d a r d i z a t i o ne f f o r th a v eb e e ne n h a n c e dc o m p r e s s i o np e r f o r m a n c ea n d p r o v i s i o no f a ”n e t w o r k f r i e n d l y ”v i d e or e p r e s e n t a t i o na d d r e s s i n g ”c o n v e r s a t i o n a l ”( v i d e ot e l e p h o n y ) a n d ”n o n - c o n v e r s a t i o n a l ”( s t o r a g e ，b r o a d c a s t ，o rs t r e a m i n g ) a p p l i c a t i o n s t h et m s 3 2 0d m 6 4 2d e v i c ei saf i x e d - p o i n td i g i t a ls i g n a lp r o c e s s o r ( d s p s ) h a se i g h th i g h l y i n d e p e n d e n tf u n c t i o n a lu n i t sa n d6 43 2 - b i tg e n e r a l - p u r p o s er e g i s t e r s a tac l o c kr a t eo f6 0 0 m h z ， t h ed m 6 4 2d e v i c ec a np e r f o r mu pt o4 8 0 0m i l l i o ni n s t r u c t i o n sp e rs e c o n d ( m w s ) t h ep o w e r f u l c a p a b i l i t yo fd a t ap r o c e s s i n ga n di n t e r f a c em a k ed m 6 4 2v e r yf i tf o rt h ev i d e oa n di m a g i n g a p p l i c a t i o n s ，f o re x a m p l e ，t h ea u d i o v i d e ot r a n s m i s s i o na n ds e c u r i t ym o n i t o ro v e rp ( i n t e r n e t p r o t o c 0 1 ) a n dw i r e l e s sn e t w o r k s t h em a i nt a s ko ft h i sp a p e ri st oi n t r o d u c eh o wt od e v e l o pa n do p t i m i z et h eh 2 6 4 b a s e l i n e ”d e c o d e ro nt h eh a r d w a r ep l a t f o r mb a s e do nt m s 3 2 0 d m 6 4 2 t h es o u r c ep r o g r a m a d o p t e di st h ed e c o d e rp a r to ft h e j m ”w h i c hi so n eo ft h eo p e nh 2 6 4e o d e cs o f t w a r e t h e e f f e c t i v em e t h o dt oi m p r o v et h ei m p l e m e n t a t i o ne f f i c i e n c yo ft h ev i d e oc o d i n ga l g o r i t h mo nd s p s i st o t a p t h ep a r a l l e l i s ma n dm e m o r yr e s o u r c eo ft h ep r o c e s s o rf o rt h er e q u i r e m e n to fr e a l - t i m e s y s t e m t h r e ea s p e c t so fj o bh a v eb e e nd o n eo nt h ej ms o u r c ep r o g r a m ：t h ef i r s ti st or e d u c e ， m o d i f yt h es o u r c ep r o g r a ma n dp o r ti tf r o mp e r s o n a lc o m p u t e r ( p c ) t ot h ed s pp l a t f o r m ；t h e s e c o n di st oo p t i m i z et h ed a t at r a n s m i s s i o na n dm e m o r ys p a c eu s i n gt h ee n h a n c e dd i r e c tm e m o r y a c c e s s ( e d m a ) c o n t r o l l e ro fd m 6 4 2 ；t h em i r di st oi m p r o v et h ek e r n e la l g o r i t h ma n dc o d eo ft h e e n c o d e ru s i n gi n t r i n s i c sa n dl i n e a ra s s e m b l yl a n g u a g e ，w h i c hc a ni m p r o v et h ep a r a l l e l i s mi n h e r e n t i nt h eh 2 6 4e n c o d e r i nt h ee n d ，a ne m b e d d e dr e a l - t i m eh 2 6 4d e c o d e rw i t hl o w e r - c o m p l e x i t y a n dh i g h e rc o d i n gp e r f o r m a n c ew a sp r o v i d e d o u rh 2 6 4d e c o d e rc a nd e c o d e3 0 4 0f r a m e sp e rs e c o n d ( f p s ) f o rq c i fr e s o l u t i o nv i d e o t h ed e c o d e dv i d e op i c t u r e sp r o v i d eh i g hs u b j e c t i v ea n do b j e c t i v eq u a l i t y k e y w o r d s ：c o d e c ，t m s 3 2 0 d m 6 4 2 ，j m ，h 2 6 4 a v c 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤叠苤堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：张巾寸、季签字日期：加d 7 年月乙怕 学位论文版权使用授权书 本学位论文作者完全了解苤盗盘堂有关保留、使用学位论文的规定。 特授权丕盗盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：孑古希时呵导师签名： 签字日期：如p 7 年，月z ，日 签字日期：力叼年月纠厂日 第一章绪论 第一章绪论弟一早珀t 匕 随着数字视频编码技术的不断发展和成熟，出现了大量视频编码应用方案。 为了使各种应用系统互相兼容，同时推进技术的市场化，各企业联盟、标准组织 和专门化标准委员会就新技术的规范化制定了一系列的标准。由于通用标准的出 现，图像编码尤其是视频图像编码压缩技术得到了飞速发展。目前，按照这些标 准做的硬件、软件产品和专用集成电路已经在市场上大量涌现，对现代图像通信 的迅速发展及开拓图像编码新的应用领域( 如多媒体通信、数字高清晰度电视传 输等) 发挥了重要作用。 相对于音频、文字、图像等信息，视频信息具有直观、高效、准确等无可比 拟的优点，在通信和广播领域获得了较快的发展。但是视频信息数据量太大，如 用于可视电话的视频质量较低的q c i f 格式的视频信号，在帧率为3 0 f p s 、未进行 数据压缩的情况下，视频码率仍需要( 1 7 6 1 4 4 8 3 2 ) 3 0 = 9 1 m b p s ，在当 前传输带宽和存储空间都有限的i n t e r n e t 和无线移动网络中进行实时传输是不 现实的；对于c c i r 6 0 1 标准建议下的彩色电视信号，未经压缩的视频码率更是达 到了2 1 6 m b p s ，一张4 7 g b 的d v d 光盘仅能存储不到3 分钟的视频节目。因此，只有 经过有效压缩编码、适应网络带宽和存储空间要求的数字视频信号才更具有实际 意义。而目前的大多数视频压缩编码技术均为有损压缩，如何解决好压缩比与视 频质量的矛盾是视频压缩编码技术发展的关键问题。 视频技术是多媒体技术中的主要技术难点所在，由于图像和视频编码技术 的特殊性和复杂性，至今在这一领域仍有许多技术有待探索和研究。 1 1 国际数字视频编码标准介绍 近十余年来，视频编码技术得到迅速发展和广泛应用。从1 9 8 8 年开始，具 有较大影响力的制定视频编解码标准的两个国际组织：i t u - t ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n - t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o ns e c t o r ，国际 电信联盟下属电信标准化部门) 和i s o i e c ( i n t e r n a t i o n a lo r g a n i z a t i o nf o r s t a n d a r d i z a t i o n i n t e r n a t i o n a le n g i n e e r i n gc o n s o r t i u m ，国际标准化组织 国际工程师协会) ，其中i t u t 的标准包括h 2 6 1 、h 2 6 3 、h 2 6 4 ，主要应用 于实时视频通信领域，如视频电话会议、可视电话等：i s o i e c 的运动图像专家 组m p e g 制定了m p e g 一1 、m p e g 一2 、m p e g 一4 、m p e g 一7 标准，主要用于视频存储 第一章绪论 ( d v d ) 、广播电视、因特网或无线网上的流媒体等。两个组织也共同制定了一些 标准，h 2 6 2 标准等同于m p e g 一2 的视频编码标准，而最新的h 2 6 4 标准则被纳 入m p e g 一4 的第l o 部分。这些标准融合了多种性能优良的编码技术，代表了目前 视频编码的发展水平。 1 1 1 i t u t 的h 2 6 x 系列标准 一、h z 6 1 h 2 6 1 是i t u t 为在综合业务数字网( t s d n ) 上开展双向声像业务( 可视电话、 视频会议) 而制定的，速率为6 4 k b s 的整数倍，最高可达1 9 2 m b s 。h 2 6 1 只对 c i f 和q c i f 两种图像格式进行处理，每帧图像分成图像层、宏块组( g o b ) 层、宏 块( 船) 层、块( b l o c k ) 层来处理。 h 2 6 1 是最早的运动图像压缩标准，它使数字视频信号能够以p x 6 4 k b p s ( p = 1 3 0 ) 的速率在电信网络中传输。更为重要的是，它奠定了混合编码框架 的雏形，这个框架以运动补偿、图像分块变换、标量量化和熵编码等技术为主要 特征，至今依然是实现限失真数字视频编码的最为重要的一种方法。h 2 6 1 于 1 9 9 0 年制定，主要用于双向视频通信，包括低端的可视电话业务和较高速率要 求的视频会议业务。作为h 3 2 0 标准簇的一部分，h 2 6 1 是基于i s d n 的视频 会议系统中常用的一种视频编码方法。 二、h 2 6 3 1 9 9 6 年i t u - t 推出了针对甚低比特率的视频压缩标准h 2 6 3 建议。h 2 6 3 最初是针对1 0 3 0 k b i t s 范围的甚低比特率应用设计的，但实验结果表明，在 任意速率范围内，h 2 6 3 都取得了惊人的压缩效果，成为当时最成功的数字视频 压缩标准。在比特率低于3 0 k b i t s 的应用中，同样的视频质量前提下，h 2 6 3 的 输出码率仅为h 2 6 1 的一半甚至更少。h 2 6 3 采用了诸如可变尺寸块运动补偿技 术、重叠块运动补偿技术、无限制运动矢量技术和运动矢量预测技术等一系列新 的视频编码技术，为混合编码框架的进一步发展奠定了基础。 i t u - t 在h 2 6 3 发布后又修订发布了h 2 6 3 标准的版本2 ，非正式地命名为 h 2 6 3 + 标准。它在保证原h 2 6 3 标准核心句法和语义不变的基础上，增加了若干 选项以提高压缩效率或改善某方面的功能。原h 2 6 3 标准限制了其应用的图像输 入格式，仅允许5 种视频源格式。h 2 6 3 + 标准允许更大范围的图像输入格式，自 定义图像的尺寸，从而拓宽了标准使用的范围，使之可以处理基于视窗的计算机 图像、更高帧频的图像序列及宽屏图像。 之后的h 2 6 3 + + 在h 2 6 3 + 基础上增加了3 个选项，主要是为了增强码流在恶劣 信道上的抗误码性能，同时为了提高增强编码效率。这3 个选项为： 2 第一章绪论 选项u 称为增强型参考帧选择，它能够提供增强的编码效率和信道错误再生 能力( 特别是在包丢失的情形下) ，需要设计多缓冲区用于存贮多参考帧图像。 选项v 称为数据分片，它能够提供增强型的抗误码能力( 特别是在传输过程 中本地数据被破坏的情况下) ，通过分离视频码流中d c t 的系数头和运动矢量数 据，采用可逆编码方式保护运动矢量。 选项卜在h 2 6 3 + 的码流中增加补充信息，保证增强型的反向兼容性，附加信 息包括：指示采用的定i d c t 、图像信息和信息类型、任意的二进制数据、文本、 重复的图像头、交替的场指示、稀疏的参考帧识别。 三、h 2 6 4 1 9 9 8 年，i t u t 第1 6 研究小组在对h 2 6 3 不断改进的同时，还启动了另一 个研究项目h 2 6 l ，目标是制定一个新的数字视频编码标准，使其编码效率能够 两倍于当时已投入使用的标准。这个项目具体由视频编码专家组( v c e g i t u t s g l 6q 6 ) 负责，后来，活动图像专家组也加入进去，成立了联合视频组 ( j o i n tv i d e ot e a m ：j v t ) ，共同来完成标准的最终制订工作。2 0 0 3 年3 月， 标准的最终草案公布，称作h 2 6 4 a v c 或m p e g - 4v i s u a lp a r ti 0 。 与以前的视频编码标准不同，h 2 6 4 不仅含有一个规定视频编码算法的视 频编码层( v c l ) ，还包括一个规定网络传输规范的网络抽象层( n a l ) 。h 2 6 4 的视频编码层采取的编码框架仍然是传统的混合编码框架，h 2 6 4 编码效率的 提高也不是其中某一种新的编码技术所产生的决定性的结果，而是多种新技术 所产生的细微的效果积累而致。这些新技术包括：多种新的帧内预测方法、可 变尺寸块的运动补偿技术、多参考帧的运动补偿技术、4 4 整数变换技术、基 于上下文的二进制算术编码技术以及新的环路滤波技术。 与先前的标准相比较，h 2 6 4 的应用前景更为广泛，它允许在因特网中以 基于d m 6 4 2 的h 2 6 4 标准的可视电话设计与实现3 6i m b i t s 的速率传送电视 质量的视频信号，它可以使8 m h z 的模拟带宽中容纳两倍于m p e g - 2 编码的数 字电视频道，它使无线视频通信成为可能，它对传统的数字媒体存储技术也将 产生巨大的影响。 本文将在第三章详细介绍h 2 6 4 标准。 l 。1 2i s o i e c 的m p e g 系列标准 一、m p e g - 1 m p e g 一1 是i s o i e c 于1 9 9 3 年针对1 5 m b p s 速率的数字存储媒体运动图像及 其伴音编码制定的国际标准，主要用于存储和检索类似光盘只读存储器( c d - r o m ) 的数字媒体视频。m p e g - i 同样采用d p c m d c t 混合编码方式，但与h 2 6 1 和h 2 6 3 3 第一章绪论 标准不同，m p e g 更侧重于控制视频质量而不是码率。在编码方法上，m p e g 一1 除 了包含i 帧( i n t r a c o d e df r a m e ) 和p 帧( p r e d i c t i v ef r a m e ) 外，还增加了b 帧( b i - d i r e c t i o n a lf r a m e 和d 帧( d cf r a m e ) 。 二、m p e g l 2 m p e g 一2 标准是由i s o i e c 和i t u t 于1 9 9 5 年共同制定的，在i t u - t 的协议中被 称为h 2 6 2 建议。该标准主要是针对数字视频广播( d v b ) 、高清晰度电视( h d t v ) 和数字视盘( d v d ) 等制定的4 9 m b p s 运动图像及其伴音的编码标准。m p e g 一2 系统 与m p e g - 1 系统向下兼容，核心编码技术仍是分块d c t 和帧间运动补偿预测技术， 但开始支持半像素预测，引入“帧”和“场”两种编码模式。作为一个得到普遍 应用的国际标准，m p e g - 2 的成功之处在于它的共性和兼容性，标准规定了分辨率 从低到高的4 个级别( 1 e v e l ) 5 个档次( p r o f i l e ) 共1 1 种单独的技术规格，分别 用于标准数字电视、高清晰度电视，码率从4 m b p s l o o m b p s ，可以满足不同用途 的需要 m p e g - 2 可以提供一个较广的范围改变压缩比，适应不同画面质量、存储容 量以及带宽的要求，除了做为v c d 和d v d 的指定标准外，还可用于为广播、有线 电视网、电缆网络以及卫星直播提供广播级的数字视频。在最近几年中，h d t v 是m p e g - 2 的应用热点。 三、m p e g - 4 活动图像专家组制订m p e g 一4 的初衷是提供一种用于视频会议和可视电话 的甚低比特率的数字视频编码方法，但是随着多媒体硬件技术和多媒体信息技术 的发展，更复杂的算法实现成为可能， m p e g - 4 最终被定位为一种基于内容的， 支持多媒体信息内容访问的开放的数字视频编码标准。m p e g 一4 中基于对象的编 码和比特分配思想是其最大的创新之处，它引入了视频对象的概念，一改传统的 基于帧的编码方法。l d e g - 4 标准于1 9 9 8 年正式公布，当时的文件共包括系统、 视频、声音、一致性测试、参考软件和集成框架六个部分。 m p e g 一4 于1 9 9 9 年正式成为国际标准，与前两个标准相比，m p e g 一4 更加注重多 媒体系统的交互性和灵活性，以及多产业领域的融合。该标准不再是一种具体的 音视频压缩编码算法，而是将众多的多媒体应用集成于一个完整的框架内，人们 可以在系统中加入许多新的算法。m p e g 一4 首次引入了音视频对象( a v 0 ) 的概念， 可以对a v 对象进行独立编码、存储和传输，用户在接收端可以对画面进行操作和 交互访问。这种基于内容的编码方法很好地利用了人的心理特性，比现有以像素 为基础的标准具有更好的压缩性能，也更适合于a v 服务和远程监控。 m p e g - 4 在m p e g - 2 的基础上加入了纹理编码、形状编码、静止纹理编码、 脸部对象编码、网格对象编码以及可分级编码等新的编码技术。在低码率视频压 4 第一章绪论 缩方面，m p e g 一4s i m p l ep r o f i l e 已经在无线视频通信、i n t e r n e t 视频传输等领 域得到广泛应用，但面向对象的编码首先需要进行对象分割，算法复杂，目前仍 未找到很好的解决方案，其应用普及尚需时日。 四、m p e g - 7 m p e g 一7 将对各种不同类型的多媒体信息进行标准化的描述，并将该描述与 所描述的内容相联系，以实现快速有效的搜索。这个标准不包括对描述特征的自 动提取，它也没有规定利用描述进行搜索的工具或任何程序，它正式的称谓是 “多媒体内容描述接口”。m p e g - 7 可独立于其它m p e g 标准使用，但m p e g 一4 中 所定义的音频、视频对象的描述适用于m p e g - 7 ，因此可以利用m p e g 一7 的描述来 增强其它m p e g 标准的功能。 m p e g 一7 的应用范围很广泛，既可应用于存储( 在线或离线) ，也可用于流式 应用( 如广播、将模型加入i n t e r n e t 等) ，还可以在实时或非实时环境下应用， 如：数字图书馆( 图象目录，音乐字典等) 、多媒体名录服务( 如黄页) 、广播媒 体选择( 无线电信道，t v 信道等) 、多媒体编辑( 个人电子新闻业务，媒体写作) 等。另外m p e g 一7 在教育、新闻、导游信息、娱乐、研究业务、地理信息系统、 医学、购物、建筑等各方面均有较深的应用潜力。 1 2 实时d s p 系统组成及芯片选择 视频解码算法的实现可以分成软件实现和硬件实现，软件实现主要是用户 通过编写软件在p c 机上实现视频解码，费用低、易调试，但速度相对较慢，不 适于实时d s p 系统，一般只用于d s p 算法的模拟；用硬件实现是指用户在d s p 芯 片上对视频解码算法进行验证和调试，并最终将应用程序固化到芯片上，处理 速度快，比较适用于d s p 系统的实时应用开发。随着信息技术的发展和互联网 的普及，嵌入式视频应用越来越广泛，目前在移动终端、p d a 、机顶盒和数码相 机等嵌入式产品上都广泛采用了d s p 芯片。 1 2 1 实时d s p 系统组成 实时是指系统必须在有限时间内对外部输入信号完成指定的处理，而且从信 号输入到处理后信号输出的延迟必须足够小。实时信号处理系统所要处理的信号 多为自然信号，因此要通过传感器将其转换为电信号。要对电信号进行数字处理， 必须通过a d 子系统将其转换为数字形式。d s p 子系统对数字信号处理完成后， 再通过d a 子系统将处理后的数字信号转换为模拟信号输出。图卜l 给出了实时 d s p 系统框图，其中d s p 子系统是整个系统的核心。 第一章绪论 模 1 2 2 视频解码芯片的选择 图1 1 实时d s p 系统框图 号 近年来，视频编解码技术的迅猛发展推动了适于视频处理的多种d s p 处理器 的研究进展。d s p 芯片在处理结构、指令集功能和功耗上都得到进一步改进，更 适合视频编码算法的实现，已广泛应用于多媒体处理、通信和控制等不同领域。 适用于视频处理的多媒体处理器结构大致可以归纳为四大类：专用集成电 路、通用处理器、通用d s p 芯片和视频处理器四类。从芯片性能、系统通用性和 开发难度等方面对四类视频处理器进行比较后，认为通用d s p 芯片更适合进行嵌 入式开发和实时视频编解码算法的仿真与实现。以通用可编程的d s p 芯片为核心 组成的应用系统具有以下优点： 能够快速制造样机和进行验证，加快产品上市时间。 高度可编程性使产品能够迅速应用新算法、新标准或新协议。 可以通过软件更新，快速进行产品升级。 美国t i 公司的t m s 3 2 0 c 6 0 0 0 系列通用d s p 芯片是目前最先进、性价比最优 的d s p 芯片之一，适合运算量大、算法复杂度高的多媒体处理。t i 公司为d s p s 产品开发了汇编语言和c 语言代码产生工具以及各种软硬件调试工具，使d s p s 的开发难度大大降低。但是在t i 的d s p 上进行程序开发需要开发者针对芯片结 构和指令集特点进行多种优化，对开发者有较高的要求。 1 3 论文内容的安排 视频解码算法在d s p 芯片上的高效实现，必须充分挖掘视频处理器的并行特 性和计算资源，才能满足系统实时性要求。本文主要针对t ic 6 4 xd s p 的硬件结 构和指令集系统，研究1 4 2 6 4 “b a s e l i n e ”视频解码算法的d s p 移植及各种d s p 优化技术，实现对视频的实时解码。本论文结构安排如下： 6 第一章绪论 第一章绪论，简要介绍了视频编码标准、实时d s p 系统及本论文的主要工 作。 第二章t m s 3 2 0d m 6 4 2d s p 系统开发平台，简要介绍了d m 6 4 2 芯片的硬件结 构、开发工具c c s 及开发平台。 第三章h 2 6 4 标准的主要组成与技术特点，介绍h 2 6 4 标准的主要技术、 特点及发展前景。 第四章h 。2 6 4 解码程序在d s p 上的初步开发，详细介绍了j m 解码器源码的 移植过程，并对软件仿真、脱机工作等进行了介绍。 第五章h 2 6 4 解码器核心算法及程序的d s p 优化，介绍了d s p 程序优化技 术，对运动估计、亚像素插值等关键模块进行了优化。 第六章总结 第二章t m s 3 2 0 d m 6 4 2d s p 系统开发平台 第二章t m s 3 2 0 d m 6 4 2d s p 系统开发平台 多媒体通信对声音、图像、视频等的连续性和实时性提出了越来越高的要 求，从而推动了高性能多媒体处理芯片的发展，而t m s 3 2 0c 6 4 xd s p s 是目前 德州仪器公司开发的最高性能的定点d s p 芯片系列。t m s 3 2 0 d m 6 4 2 是该系列 中基于第二代v l 刑结构的数字多媒体处理器，时钟频率为6 0 0 m h z ，峰值处理 速度能达到4 8 0 0 m 口s ，而且具有丰富的片上外围接口，非常适合音视频传输、 v o i p 、监控、多媒体通信等视频图像处理领域应用。 本文选用的h 2 6 4 解码器开发平台是基于d m 6 4 2 芯片的。本章将简要介绍一 下d m 6 4 2 的硬件结构、开发工具c c s 及系统开发平台。 2 1d m 6 4 2 的硬件结构 d m 6 4 2 是基于c 6 4 xd s p 内核的处理器，体系结构如图2 - 1 所示，它由中央处 理单元( c p u ) 、内部存储器和片内外设( o n c h i pp e r i p h e r a l ) 组成，它带有三个 可配置的视频端口，提供与视频输入、视频输出以及码流输入的无缝接口。这 些视频端口支持许多格式的视频输入输出，包括b t 6 5 6 、h d t vy c 、r g b 以 及m p e g - 2 码流的输入。c p u 部分( 即图中的c 6 4 xd s p 核) 包括2 个对称的通 用寄存器组( 共6 4 个3 2 位通用寄存器) 、2 个对称的数据通路( a 和b ) 和8 个独立的功能单元等。片内采用两级存储器结构，并具有6 4 位外部存储器接口 ( e m i f ) ，可以方便地实现与同步异步存储器的无缝连接，最大可寻址外部存 储空间为1 0 2 4 m b 。增强的直接存储器访问控制器( e d m a ) 可以通过6 4 个独立的 通道来处理l 2c a c h e s r a m 与c 6 4 x 外设之间的数据传输。d m 6 4 2 的这些特点使 它非常适合于进行视频编码、视频分析等复杂度较高的视频图像处理应用。 8 is d r a m 卜 兰一e m i f a 卜+ t m s 3 2 0 d m 6 4 2 is b s r a m 卜 lt i m e r2 l 1 pc a c h e iz b ts r a m 卜 = t i m e rl 卜 ，f c i 。1 a p p e a 1 b kb y t e st o t a l l f f o | = t i m e ra 卜 i i s r a m 卜。 饕e r v c 粤x o 瑞卜 + c 6 4 xd s p c o t e lr o m f l a s h 卜 f v l c j i i n s t r t m t i o nf e t o h c o m r o l iu o d e v i n e sh r e g t 筑e r $ - 叫蜘嚣静2 卜 k n s t u c t i o nd i s p a t c h 由j n 口e dl e , s t n l c t i o np a o t m t c o n t r 0 1 v i d e o p 叭0 i n 曲r u c t i o nd e c o d e l o g i c p 0 1 d a t ap a t h ad 砌p a t h b 1 t t o r a r e g i s c h f i l eb r e g i s t e rf i l e a ? l r l h i tv p 0 l a 3 1 一a 1 6b 3 卜b 6 a d v a n c e d a n d - a 1 5 - a 0b t s - b 0 l i n c i m u f f m c s s p0 i i f e m u l a t i o n 0 rllt m c a s p 0，l is 1鹾t d 1 - d 2 im 2 i s 2 l 2 t m _ - , r r u p t c o n t r o l c o n t r o i e n h ，n d 1 2 k j d 精ac a o h e c o n t r o l l e rm e m o r y v i d e op o r t i i c e d m a i2 k b y t - s + lf 、，外l o r l i dc a c h e2 w a ys e t - a s s o o i a v e b j l o - h i t v p t l 氍b y t t st o t a l 伸 a n d e - i m c b s p ， q l o r i p l l i p o 竹甜o 州n fm 。c a 。s p 0l i | x 1 1 6 一2 l l o g i c l i 止! ! 竺i o r i 絮2 h p h $ l h - a n d f o r l ! 竺竺i 几面订 b o o tc o 对i g u r = t i o n o 叫g p 。卜 。卅1 2 c 0 卜 图2 1t m s 3 2 0 d m 6 4 2 体系结构 2 2d m 6 4 2 外围接口与芯片的介绍 d m 6 4 2 在内部集成了多个可灵活配置的外围设备接口， 三个可配置的视频端口( v p o 、v p l 、v p 2 ) 。这些 外围接口主要有： 视频端口外设提供与 普通视频编解码器的无缝接口。 v c x o ( 压控晶体振荡器) 插值控制端口( v l c ) 。 1 0 1 0 0 m b p s 以太网媒体存取控制器( e m a c ) ，e m a c 为d s p 处理器和以太 网收发器间提供高校的接口。 9 第二章t m s 3 2 0 d m 6 4 2d s p 系统开发平台 管理数据输入输出( m d i o ) 模块。该模块可轮询最多3 2 个m d i o 地址， 即管理3 2 个器件。 多通道音频串口( m c a s p ) 。作为优化的通用音频串口，适应多通道音 频应用的需要。 1 2 c 总线。1 2 c 端口使d m 6 4 2 能够很容易地控制外围设备。 两个多通道缓冲串口( m s b s p s ) 。该串口可以和多种标准接口。每个都 支持独立的通道选择，最多达1 2 8 个通道。 三个3 2 位的通用定时器。 用户可编程的1 6 位或3 2 位主机端口接口( h p l l 6 h p l 3 2 ) 。专门用于 连接到多种工业标准的主机处理器和p c i 桥接芯片。 6 6 m h z 3 2 位的外围部件互连接口( p c i ) 。这个接口是和3 2 位宽的h p i 复 用的。它可使d m 6 4 2 通过集成的p c i 接口连接到一个p c i 主机。这个接 口完全兼容p c i 标准版本2 2 。 通用输入输出( g p l 0 ) 端口。共有1 6 个g p l 0 弓i 脚，提供通用i 0 支持。 6 4 位外部存储器接口( e m i f a ) 。可以与同步或异步的存储器及外设接 口。e m i f a 有四个片选空间，最大总线速率1 3 3 m h z 。e m i f a 支持6 4 位、 3 2 位、1 6 位和8 位的数据总线宽度，并可以与s d r a m 、s r a m 、s b s r a m 、 f l a s hs d f i f 0 等存储设备连接。 2 3d m 6 4 2 主要开发工具( c c s ) 的介绍 c c s 是t i 的专用开发工具，它是一个完整的d s p 集成开发环境( 如图2 2 所示) ，也是目前最优秀、最流行的d s p 开发软件之一，它的功能特别强大， 包括编辑器、调试器、工程管理、p r o f i l e r 、p r o b ep o i n t s 、c 编译器、汇编优化 器和连接器、主机与目标系统实时数据交换( r t d x ) 、实时分析和数据可视化 等。所有的t id s p 都可以使用该软件工具进行开发，在软件开发时c c s 的 i d e 、d s p b 1 0 s 、r t d x ( 实时数据交换) 进行集成开发，组成综合的开发环 境，而且还建立了d s p 软件模块的标准接口，以便更好地重新利用现有的实现 了的d s p 算法，也便于算法的移植。 c c s 的c 编译器运用了大量的优化和全局配置，效率可达到手工调试汇编语 言的8 0 ，把涉及硬件的操作留给编译器完成转换，从而使编程人员不需要使 用费时费力的汇编语言就可以完全发挥硬件的全部性能，而使用c 语言编程可 以节省开发费用、加快产品开发的周期、降低系统成本、减少维护时间，而且 l o 第二章t m s 3 2 0 d m 6 4 2 d s p 粟* 发平台 十分方便软件的升级。整个编译器使用一系列复杂的内嵌扩展、定义和频率跟 踪算法，更好地实现了代码的高效性。 图22c c s 的开发界面 在实际开发中，c c s 具有以下特点： 1 可视化代码编辑界面，集成的代码生成工具，包括汇编器、优化c 编 译器、连接器等等。 2 基本调试工具，如装入执行代码( o u t 文件1 查看寄存器宙口，存储 器窗口，反汇编窗口，变量窗口等，支持c 源代码级调试。 3 断点工具，包括硬件断点、数据空间读写断点，条件断点等。 4 探针工具( p r o b e p o i n t s ) ，可用于算法仿真，数据监视等- 5 剖析工具( p r o f i l e p o i n t s ) ，可用于评估代码执行的时钟数。 6 数据的图形显示工具，可绘制“时域频域”波形图、星座图等并可 自动刷新( 使用a n i m a t e 命令运行) 。 7 支持r t d x ( 实时数据交换) 技术，利用该技术可在不中断目标系统运行 的情况下实现d s p 与其他应用程序( o l e ) g 现数据交换，数据实时可视化分 析。 第二章t m s 3 2 0 d m 6 4 2 d s p 系统# 平台 8 开放式的p t g i n 技术，支持第三方的a c t i v e ) ( 插件，支持各种仿真嚣， 包括软仿真( 只需安装相应的驱动程) 和硬件仿真。 9 提供d s p b i o s 工具，利用该工具可增强对代码的实时分析能力，如分 析代码执行的效率，调度程序执行的优先级方便管理或使用系统资源( 代码数 据占用空间，中断服务程序的调用，定时器使用等等) ，从而减小开发人员对硬 件资源熟悉程度的依赖性。 图23d m 6 4 2e v m 的内核与外围接口关系 2 4d m 6 4 2 的性能特点 t m s 3 2 0 d m 6 4 2 c 6 4 x 系列芯片基于t i 公司开发的第二代高性能的超长指令字 结构v e l o c i t 2 ，v e l o c i t l2 在8 个功能单元里扩展了8 8 条新的指令以增强 其在视频图像应用中的性能，并提高了视频处理的并行性 d m 6 4 2 的程序总线宽度为2 5 6 b i t ，次取值操作可以读取8 条指令，并且片内 集成的8 个功能单元能够独立的进行指令译码和执行二者一起形成了d m 6 4 2 的8 条流水线处理机制。8 个功能单元中有2 个乘法器，每个乘法器在1 个时钟周期内 可以执行2 个1 6 x 】6 b i t 或4 个8 8 b i t 的乘法操作，因此d m 6 4 2 在每个时钟周期内 可阻执行4 个l6 1 6 b i t 的乘法或8 个8 8 b i t 的乘法操作。其余6 个功能单元是算 术逻辑单元，能在每个时钟周期内执行2 个1 6 位或4 个8 位的加减、比较、移位等 运算。在6 0 0 m h z 的时钟频率下，0 m 6 4 2 每秒最多可以进行2 4 亿次1 6 位的乘累加或 4 8 亿次8 位的乘累加操作。强大的运算能力使d m 6 4 2 可以同时进行多路高质量的视 频处理。d m 6 4 2 系列可以在最高7 2 0 m h z 的时钟频率下工作，处理能力最高达到 5 7 6 0 m i p s ，所以随着频率的增 j f l d m 6 4 2 的性能也会随之大幅度提高。 d m 6 4 2 是完全软件可编程的。d m 6 4 2 具有最大2 5 6 k 字节的片内s r a m ， 盟芸巫鲨一崮一鹾 第二章t m s 3 2 0 d m 6 4 2d s p 系