（信号与信息处理专业论文）基于davinci技术的数字多媒体平台的开发研究.pdf

摘要 随着音视频编解码技术、数字高清晰度电视技术、移动便携式多媒体技术和 网络流媒体技术的发展，人们对于高品质的音视频多媒体和便携式多媒体需求日 益增强。由于h 2 6 4 im p e g 4 、a v s 等标准的日益广泛应用，因此开发者希望 多媒体设备能够支持多种音视频标准，然而h 2 6 4 、m p e g - 4 、m p e g - 2 等多种 音视频压缩标准各有其独特性，使得各种算法的统一集成非常复杂。为此，t i 推出了新一代的用于数字多媒体应用的高性能处理芯片1 m s 3 2 0 d m 6 4 4 x ，是基 于d a v m c i 技术的定点的a r m + c 6 4 x + 双核架构的数字多媒体处理器。a r m 核 采用最新的a r m 9 2 6 e j s 处理器，工作主频可达约3 0 0 m h z ，d s p 核为1 1 高性 能的c 6 4 x + 处理器，工作主频可达约6 0 0 m h z ，为各种音视频标准的统一集成提 供了软硬件条件，提高了各种音视频编解码算法标准实现的灵活性。 论文深入地研究了h 2 6 4m a i np r o f i l e 的视频解码移植和优化、h 2 6 4 的算法 库c o d e ce n g i n e 的封装、u - b o o t 的移植、s d l 的g u i 的移植和应用程序设计、 以及a r m 端多媒体解码器的移植和g s t r e a m e r 多媒体框架的移植等。 ，在数字多媒体平台下，实现了h 2 6 4m p 解码c i f 图像2 0 3 0 f r a m e s ，d s pc p u 占用率约为7 5 ，运行较稳定，对c o d e ce n g i n e 封装，实现了】【d m 算法标准封 装，并成功移植了s d l 用户图形界面库，实现了很好的用户界面支持和交互操 作功能，g s t r e a m e r 多媒体框架的成功移植构建了整个系统多媒体应用程序设计 开发框架，实现了音视频流解复用、a v 同步等复杂功能。 在论文工作期间开发编写了一套多媒体应用程序开发参考框架，编写应用程 序r p c 调用封装的h 2 6 4 解码算法，实现h 2 6 4 压缩的音视频文件的解复用和 音视频同步播放，并提供了友好的交互界面，有效的控制程序的运行和管理， h 2 6 4 解码速度联调时可达2 5 f r a m e s ，解码图像清晰，整体程序运行稳定。 关键词：d a v i n c ia r mc 6 4 x + h 2 6 4g s t r e a m e r 数字多媒体处理器 a b s t r a c t w i t ht h ed e v e l o p m e n to fd i g i t a lv i d e oc o d i n gt e c h n o l o g y , h i g hd e f i n i t i o nt v , m o b i l ea n dp o r t a b l em u l t i m e d i at e c h n o l o g ya n di n t e r a c ts t r e a m i n gm e d i a , p e o p l e s g r e a tr e q u i r e m e n tt om u l t i m e d i aw i t hh i l g hq u a l i t yi sg r o w i n gh i g h l y w i t h t h e p o p u l a r i z a t i o no fh 2 6 4 ，m p e g - 4a n da v sc e d i n gs t a n d a r d s ，d e v e l o p e r sh o p et o d e v e l o pm u l t i m e d i ad e v i c e st os u p p o r tm o r es t a n d a r d s ，b u tt oi n t e g r a t ed i f f e r e n t c o d i n gs t a n d a r d s i st o od i f f i c u l t t e x a si n s t r u m e n tp r o v i d e st h el a t e s th i g h p e r f o r m a n c ed i g i t a lm e d i ap r o c e s s o r - t m s 3 2 0 d m 6 4 4 x ，t i sl a t e s th i g hp e r f o r m a n c e d i g i t a lm e d i as o cp r o c e s s o rb a s e do nd a v i n c it e c h n o l o g y , w h i c h i n t e g r a t e st w o c o r e s - a r mc o r ew i t l lt h el a t e s ta r m 9 2 6 e j sp r o c e s s o ro p e r a t i n gu pt o3 0 0 m h za n d d s pc o r ew i t ht h eh i g hp e r f o r m a n c ec 6 4 x + p r o c e s s o ro p e r a t i n gu pt o6 0 0 m h z t h et h e s i sr e s e a r c h e dd e e p l yo nt r a n s p l a n t i n ga n do p t i m i z i n go fh 2 6 4m a i n p r o f i l ea l g o r i t h m ；i m p l e m e n t i n gt h ea l g o r i t h me n c a p s u l a t i o no fh 2 6 4a c c o r d i n gt o x d ms t a n d a r d ；t r a n s p l a n t i n gu - b o o tb o o t l o a d e rt ob o o te m b e d d e dl i n u x ； t r a n s p l a n t i n gs d l t os u p p o r tg u ia n da p p l i c a t i o np r o g r a m sd e v e l o p i n g ；t r a n s p l a n t i n g m u l t i m e d i ap l a y e ra n dg s t r e a m e rt oi m p l e m e n ta vs y n c h r o n i z a t i o na n dd e m u x b a s e do nd a w m c id j 罾t a lv i d e op l a t f o r m , t h ep r o j e c ti m p l e m e n t e dh 2 6 4 d e c o d i n ga l g o r i t h mw h i c hs u p p o r t e dd e c o d i n gc i ff o r m a tv i d e o su p t o2 0 - 3 0t 旨a m e s w i t hc p uo c c u p a t i o nu pt o7 5 a n de n c a p s u l a t i o no fc o d e ce n g i n ea c c o r d i n gt o x d ma l g o r i t h ms t a r d a r d t h ep r o j e c ta l s ot r a n s p l a n t e ds d lt os u p p o r tg u ia n d i n t e r a c t i v eo p e r a t i n g ，a n dg s t r e a m e rm u l t i m e d i af r a m e w o r kt ob u i l df r a m e w o r ko f m u l t i m e d i aa p p l i c a t i o ns o r w a r ed e v e l o p m e n tt oi m p l e m e n ta vs y n c h r o n i z a t i o na n d d e m u x d u r i n g t h ep r o j e c t , t h er e f e r e n c ef r a m e w o r ko fm u l t i m e d i aa p p l i c a t i o nw a s d e v e l o p e da n di tw a sd e v e l o p e dt h a tt h ea p p l i c a t i o nt ou s er p c t oc a l lh 2 6 4c o d e c e n g i n ea l g o r i t h m w i t ht h ef u n c t i o no fa u d i oa n dv i d e od e m u xa n d s y n c h r o n i z a t i o n t h i sa p p l i c a t i o na l s op r o v i d e sf r i e n d l yu s e ri n t e r f a c et oc o n t r o la n d m a n g et h ep r o g r a m i tf i n a l l yi m p l e m e n t e dt od e c o d eh 2 6 4u pt o2 5 f r a m e sw i t h d e c o d e dp i c t u r ec l e a r l ya n ds u c c e s s f u l l y k e yw o r d s ：d a v m c i ，a r m ，c 6 4 x + ，h 2 6 4 ，g s t r e a m e r , d i g i t a lm e d i as o c 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得鑫鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位做作者签名弧斗走 学位论文版权使用授权书 月岁日 本学位论文作者完全了解鑫鲞盘堂有关保留、使用学位论文的规定。 特授权丞凄盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 文作：雍t 未 签字同期洲年月乡同 翩虢杉剌 ， 签字日期：勿哆年争月j 多日 第一章绪论 第一章绪论 1 1d a v i n c i 数字多媒体技术概述 1 1 1d a v i n c i 技术 达芬奇( d a v i n c i ) 技术是t i 推出的最新的针对数字多媒体应用而定制的基 于d s p 的系统解决方案组件的集合，为多媒体设备供应商简化设计并加速产品 创新提供集成的处理器、软件与工具。达芬奇技术由以下各部分组成： 1 优化的应用软件：具有互操作性的现成的视频编解码器充分利用了集成 加速器、公开发布的a p i 以及基于各种实时操作系统的专用框架一所有这一切使 工程师能够快速的完成设计。 2 开发工具：完整的开发系统、参考设计以及全面的a r m d s p 系统级集 成开发环境、可加速任何数字视频应用的设计开发。 3 集成硅芯片：专门为数字视频应用定制的片上系统处理器，达芬奇处理 器集成了业界最好性的d s p 平台t m s 3 2 0 c 6 0 0 0 和a r m 的高端系列处理器 a r m 9 2 6 e j s ，同时集成优化的视频处理硬件加速器与丰富外设，以全方位满足 各种数字视频终端设备对性能、功能等多方面的需求。 达芬奇技术充分利用了1 1 的2 5 年的数字信号处理与集成电路专业技术来提 供系统级芯片( s o c ) ，系统针对灵活的数字视频实施而进行了精心优化，拥有 业界领先的性能并集成了可编程的数字信号处理器d s p 内核、a r m 处理器以及 视频加速协处理器。凭借高效的处理能力、存储器、i o 带宽、平衡的内部互连 以及专用外设组合，基于达芬奇技术的s o c 能够以最低的成本为视频多媒体应 用提供理想的核心动力【l 】【2 】。 1 1 2d a v i n c i 多媒体芯片t m s 3 2 0 d m 6 4 4 x 1 m s 3 2 0 d m 6 4 4 x 是一款高集成度的片上系统s o c ，集成了数字视频应用所 需的许多外部部件，使硬件成本降低了5 0 。d m 6 4 4 x 建立在t i 性能卓越的 c 6 4 x + d s p 处理器基础之上，并对a r m 9 2 6 处理器、视频加速器、网络外设及 外部存储器存储器接口等都专门为视频功能进行了调节_ o ，i m s 3 2 0 d m 6 4 4 3 针对视频编码及解码应用进行了调整和优化，可为数字视 频编解码提供所需要的组件，包括带集成式图像缩放工具及画中画o s d 引擎的 第一章绪论 模拟及数字视频输出。t m s 3 2 0 d m 6 4 4 6 则特别适合视频编码与解码，其专门的 视频处理前端添加了视频编码功能，能够捕各种数字视频格式的视频数据3 】【4 】。 d m 6 4 4 x 架构的结构特点： 高性能处理器：采用低功耗、高性能的3 2 1 m s 3 2 0 c “x + 处理器和 a r m 9 2 6 e j s 处理器，工作频率分别高达5 9 4 m h z 和2 9 7 m h z ；支持多 媒体处理技术，采用的d s p 内核，增强了对视频和音频的解码能力。 专用的视频图像处理器和视频处理子系统：专用的视频图像处理器用于 对视频数据的处理；视频处理子系统包括一个视频前端输入接口和一个 视频末端输出接口。 存储器容量：支持2 5 6 m b 的3 2 位d d r 2s d r a m 存储空间，1 2 8 m b 的 1 6 位f l a s h 存储空间。 丰富的外设：6 4 通道增强型d m a 控制器；串行端口( 3u 觚、s p i 、 音频串口) ；3 个6 4 位通用定时器；l o 1 0 0 m 以太网；u s b 2 0 端口；支 持m m c s d c f 等多媒体卡。 1 1 3d a v i n c i 技术及其芯片应用和开发前景 由于达芬奇技术成功的实现了数字视频需要的四大要素的最新进步：处理 器、开发工具、软件以及系统专业技术，因此达芬奇技术为数字视频的变革打下 了基础【1 】。达芬奇技术的优判2 胴如下： 显著降低系统成本。 集成代码的数字视频子系统的硬件和软件。 为了真正意义上地让开发人员克服最初的障碍并加速实现产品上市进程，完 整的达芬奇软件架构涵盖了低级的o s 驱动程序乃至应用a p i ，使开发人员无需 投入过多的力量编写及优化编解码或进行d s p 编程，即能够实现数字视频功能， 从而使开发人员能够集中精力到开发可最大化附加值的产品中来。而最初的a p i 基于l i n u x 操作系统，使开发人员实施编解码器时不用接触复杂的软硬件细节， 开发人员不需要修改应用代码就可以实现多媒体编解码器互换。在创建应用时， 开发人员能够利用o s 开发环境编写符合业界标准的a p i ，实现存储、网络及视 频接口功能，使开发人员能够充分利用s o c 的性能，并致力于开发算法及其自 身增值特性。 的d a v m e i 技术是一种基于d s p 的系统解决方案，专门为高效而强大的数 字视频而量身定制，d a v m c i 技术可以实现用于手持、家居及车载的数字视频设 备上的技术惊人创意。d a v i n e i 平台包括基于单片系统的s o c 的数字信号处理器 d s p 的硬件以及多媒体数字信号编解码器c o d e c 、应用程序接口、应用框架及 2 第一章绪论 开发工具等软件，所有软硬件均优化以创新数字视频系统。d a v j m c i 技术将缩短 产品的开发时间，降低系统成本以激发新一轮的数字视频变革。 1 2h 2 6 4 视频压缩编码技术简述 h 2 6 4 视频压缩编码标准是由国际电信联盟( r r u t ) 的v c e g 和国际标准 化组织( i s 伽e c ) 的m p e g 的联合视频组( n 叮) 开发的一个新的数字视频编 码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g - 4 的第十部分( m p e g 4 a v c ) 。 h 2 6 4 标准分为3 个档： 基本档次( b 髂e l m ep r o f i l e ) ：h 2 6 4 标准的简单版本、应用面广 主要档次( m a i np r o f i l e ) ：采用了多项提高图像质量和增加压缩比的技 术，可用于标清电视( s d t v ) 、高清晰度电视( h d t v ) 和d v d 等 扩展档次( e x t e n d e dp r o f i l e ) ：用于各种网络的视频流传输 h 2 6 4 采用d p c m 和变换编码相结合的混合编码模式，同时采用了“回归基 本 的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能；加强了 对各种信道的适应能力，采用“网络友好的结构和语法，有利于对误码和丢包 的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输场合的 需求。 h 2 6 4 的结构分为视频编码层( v c l ) 和网络抽取层( n a l ) 。v c l 可以有 效地表示视频内容，n a l 用于对v c l 层的视频内容进行格式化，并提供头信息。 h 2 6 4 标准主要用于在图像内容预测方面提高编码效率，改善图像质量的主 要技术特点如下【6 】【7 】： 可变块大小的运动补偿技术 h 2 6 4 可选择运动补偿预测区域大小和形状，该技术比以前的标准更灵 活，并且最小的亮度运动补偿块大小为4 x 4p i x e l 。 1 4 采样精度运动补偿 h 2 6 4 a v c 大大减少了1 4 采样精度运动补偿技术中内插处理的复杂度。 运动矢量可跨越图像边界 多参考图像运动补偿技术 h 2 6 4 a v c 使用了高级图像选择技术，可参考以编码且保留在缓冲区中 的帧图像进行预测，大大提高了编码效率。 消除参考图像顺序和显示图像顺序的相关性 在h 2 6 4 标准之前，各类视频编码标准都规定了参考图像顺序必须对应 第一章绪论 显示图像顺序，但h 2 6 4 a v c 消除了该限制，可以任意选择。 消除参考图像与图像表示方法的限制 通常b 帧图像不能作为预测图像，但h 2 6 4 a v c 在很多情况下可以利用 b 帧图像作为参考帧。 加权预测技术 h 2 6 4 a v c 采用新技术，加权运动补偿预测和偏移一定量。在淡入淡出 场景中该技术极大的提高了编码效率。 改善“跳过”处理和“直接”运动补偿技术 一般，预测编码图像的“跳过”区不能有运动信息，这种限制不利于编 码全局运动的图像。h 2 6 4 a v c 对“跳过区的运动补偿采用预测方法， 此外b 帧图像采用了高级运动预测方法，即“直接运动补偿技术，进 一步改善编码效率。 去除块效应的滤波器 h 2 6 4 a v c 采用自适应块效应滤波技术，有效消除块效应，改善视频的 主观和客观质量。 作为一种新的国际标准，h 2 6 4 在编码效率、图像质量、网络适应性和抗误 码方面都取得了成功。但随着终端和网络的快速发展，对视频编解码的要求也越 来越高，因此h 2 6 4 仍在继续的完善和发展以适应新的要求。 1 3 论文的任务与结构 论文研究的是s e e d 的重点项目一“基于d a v m c i 技术的数字多媒体开发平 台的软硬件设计刀的软件开发部分的工作，主要完成了基于d a v i n c i 技术的数 字视频开发平台的h 2 6 4 算法移植与封装、a r m 端g u i 、多媒体软件架构的建 立等。 论文结构如下： 第一章简要介绍d a v m c i 技术和h 2 6 4 标准。 第二章介绍d a v m c i 技术芯片和数字多媒体开发平台的硬件架构。 第三章介绍h 2 6 4 视频压缩算法。 第四章介绍数字多媒体开发平台软件架构和h 2 6 4 解码算法移植和封装。 第五章介绍数字多媒体开发平台u - b o o t 、s d l 、g s t r e a m e r 等移植开发。 4 第二章基于d a v m c i 技术的数字多媒体平台硬件架构 第二章基于d a v i n c i 技术的数字多媒体平台硬件架构 2 1 基于d a v i n c i 技术的多媒体芯片架构 德州仪器( ) 推出的最新的数字媒体片上系统( d i g i t a lm e d i as o c ) 系列 双核处理器，针对高端视频多媒体系统的需求而设计，该系列的最新的处理器是 功能强大的t m s 3 2 0 d m 6 4 4 6 ，采用了n 的d a v m e i 技术。t m s 3 2 0 d m 6 4 4 6 的双 核架构兼具d s p 和r i s c 技术的优势，集成了时钟频率高达5 9 4 m h z 的c 6 4 x + d s p 内核和2 9 7 m h z 的a r m 9 2 6 e j s 内核。新一代的c 6 4 x + d s p 是t m s 3 2 0 c 6 0 0 0 系列d s p 平台中性能最高的定点d s p ，并建立在1 1 开发的第二代高性能高级 v l i w 架构的增强版之上，可以更好的完成视频处理功能。1 m s 3 2 0 d m 6 4 4 6 具 有片上内存，2 级高速缓存和丰富的视频处理外设。t m s 3 2 0 d m 6 4 4 6 包含一个 视频影像协处理器( c p ) ，用于减轻相关算法的d s p 内核繁重的视频与影像 处理负担，使更多的m i p s 能用于视频后处理或者其他并行运行等任务。 2 i it m s 3 2 0 d m 6 4 4 6 的特点 1 m s 3 2 0 d m 6 4 4 6 数字媒体片上系统芯片的特点如下： 高性能数字媒体片上系统【3 】 s l c 6 4 x + d s p 处理器主频高达5 9 4 m h z ，运算速度可达4 7 5 2m i p s 每个时钟周期运行8 个3 2 b i t 的c 6 4 x + 指令 a r m 9 2 6 e j s 高端处理器主频高达2 9 7 m h z 先进的t m s 3 2 0 c 6 4 x + 的d s p 内核的超长指令字技术【3 】网 8 个高性能的独立功能单元 6 个a l u s ，支持单时钟周期单个3 2 b i t 、双1 6 b i t ，或4 个8 b i t 的算术运算 2 个乘法器支持单个时钟周期4 个1 6 x1 6 b i t 的乘法操作或者8 个8 8 b i t 的乘法操作 6 4 个3 2 b i t 的通用寄存器 支持指令打包减小代码大小、所有指令均为条件指令 c 6 4 x + 指令集特性 字节寻址、8 b i t 溢出保护 第二章基于d a v m c i 技术的数字多媒体平台硬件架构 位提取、配置、清零 归一化、饱和、位计数 紧致1 6 b i t 指令、支持复数乘法操作指令 c “x + l 1 l 2 高速缓存架构 3 2 k b 的l 1 p 程序r a m c a c h e 、8 0 k b 的l i d 数据r a m c a c h e 6 4 k b 的l 2 统一映射的r a m c a c h e a r m 9 2 6 e j s 内核 支持3 2 b i t 和1 6 b i t 指令集 d s p 指令扩展和单周期乘累加操作 a r m 9 的内部存储器资源 9 1 1 6 k b 的指令高速缓存c a c h e 、8 k b 的数据高速缓存c a c h e 1 6 k b 的r a m 、1 6 k b 的r o m 视频处理子系统【1 0 】 1 1 1 视频处理前端 支持c c d 和c m o s 图像采集接口 支持b t 6 0 1 b t 6 5 6 数字y c b c r 4 ：2 ：2 接口 支持自动曝光、自动白均衡和自动对焦 支持调焦：1 4 x , - - 4 x ；独立的水平垂直控制 视频处理后端 硬件支持o s d 功能 4 个5 4 m h z 的d a c s 支持复合n t s c p a l 、s 端子和y p b p f 瓜g b 视频 支持8 1 6 b i t 的y j 或者2 4 b i t r g b 数字输出 支持h d 分辨率视频、2 个视频窗 外部存储器资源【1 2 】【1 3 】 3 2 b i t 的d d r 2s d r a m 存储器控制器，支持2 5 6 m b 寻址空间 1 6 b i t 位宽的异步外部存储器接口，支持1 2 8 m b 寻址空间 f l a s h 多媒体卡接口 多媒体存储卡( m m c ) s d 卡接口 c o m p a c t f l a s h 控制器支持t r u e i d e 模式、智能卡接口 6 4 通道的增强型的d m a 控制器( e d m a ) 0 4 2 个6 4 b i t 的通用定时器和1 个看门狗定时器 3 个u a r t 通道、1 个s p i 接口、主从1 2 c 总线 音频串行接口( a s p ) 1 1 5 1 6 第二章基于d a v m e i 技术的数字多媒体平台硬件架构 1 2 s 、a c 9 7 音频接口 标准的语音解码接口( a i c l 2 ) 1 0 1 0 0 m 以太网网卡( e m a c ) 符合i e e e 8 0 2 3 介质独立接口( m ) v l y n q 接口( f p g a 接口) f 1 6 】 集成物理层的u s b 2 0 接口 支持u s b 2 0 高速全速从设备 支持u s b 2 0 高速全速低速主设备 3 个脉宽调制输出口( p w m ) a t a a t a p i 硬盘接口【1 7 】 独立的a r m d s p 省电工作模式 灵活的p l l 时钟发生器 多达7 1 个通用i o 口( g p i o ) 3 3 v 和1 8 v 的i o ，1 2 v 的内核电压 2 1 2t m s 3 2 0 d m 6 4 4 6 结构框图 1 m s 3 2 0 d m 6 ：4 4 6 的双核架构集成了高性能的1 m s 3 2 0 c “) 【+ d s p 核和采用 精简指令集技术的a r m 9 2 6 e j s 核。 a r m 9 2 6 e j s 是采用管道化流水线的3 2 位的精简指令集处理器，可以执行 3 2 b i t 1 6 b i t 指令集，处理3 2 b i t 、1 6 b i t 、8 b i t 数据。a r m 通过使用协处理器c p l 5 和保护模块使体系结构得到增强，并提供数据和程序存储管理单元。为了保证内 核周期的存取指令和数据，提供了独立的1 6 k 字节的指令c a c h e 和8 k 字节的数 据c a c h e ，指令和数据c a c h e 都是通过、，i 、仃四路链接【9 】。 ，i m s 3 2 0 c 6 4 x + d s p 是t m s 3 2 0 c 6 0 0 0 系列里最高性能的定点d s p 平台，基 于第二代高性能先进超长指令字结构，使其更适合数字多媒体的应用【1 2 】【1 3 】。 t m s 3 2 0 d m 6 4 4 6 功能框图如图2 1 所示： 7 第二章基于d a v j m c i 技术的数字多媒体平台硬件架构 图2 11 m s 3 2 0 d m 6 4 4 6 功能框图 由图2 1 示，t m s 3 2 0 c 6 4 x + d s p 处理器集成了6 4 个3 2 位通用寄存器、8 个 高性能独立功能单元2 个乘法器和6 个算术逻辑单元。1 m s 3 2 0 d m 6 4 4 6 采用 二级c a c h e 结构，l 1 程序c a c h e 为2 5 6 k b i t 直接映射c a c h e 、l 1 数据c a c h e 为 6 4 0 k b i t 的双向配置c a c h e 、l 2 存储c a c h e 包含一个5 1 2 k b i t 的存储器空间由程 序和数据共享，l 2 存储空间可以配置为存储空间、c a c h e 或者存储空间与 c a c h e 3 。 t m s 3 2 0 d m 6 4 4 6 除了包含一个2 9 7 m h z 的a r m 9 2 6 e j s 核和5 9 4 m h z 的 c 6 4 x + d s p 核外，还包含有一个视频处理子系统( 4 个d a c s 、一个视频编码器 和一个o s d 引擎) 。此外，刑s 3 2 0 d m 6 4 4 6 有丰富的外设资源：u s b 2 0 接口、 以太网m a c 、d d r 2 控制器、存储卡接口、i d e 接e 1 等等【1 2 j 1 3 1 1 5 j 【1 6 1 。 2 1 3a r m 子系统 a r m 子系统部分集成了a r m 9 2 6 e j s 处理器，a r m 子系统设计思路为由 a r m 处理器作为设备的主控处理器。a r m 子系统用于设备的配置和控制，其中 包括对d s p 子系统、视频处理子系统和其他丰富外设和外部存储空间的控制。 多媒体片上系统中，a r m 用于处理诸如系统级初始化、配置、用户接口、 用户命令执行、d s p 子系统的控制接口和其他系统控制的系统功能。a r m 能够 第二章基于d a v m c i 技术的数字多媒体平台硬件架构 完成以上功能，是由于a r m 支持更大的程序存储空间、更好的程序上下文切换 能力，因而更适合完成复杂的多任务的通用控制任务【3 】【9 】。 a r m 子系统主要包括以下特性： 删9 2 6 日s 精简指令集处理器( s c ) 协处理器1 5 ( c p l 5 ) 、存储器管理单元( m m u ) 1 6 k b 的指令c a c h e 和8 k b 的数据c a c h e 写缓冲功能 a r m 内部存储空间 1 6 l 的内部r a m ( 3 2 位位宽) 1 6 k b 的内部i 的m 系统级外设控制 a r m 中断控制器 p l l 控制器 电源和s l e e p 控制器 a r m 管理和控制以下外设 d d r 2 控制器、异步外部存储器接口控制器 e d m a 控制器、u a r t 、定时器、p w m 、1 2 c 通信控制器 多媒体卡控制器、c f 卡控制器 音频串口a s p 、串口接口s p i 、u s b 控制器 a t a 控制器、e m a c 以太网控制器 视频处理前端和视频处理后端 a r m 子系统框图如图2 - 2 所示： 一熟 忭因 蚱 lm 一勰 r m 9 2 6 e 卜s 一8 1 t m s 3 2 0 c 6 4 x + c p u 内部存储器控制器 程序存储空间控制器p m c 、数据存储空间控制器d m c 统一的存储空间控制器u m c 、外部存储空间控制器e m c 内部d m a 控制器i d m a 内部外设控制器 中断控制器 电源控制器 t m s 3 2 0 c 6 4 x + d s pc p u 是t m s 3 2 0 c 6 0 0 0 系列的高性能的处理器，每个时 钟周期运行8 条3 2 b i t 指令。t m s 3 2 0 c 6 4 x + d s pc p u 包含6 4 个3 2 位通用寄存 器和8 个功能单元( 2 个乘法器和6 个算术逻辑单元) 。1 m s 3 2 0 c 6 4 x + d s p 内核 构建在v c l o c i t l 2 0 体系结构的基础上，使v c l o c i t i 系统结构的进一步增强，以 其c 6 4 x 内核的先进超长指令字结构，可以获得当前应用设备所需的极高的性能 【3 】【8 】。 d s p 子系统架构图如图2 3 所示： 1 0 第二章基于d a v m c i 技术的数字多媒体平台硬件架构 图2 3d s p 子系统框架图 由图2 3 示，t m s 3 2 0 c 6 4 x + d s pc p u 的主要特点如下： c 6 4 x + 片内2 个数据通道、8 个功能单元和2 个一般目的寄存器文件a 和b ；8 个功能单元和2 个寄存器文件分为两个组，每组占用一个数据 通道；两个数据通道之间包含两个数据交叉通路； c “x + d s p 采用超长指令字v l i w ，即在每个时钟周期最高可提供8 条 3 2 位指令，总字长为2 5 6 位的指令包同时分配到8 个并行处理单元。在 5 9 4 m h z 时钟频率下，当片内8 个处理单元同时运行时，其最大处理能 力可达4 7 5 2 m i p s ： c 6 4 x + d s p 具有双1 6 b i t 扩充功能，芯片能在一个周期内完成双1 6 位的 乘法、加减法、比较、移位等操作； c 6 4 x + d s p 通过将d s p 运算压缩在较小的时间周期里，加速通信和图像 处理。在增强并行的扩展中，四组8 位两组1 6 位指令允许每秒进行约 9 0 亿次8 位乘累加运算。 2 1 5 视频处理子系统( 、伊s s ) t m s 3 2 0 d m 6 4 4 6 视频处理子系统为视频处理应用提供了视频处理前端v p f e 输入接口和视频处理后端接口【3 】【1 0 】【1 1 】。视频处理子系统详细框图如图2 - 4 所示： 第二章基于d a v j m e i 技术的数字多媒体平台硬件架构 c c n 删 玎v i d e o d e c o d e r 1 视频处理前端 3 】【1 1 】 图2 - 4 视频处理子系统框图 f 曩i o g 蛐 ( 队c s ) d i g 酬蛐 ( 嘲 视频处理前端主要由c c d 控制器、图像预处理引擎i s p 、硬件自动曝光白 均衡自动聚焦( 3 a ) 模块、缩放、直方图统计模块构成。视频处理子系统视频 处理前端的构成如图2 5 所示： 图2 5 视频处理前端框图 由图2 5 示，视频处理前端的各个主要部分： c c d 控制器：为图像传感器和数字视频源提供输入接口，可以接受 c c d c m o s 传感器采集的原始图像或视频数据和视频解码器输出的各 种格式的y v u 的视频数据。c c d c 的输出需要做图像处理操作将原始 1 2 第二章基于d a v m c i 技术的数字多媒体平台硬件架构 图象数据转换为最终处理后的数据，处理过程可以在预处理模块中完成 也可以由d s p 端程序和图像协处理器子系统实现，图像处理过程中，进 入c c d c 的原始数据可以进行h 3 a 和直方图统计操作。 预处理模块：预处理模块是一个图像处理模块，可以支持各种传感器类 型的图像质量和视频帧率，用于数码相机图像预览和视频记录。预处理 模块将传感器采集的未压缩的图像视频数据转换为y c b c r 4 - 2 ：2 格式， 预处理输出可以用于进一步的视频压缩处理和连接外部数字或者模拟显 示设备进行显示输出。 缩放模块：缩放模块可以将输入的视频图像数据缩放至预定的显示大小 或者视频编码需要的分辨率，缩放能力可达l o 倍。缩放模块的输入数据 来自预处理模块或者d d r 2 ，而输出至d d r 2 中以进行进一步的处理。 h 3 a 模块：h 3 a 模块提供了自动聚焦、自动白均衡、自动曝光功能。 直方图模块：直方图模块依据采集的原始图像视频数据和输入的色彩像 素的幅度值，进行相应的统计以完成h 3 a 模块需要的参数，调整视频的 输出。 2 视频处理后谢3 】【1 0 】 视频处理后端主要由o s d 显示模块、视频编码模块和数字l c d 控制器构成。 视频编码模块包括数字l c d 和模拟视频输出接口；数字l c d 控制器产生数字 r g b y c b c r 数据和时序信号。视频处理后端系统框图如图2 - 6 所示： 图2 - 6 视频处理后端框图 视频处理后端由以下部分构成： o s d 模块：o s d 模块的主要功能是收集和融合显示视频数据和显示位 第二章基于d a v m c i 技术的数字多媒体平台硬件架构 图数据，o s d 可编程配置；o s d 模块有以下特性： 支持同时显示两个视频窗v i d w i n 0 i 和图形、字符o s d 窗 o s d w 玳0 l 支持一个矩形光标窗和一个可编程背景颜色可选窗 各窗口的起始基点、宽、高均可编程设定 o s d w i n l 可配置为o s d w i n 0 的属性窗口 v i d w i n 0 支持p i n g - p o n g 机制 o s d 位图数据可配置为1 2 - 4 - 8 位 显示优先级r e c t a n g u l a r - c u r o s r o s d w i n 0 o s d w i n 1 v i d w i n l v i d w i n 0 背景 视频编码模块：视频编码模块产生模拟视频输出，具有以下特性： 支持高清、标清显示 4 通道1 0 位d a c ，支持复合视频、分量视频、s v i d e o 输出显示 内部产生彩色条 数字l c d 控制器模块：产生数字r g b y c b c r 数据输出和时序信号，数 字l c d 控制器支持以下特性： 时钟可编程配置，高达7 5 m h z 支持多种输出格式： - 1 6 位y c b c r 、8 位y c b c r 、并行2 4 位r g b 、串行r g b b t 6 5 6 格式、支持q v g a 、s t n 显示 数字r g b 输出低通滤波 可编程时序发生器 内建e p s o n c a s i ol c d 显示板时序发生器 支持主从操作、支持内部彩条产生 2 1 6 外部存储器接口 t m s 3 2 0 d m 6 4 4 6 中集成了多种外部存储器接口：异步e m i f a ( n o rf l a s h 、 s d 删) 、n a n df l a s h 以及c f 卡等。异步e m i f a 包括一个8 位或1 6 位数据 线，1 个2 4 位地址线，4 个片选信号，支持的存储器接口有n a n d 、朋w c f 、 主机端接口。n a n d 接口包括的存储卡类型有n a n d 卡、s m 卡和x d 卡。d d r 2 存储及控制器用于与1 6 位或者3 2 位d d r 2s d r a m 的连接，d d r 2s d r a m 在 达芬奇技术中有很重要的作用，由于数据读写的高速，它用来缓冲视频输入图像 数据，并作为o s d 显示数据的缓冲器，运行a r m 和d s p 代码等【1 2 】【1 8 】。 1 4 第二章基于d a v m c i 技术的数字多媒体平台硬件架构 2 1 7 外围控制模块 t m s 3 2 0 d m 6 4 4 6 包含3 个6 4 位的通用定时器和3 个p w m 模块。其中定时 器0 和1 具有3 2 位通用计时功能，定时器2 具有看门口模式以及产生a r m 和 d s p 的中断，产生e d m a 同步事件。p w m 模块既可以用作周期性计数，也可 以用作重复计数【1 2 】【1 7 1 。 1 m s 3 2 0 d m 6 4 4 6 微处理器具有6 4 个独立的e d m a 通道。e d m a 控制器用 于可响应内部和外部设备的请求。在a r m 9 2 6 e j s 运行条件下，完成外部寄存 器内部寄存器和外部设备之间的数据传输【1 4 】。 聊s 3 2 0 d m 6 4 4 6 的g p i o 可以配置为输入或输出管脚，当配置位输出管脚时， 写内部寄存器可以控制输出管脚的状态；当配置为输入管脚时，可以通过读取内 部寄存器的状态位得知输入的状态；此外，g p i o 外设可以产生c p u 中断和d m a 事件。 1 m s 3 2 0 d m 6 4 4 6 集成多种串行接口： 3 个u a r t 接口，u 触盯2 具有的功能是：对于接收器和发送器的f i f o 有