（电路与系统专业论文）嵌入式多媒体处理平台的研究与应用.pdf

北京邮电大学硕士研究生学位论文 嵌入式多媒体处理平台的研究与应用 摘要 多媒体技术是通信、广播电视和计算机技术经过长期地发展，相 互融合、相互渗透而形成的三位一体的一门崭新的技术，并从2 0 世 纪9 0 年代开始迅速发展起来的。 多媒体通信系统是由处理多媒体信息的终端和传输、交换数据的 通信网络构成。其中负责多媒体信息处理的终端技术是至为重要的一 项技术，基于媒体d s p 的单机终端设备的实现如今成为了研究热点。 在本文中我提出了一种应用于多媒体处理的嵌入式系统平台方案。此 平台便是此种终端，它已被实现并成功地应用于视频监控系统，而且 还可应用于视频会议、可视电话等系统。 该平台以t r i m e d i at m l 3 0 0 芯片为核心，加上视音频a d 、d a 芯片，s d r a m ，e 2 p r o m ，c s 8 9 0 0 a ，f l a s h 等使其构成一个完 整的硬件系统，并在芯片上嵌入p s o s 操作系统来简化平台的软件编 程。它的特点就是具有良好地二次开发基础，用户可以在此平台上根 据不同的要求做高层次的应用开发。 在这一项目开发中，我完成了嵌入式多媒体处理平台的硬件设计 与调试，并参与了部分驱动程序的开发。本文中比较详细地阐述了开 发平台所使用的各项关键技术，涉及的内容主要有t m l 3 0 0 、p s o s 嵌入式实时操作系统、平台的硬件设计与调试、平台的驱动编程和视 音频压缩编解码、通信等应用程序编程。接下来是本文的内容安排。 首先，本文介绍了嵌入式系统、嵌入式操作系统、d s p 等概念， 并对d s p 和通用c p u 、媒体d s pt m l 3 0 0 和通用d s p 进行比较， 说明该平台使用t m l 3 0 0 的必要。 其次，全面阐述平台使用的t m l 3 0 0 芯片和p s o s 实时操作系统 两种关键部件。 接着，详细说明了平台的硬件组成、关键技术、硬件开发流程、 注意事项及硬件设计和调试中碰到的问题和解决办法等。 然后，再介绍平台的软件编程，包括驱动和应用程序的开发。 最后，对平台的应用进行全面分析和展望。 关键词：d s p c p u 、p s o s 、t m l 3 0 0 、多媒体处理平台、嵌入式 北京邮电大学硕士研究生学位论文 t h er e s e a r c ha n da p p l i c a r i o n o ft 耻e 瞳e d d e dm ih ，t n d e d i as i g n a i p r o c e s s i n gp l a r f o r m a b s t r a c t m u l t i m e d i at e c h n o l o g yi san e wt e c h n o l o g yp r o d u c t i o nc o m b i n e do f c o m m u n i c a t i o n s ，b r o a d c a s t ，t e l e v i s i o na n dc o m p u t e rt e c h n o l o g i e s ，a n di t h a sb e e ng r o w i n gl a s t l yf r o mt h e19 9 0 s m u l t i m e d i ac o m m u n i c a t i o n ss y s t e m ( m c s ) i sc o n s i s t e do ft e r m i n a l s p r o c e s s i n gm u l t i m e d i as i g n a la n dc o m m u n i c a t i o n sn e t w o r kt r a n s m i t t i n g d a t a t h et e r m i n a lt e c h n o l o g yt a k i n gc h a r g eo fp r o c e s s i n gm u l t i m e d i a s i g n a li st h em o s ti m p o r t a n to n ei nt h em u l t i m e d i aa p p l i c a t i o na r e a ，t h e a c t u a l i z a t i o no fas t a n d 。h o n et e r m i n a lb a s e do nm e d i ap r o c e s s o rb e c o m e t h ep o p u l a rr e s e a r c hd i r e c t i o na tn o w ak i n d o fe m b e d d e dp l a t f o r m s o l u t i o nu s e di nm u l t i m e d i ap r o c e s s i n gi sb r o u g h to nt h i sp a p p e r t h e p l a t f o r m i st h i sk i n do ft e r m i n a l ，a n di th a db e e na c t u a l i z e da n d s u c c e s s f u l l ya p p l i e di nt h ev e d i om o n i t o rs y s t e m ，w h i c hc a na l s oa p p l i e d i nt h ev e d i oc o n f e r e n c es y s t e ma n dt h ev e d i op h o n es y s t e m t r i m e d i at m l 3 0 0a st h ec o r e ，a d d e dm a n y 。o t h e ru n i ti n c l u d i n g v i d e o & a u d i oa d 、d ac i r c u i t , s d r a m ：e 2 p r o m ，c s 8 9 0 0 a ，f l a s h ， c o n s i s tt h i sp l a t f o r mh a r d w a r es y s t e m p s o si se m b e d d e di nt m l 3 0 0 ， t h a tm a k ep r o g r a m m i n gw o r km o r ee a s y t h ec h a r a c t e r i s t i co ft h i s p l a t f o r mi s t h a ti th a st h eg o o dd e v e l o p m e n tb a s i s ，s ot h eu s e rc a r l d e v e l o ps o m ea p p l i c a t i o nc o d e st om e e td i f f e r e n tn e e d d u r i n gt h ep r o j e c te x p l o i t i n gp r o c e s s ，if i n i s h e d t h eh a r d w a r e d e s i g n i n ga n dd e b u g g i n gw o r ko ft h ee m b e d d e dp l a t f o r m ，a n dt o o kp a r t i ns o m ed r i v e r sc o d i n g i th a sd e s c r i b e dc l e a r l ys e v e r a lk e yt e c h n i q u e s u s e di nd e v e l o p i n gt h ep l a t f o r mi nt h i sp a p p e r t h i sm a i n l yi n c l u d e ： t m l 3 0 0 ，p s o se m b e d d e dr e a lt i m eo p e r a t i n gs y s t e m ( r t o s ) ，t h e h a r d w a r ed e s i g n i n ga n dd e b u g g i n go ft h ep l a t f o r m ，d r i v e r sc o d i n g ， a p p l i c a t i o nd e v e l o p i n gi n c l u d i n gc o d e ca n dd a t ac o m m u n i c a t i o n s 北京邮电大学硕士研究生学位论文 p r o g r a m m i n g f o l l o w i n gi sm ya r r a n g e m e n to f t h i sp a p p e r c o n t e n t f i r s t l y , g a v em a n yc o n c e p t ss u c ha se m b e d d e ds y s t e m ，e m b e d d e d r t o sa n dd s p a n dt h e n c o m p a r e dd s pw i t ho r d i n a r yc p u ，t h em e d i a p r o c e s s o rw i t hc u r e n td s pi no r d e rt os h o wt h en e c e s s a r y o fu s i n g t m l 3 0 0i nt h i sp l a t f o r m + s e c o n d l y ，t o t a l l yi n t r o d u c e dt w ok e yp a r t si nt h i sp l a t f o r m t h e ya r e t m l 3 0 0a n dp s o sr t o s t h i r d l y , d e s c r i b e dt h ep l a t f o r mh a d w a r e i nd e t a i lf r o mm a n ya s p e c t s s u c ha st h ea r c h i t e c t u r e ，k e yt e c h n o l o g i e s ，d e v e l o p i n gf l o w , t h en o t i c ei n h a r d w a r ed e s i g n ，t h ep r o b l e m sa p p e a r e di nt h eh a r d w a r ed e s i g n i n ga n d d e b u g g i n g ，a n dt h es o l u t i o no f t h ep r o b l e m s f o u r t h l y , i n t r o d u c e d t h e t h es o f t w a r ei n c l u d i n gd r i v e r sa n d a p p l i c a t i o n s l a s t l y ，ig a v et h eg e n e r a la n a l y s i so ft h ep l a t f o r ma p p l i c a t i o na r e a a n dp r o s p e c tt h ef o r e g r o u n do f m u l t i m e d i at e c h n o l o g y k e yw o r d s ：d s p c p u ，p s o s ，t m l 3 0 0 ，m u l t i m e d i as i g n a l p r o c e s s i n gp l a t f o r m ，e m b e d d e d 北京邮电大学硕士研究生学位论文 缩略词 a i ( a u d i o 蛐 音频输入 a 0 ( a u d i oo u t )音频输出 a r p ( a d d r e s sr e s o l u t i o np r o t o c 0 1 )地址解析协议 a s r ( a s y n c h r o n o u ss e r v i c er o u t i n e s ) 异步服务例程 b s p ( b o a r ds u p p o r tp a c k e t ) 板级支持包 c i f ( c o m m o ni n t e r m e d i a t ef o r m a t )公共中间格式 c i s c ( c o m p l e xi n s t r u c t i o ns e tc o m p u t e r ) 复杂指令集计算机 c p l d ( c o m p l e xp r o g r a m m a b l el o g i cd e 、，i c 曲 复杂可编程逻辑器件 c p u ( c e n t r a lp r o c e s s i n gu n i t )中央处理器 d c t ( d i s c r e t ec o s i n et r a n s f 0 1 t n )离散余弦变换 d m a ( d i r e c tm e m o r y a c c e s s ) 直接存储访问 d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 数字信号处理器 e 2 p r o m ( e l e c t r i c a l l ye r a s a b l ea n dp r o g r a m m a b l er o m ) 可电擦除的只读存储器 e v o ( e n h a n c e dv i d e oo u t )增强视频输出 f i f 0 ( f i r s ti nf i r s to u t )先入先出 i c ( i n t e g r a t e dc i r c u i t ) 。集成电路 i c p ( i m a g ec o p r o c e s s o r ) 图像协处理器 i d ( i d e n t i t y ) 标识，标志 p c ( i n t e r i c )i c 之间 i s d n ( i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 综合业务数字网 i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs m n d a r d i z a t i o n ) 国际标准化组织 i s r ( i n t e r r u p ts e r v i c er o u t i n e ) 中断服务例程 i t u ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o 曲国际电信联盟 j p e g ( j o i n tp h o t o g r a p h i ce x p e r t s g r o u p 、 联合图片专家组 j t a g ( j o h a tt e s ta c t i v eg r o u p )联合测试行动组 l a n ( l o c a l a r e a ln e t w o r k ) 局域网 l s b ( l o s ts i g n i f i c a n tn e t w o r k ) 最低位 m a c ( m e s a a c c e s sc o n 廿0 0 媒介访问控制 m p e g ( m o t i o np i c t u r e se x p e r t sg r o u p ) 活动图像专家组 m s b ( m o s ts i g n i f i c a n tn e t w o r k ) 最高位 n i ( n e t w o r ki n t e r f a c o 网络接口 o s ( o p e r a t i n gs y s t e m ) 操作系统 p c ( p e r s o n a lc o m p u t e r )个人计算机 p c b ( p r i n t e dc i r c u i tb o a r d ) 印刷电路板 p c i ( p e r i p h e r a lc o n n e c ti n t e f f a c 曲 周边元件扩展接1 2 p s t nf p u b l i cs w i t c h e dt e l e p h o n en e t w o r k )公共开关电话网络 r i s c ( r e d u c e di n s t r u c t i o ns e tc o m p u t e r ) 精简指令集计算机 s d e ( s o f t w a r ed e v e l o p m e n te n v i r o n m e n t )软件开发环境 s p d i f ( s o n y p h i l i p sd i g i t a li n t e r f a c e ) 索尼飞利浦数字接口 s s i ( s y n c h r o n o u ss e r i a li n t e r f a c e ) 同步串行接口 北京邮电大学硕士研究生学位论文 t c b ( t a s kc o n t r o lb l o c k ) t c p ( t r a n s f e rc o n t r o lp r o t o c o d t s a ( t r i m o d i as o f t w a r e a r c h i t e c t u r e ) t s s a ( t r i m e d i as t r e a ms o f t w a r ea r c h i t e c t u r e ) u d p ( u s e rd a t a g r a mp r o t o c 0 1 ) v i ( v i d e oi n ) v l d ( v a i l a b l el e n g t hd e c o d e r ) v u w ( v e r yl o n gb 蛐n l c d o nw o r d ) v o d ( v i d e oo nd e m a n d ) w a n ( w i d ea r e an e t w o r k ) x i o ( e x e c u t ei n p u to u t p u t ) 任务控制块 传输控制协议 t r i m e d i a 软件体系 t r i m e d i a 流软件体系 用户数据报协议 视频输入 变长解码器 超长指令字 视频点播 城域网 执行输入输出 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均己在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：丝邑丝日期：z 窭至叠3 目丝旦 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。 本人签名： 导师签名： 日期： 日期： 北京邮电大学硕士研究生学位论文 1 1 引言 第一章概述 多媒体技术是通信、广播电视和计算机技术经过长期地发展，相互融合、相 互渗透而形成的三位体的- - i 3 崭新的技术，并从2 0 世纪9 0 年代开始迅速发展 起来的。其最直接的、最简单的体现是配之以声卡、显卡的多媒体计算机。它一 出现立即在世界范围内，在家庭教育和娱乐方面得以广泛的应用，并由此激发了 小型激光视盘( v c d 和d v d ) 的迅速发展，促进了数字电视和高清晰度电视( h d t v ) 的迅速发展。 多媒体通信系统是由处理多媒体信息的终端和传输、交换数据的通信网络构 成。终端技术在多媒体通信系统中是至为重要的一项技术，随着通用多媒体d s p 性能的提高，基于媒体d s p 的单机终端设备的实现成为了研究热点。本文介绍了 已成功实现的一种基于t r i m e d i a 多媒体处理芯片的多媒体处理平台方案，它的 特点就是具有良好地二次开发基础，用户可以在此平台上根据不同的要求做高层 次的应用开发。 多媒体信息的处理与传统信息的处理相比最大的不同在于多媒体信息特别 是视频信息的数据量极大，所以要求处理设备的数据吞吐量大，处理速度快。另 一方面，多媒体信息b 被大量应用在各个领域中，存在多种多样的数据格式，这 导致多媒体处理设备为了兼容性的考虑，必须兼顾多种格式。例如：彩色模拟电 视有n t s c 、p a l 和s e c a m 三种不同制式；在数字视频中有s d i 、i e e e l 3 9 4 等不同 接口：数字视频的压缩标准又有m j p e g 、m p e g - i 、m p e g 一2 、m p e g 一4 、h 2 6 3 、h 2 6 4 等等。为了快速处理大量数据的多媒体信息，特别是活动图像信息，同时又能灵 活地支持不同的应用，采用d s p 势在必行。相比于通用的d s p ，应用在多媒体领 域的专用d s p 集成了许多专用模块，这些模块实现了大量多媒体方面的通用算 法，有时还采用硬件加速，使得相关开发变得更加方便。p h l i p s 的t r i m e d i a 芯 片便是此类d s p ，而且还能用作主c p u 。t m l 3 0 0 是其中一款。 在本文中我提出了一种应用于多媒体处理的嵌入式系统平台方案，此平台已 被实现并成功地应用于视频监控系统。该平台以t r i l v l e d i at v i l 3 0 0 芯片为核心， 加上视音频a d 、d i a 芯片，s d r a i v l ，e 2 p r o m ，c s 8 9 0 0 a ，f l a s h 等使其 构成一个完整的硬件系统，并在芯片上嵌入p s o s 操作系统来简化平台的软件编 程。 北京邮电大学硕士研究生学位论文 在这一项目开发中，我完成了嵌入式多媒体处理平台的硬件设计与调试，并 参与了部分驱动程序的开发。所以在本文中我先对t m l 3 0 0 和p s o s 操作系统作个 介绍，然后详细阐述该平台的软硬件开发，最后对其应用作个全面分析。 1 2 嵌入式系统与嵌入式操作系统 从2 0 世纪7 0 年代初出现第一个微处理器开始，嵌入式系统的发展已经有 2 0 余年的历史了。随着计算机技术和产品对其它行业的广泛渗透，以应用为中 心的分类方法变得更为切合实际，也就是按计算机的嵌入式应用和非嵌入式应用 将其分为嵌入式计算机和通用计算机。通用计算机具有计算机的标准形式，通过 装配不同的应用软件，以类同面目出现并应用在社会的各个方面，其典型产品为 p c ；而嵌入式计算机则是以嵌入式系统的形式隐藏在各种装置、产品和系统中。 嵌入式系统的定义是以应用为中心，以计算机技术为基础，软件硬件可裁剪、 适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。 作为嵌入式系统灵魂的嵌入式操作系统负责嵌入式系统的全部软、硬资源的 分配、调度工作，控制协调并发活动，它必须体现所在系统的特征，能够通过装 卸某些模块来达到系统所要求的功能。嵌入式操作系统具有以下特征：小巧、实 时性、可装卸、固化代码、弱交互性、强稳定性和统一的接口。嵌入式o s ( o p e r a t i n g s y s t e m ) 比p c 机的o s 相对简单，但由于各种嵌入式系统产品中包含不相同的 特殊需求，致使这类系统中使用的o s 不下几百种，如w m d o w s c e 、p a l m o s 、 p c o s 、v x w o r k s 、p s o s 、q n x 、p o w t ：r 1 v 、j a v a o s 、l y n x o s 、n u c l e u s 等。至 今仍有5 0 的开发者使用自行开发的o s 。 嵌入式操作系统的出现大大提高了嵌入式系统开发的效率，改变以往嵌入式 软件设计只能针对具体的应用从头做起。在嵌入式操作系统之上开发嵌入系统将 减少系统开发的工作量，增强嵌入式应用软件的可移植性，使嵌入式系统的开发 方法更具科学性。 1 3d s p 和通用c p u 的比较 c p u ( c e n t r a lp r o c e s s i n gu n i t ) 的中文名称为中央处理器，它是计算机系 统的核心处理器件。 数字信号处理器d s p ( d i g i t a ls i g n a lp r o c e s s o r ) 是微电子、数字信号处 理、计算机技术这- - - - l 学科综合研究的成果，它是在模拟信号变成数字信号以后 进行高速实时处理的专用处理器，简称d s p 。一般来说，d s p 内部都包含有c p u 。 这里提到的通用c p u 是指没有专用领域的普通c p u 。 2 北京邮电大学硕士研究生学位论文 下面针对两者作个简单比较 通用c p u 的特点：采用冯- 诺依曼结构，程序和数据共用一个存储空间。有 c i s c 复杂指令计算机和r i s c 精简指令计算机两种结构。提高计算速度的方法 有：提高时钟频率，采用高速总线、多级c a c h e 、协处理器技术等。目前常见的 c p u 有：8 - b i t a p p l e ( 6 5 0 2 ) ，n e cp c - 8 0 0 0 ( z 8 0 ) ，i n t e l 的8 0 8 6 、2 8 6 、3 8 6 、4 8 6 、 p e n t i u m 、p e n t i u m 2 、p e n t i u m 3p e n t i u m 4 ，s a m s u n g 的s 3 c 2 4 1 0 、$ 3 c 2 4 4 0 ，以及 p o w e r p c 6 4 一b i tc p u ( s u n s p a r c ，d e c a l p h a ，h p ) 等。 d s p 的特点：采用哈佛( h a r v a r d ) 结构，高度并行运算大大提高运算速度；芯 片内配置了一个或多个硬件乘法器和累加器，能实现单指令乘加运算和变址运 算；采用流水线技术，可以实现指令的重叠运行：具有d s p 专用指令，一条指令 可以完成几种不同的操作：设置了多种功能很强的外围器件和接口，使其运算速 度比p c 机要快很多倍；d s p 增加了硬件循环控制，当完成循环初始化后，实际 运行中循环不再消耗指令周期，大大提高了数字信号处理的运算速度。目前常见 的d s p 芯片有：t i 的t m s 3 2 0 系列、a d i 公司的a d s p 2 1 0 0 系列、l u c e n t 的1 6 0 0 0 系列、m o t o r o l a 公司的d s p 5 6 6 0 2 、d s p 5 6 6 0 3 系列等。此外还出现了专用于多媒 体处理的新型o s p ：t i 公司的t m s 3 2 0 0 m 6 4 2 ，p h i l i p s 公司的t r i m e d i a 和e q u a t o r 公司的m a p c a 等。 d s p 具有强大的数字信号处理能力，特别适合通信领域中各种硬件电路的软 件实现，如：信号编码、图像处理、语音压缩、均衡、加解密、误差校正、校验 和各种调制解调等。因此d s p 是软件产品硬件化的最佳包装工具之一，是自主知 识产权产品开发的重要工具。 1 4 媒体d s pt m l 3 0 0 和通用d s p 的比较 随着多媒体技术的广泛应用，一种新型d s p 一一媒体处理器( m e d i a p r o c e s s o r ) 便悄然出现，1 用以设计便携式多媒体设备。本系统使用的d s p 1 m 1 3 0 0 便是此类。它与通用d s p 相比又有那些特点昵? 通用d s p 升级速度快又容易获得工业级芯片支持，通用性强，开发工具完 善，供货渠道多，价格相对便宜。若用在多媒体方向，还需扩展一些控制模块和 增加实现各种多媒体处理算法的软件模块。 多媒体专用d s pt m l 3 0 0 是p h i l i p s 公司针对多媒体应用开发的t r i m e d i a 系 列d s p c p u ( p h i l i p s 公司的叫法) 的一款，它的核心是3 2 位的处理器，能够进 行3 2 位的线性寻址，寻址能力可达到4 g b 。核心处理器采用v l i w ( 超长指令 字) 结构，在上面移植了p s o s 操作系统，带有各种功能接口，可用p c i x i o 和 1 2 c 总线扩展外设。它集成了许多专用模块，这些模块实现了大量多媒体方面的 北京雌电大学硕士研究生学位论文 通用算法，从而减少l 了开发难度提高了多媒体处理速度。t m l 3 0 0 相比通用d s p 有以下特点： 1 多媒体处理功能强大； 2 专用接口多，所以系统设计简单、可靠； 3 专用性强，非常适用于多媒体应用，但作为一般c p u 使用存在许多不便； 4 然而它耐低温性差，一般用于商业级产品开发； 5 价格相对较高，采购渠道固定。 正因为有上述特点，把t m l 3 0 0 用在商业级的嵌入式多媒体处理平台中非常 合适。下面我就先简单概括一下本文要描述的嵌火式多媒体处理平台。 1 5 本嵌入式多媒体处理平台概述 1 5 1t m l 3 0 0 和本平台硬件简述 前面提过：t m l 3 0 0 的核心是3 2 位的处理器，能够进行3 2 位的线性寻址， 寻址能力可达到4 g b 。核心处理器采用v l i w ( 超长指令字) 结构，在上面移 植了p s o s 操作系统。? m 1 3 0 0 可以在每一对钟周期内同时进行5 个操作，每秒可 完成1 7 0 亿次指令运算。它支持1 6 k b 的数据高速缓存和3 2 k b 的指令高速缓存， 并且数据高速缓存是双端口的，允许同时双f 坷接入。其专用模块有： 1 s d r a d v 接口 2 视频输入单元 3 视频输出单元 4 音频输入单元 5 音频输出单元 6 s p d i f 输出单元 7 图像协处理器( i c p ) 8 变长解码器( d ) 9 p c i ，) ( i o 总线接口 1 0 同步串行接口 t m l 3 0 0 可以在主从两种模式下工作( 如图卜l ，图卜2 所示) ：主模式 ( s t a n d a l o n e ) 是指t m l 3 0 0 作为独立的系统中心处理器，系统中的程序由 e 2 p r o m 或其它的非易失设备来保存，在系统启动的时候，由b o o t 程序把它们 加载到s d r a m 中再运行：从模式( h o s t a s s i s t e d ) 指t m l 3 0 0 置于h o s t 机p c i 插 卡上作为协处理器，系统的程序保存在h o s t 机的硬盘或内存中，通过h o s t 机与 4 北京邮电大学硕士研究生学位论文 系统的交互把程序加载到系统中运行。主模式让系统充分地独立，非常适合于诸 如机顶盒等应用中，但在很大程度上限制了使用的灵活性。从模式有很好的灵活 性，利于和其他系统配合使用，却受h o s t 机的限制。 二一 = _ 图1 1 作独立系统使用 图1 - 2 作h o s t 机的p c i 插卡使用 图1 - 3 多媒体处理平台结构框图 北京邮电大学硕士研究生学位论文 作为多媒体终端，我们采用主模式( 或称自启动模式s t a n d a l o n e ) ，图i - 3 为其结构框图。视频a d ，d a 分别采用s a a 7 1 1 3 和s a a t l 2 1 ，音频a d ，d a 分 别采用c s 5 3 3 1 和c s 4 3 4 0 ，网络接口模块采用c s 8 9 0 0 a 通过c p l d 接到p c i x i o 总线上，启动程序和系统参数存在e 2 p r o m 中，f l a s h 中存储应用程序。其详细 介绍参见后面的硬件设计章节。 1 5 2 本平台的系统启动流程 在我们的系统中，t m l 3 0 0 工作于主模式( s t a n d a l o n e ) ，系统的b o o t 过程由 t m l 3 0 0 从板上的串行e 2 p r o m 中读入初始化信息，建立起各种总线并载入引导 程序。t m l 3 0 0 初始化时，通过它的i z c 总线从e 2 p r o m 中读入初始化信息，获 取系统启动所必需的配置，这些包括： 1 e 2 p r o m 设备行数 2 s d r a m 空间大小 3 b o o t 时钟速率 4 1 2 c 时钟速率 5 子系统i d 6 予系统提供商d 7 m mc o n f i g 寄存器初始化值 8 p l lm 锄o s 寄存器初始化值 9 是主模式还是从模式 1 0 是否用内部p c i 时钟 ii 引导程序的字节数 1 2 m m i ob a s e 地址和值 1 3 d r a mb a s e 地址和值 1 4 d r a ml i m i t 地址和值 1 5 d r a mc a c h e a b l el i m r r 地址和值 在e 2 p r o m 的配置信息读入到t m l 3 0 0 的相应寄存器后，再把存储在 e 2 p r o m 中的引导程序载入内存s d r a m ，启动过程结束。其启动流程如图1 - 4 所示。 6 ( 本平 图i - 4 系统启动流程图 因为本平台以t m l 3 0 0d s p c p u 为核心，运行的嵌入式实时操作系统为 p s o s ，在软件编程过程中要用到许多p s o s 的相关概念，所以接下来的两章里， 我简单介绍一下t m l 3 0 0 芯片和p s o s 操作系统。 北京邮电大学硕士研究生学位论文 2 1 总体结构 第二章t m l 3 0 0 芯片简介 t m l 3 0 0 芯片是p h i l i p s 公司的高性能多媒体处理芯片，适合于高质量的视频 音频应用。它除了拥有一个超长指令字c c l i v o 结构的c p u ，内部还集成了视频 输入( v i ) 、增强视频输出( e v o ) 等多个多媒体处理功能模块p c i 、同步串行接口 ( s s i ) 等丰富的外设接口，这使其成为实现多媒体单片系统的理想载体。其结构 框图如下： 一图2 - 1t m l 3 0 0 结构框图 t m l 3 0 0 的主要特性有： 1 有一个强大处理功能的v l i w 核心处理器来处理片内的活动，这个处 理器运行在嵌入式实时操作系统( p s o s ) 下，提供中断和片内其它单元通信； 2 具有d m a 驱动的标准的音频、视频加接口部件，它们独立运行，可 以把数据转换成方便于软件处理的格式和同编解码芯片、d a c 、a d c 等外设 相连接； 北京邮电大学硬士研究生学位论文 3 具有d i v i a 驱动的图像协处理器和变长解码器，它并行于d s p c p u 独 立运行，可以完成一些复杂的算法，提高图像处理的速度和效率，减轻处理 器的工作量，节约处理器的资源： 4 有一个同步串口( s s i ) ，开发设计时可以灵活的使用该串口来接入 各种网络。既可以通过调制解调器接入模拟电话网，也可以接入i s d n 网： 5 为多媒体应用提供了良好的性能和高级语言编程能力，它是通过 v l l w 结构来实现的。这种结构可以在每一时钟周期内并行的执行5 个操作， 因此c p u 可以在最小的开销下获得比较大的处理量。 2 2t m i3 0 0 各模块的简介 2 2 1v l i wd s p c p u 内核 t m l 3 0 0 的心脏是它的强大的3 2 位d s p c p u 核，o s p c p u 实现了3 2 位线性地址 空间和1 2 8 个全通用的3 2 位寄存器，这些寄存器没有被分成组，所有的操作都 可以用任意寄存器做操作数。该核使用v l i w 指令集结构且是全通用的，t m l 3 0 0 使用v l i w 指令长度允许五个操作同时在每一个时钟周期中运行，这些操作的目 标可以是d s p c p u 的2 7 个功能单元中的任意一个，包括整数和浮点运算单元、数 据并行多媒体操作单元。 虽然处理器中运行一个实时操作系统以协调t m l 3 0 0 系统中的所有活动，但 这个处理器仍不趋向于作为通用处理器使用。因为t m1 3 0 0 处理器核不支持通用 计算机系统要求的分页虚拟存储器、存储器地址转换或6 4 位浮点等不可少的特 性。 t m l 3 0 0 使用v l i w 体系结构来使处理器的吞吐量最大而代价最小。v l i w 休系 结构的性能优于超标量c p u 而且没有超标量c p u 实现复杂，由于去掉超标量逻辑 而省下的硬件资源减低了成本且允许集成多媒体特性以增强处理器核的能力。 t m t 3 0 0 的操作集包含所有传统微处理器的操作，另外还拥有_ 些多媒体操 作，大大的加速了标准视频音频压缩和解压缩的算法。8 个“c u s t o m ”或”m e d i a ” 操作可以实现高达11 条传统微处理器操作。这些多媒体操作和v l i w 体系结构一 起很大地提高了多媒体应用的吞吐量，加快了视、音频信号算法的运行速度。 d s p c p u 核还有一个3 2 k b i t s 的指令c a t h e ( 高速缓冲存储器) 和1 6 k b i t s 的数据c a c h e ，数据缓存是双端口的，允许两个同时访问。 9 北京邮电大学硕士研究生学位论文 2 2 2 内部高速数据总线 c p u 内部各功能单元是通过内部总线连接起来的，它的内部总线是由3 2 位 数据和3 2 位地址总线组成，总线的数据传送采用块传输( b l o c kt r a n s f e r ) 协议， 所有内部单元均可成为总线的主控机或被控机。内部数据提供对各模块内部控制 状态寄存器、外部s d r a m 、外部总线和外设芯片的访问。 对总线的访问由中心仲裁器控制，每一个可能的总线主控单元都由一个连到 仲裁器的请求线。仲裁器是可编程的以保证给请求者足够的带宽和延迟，这样仲 裁算法就能根据不同的应用而变化。内部单元请求仲裁器提供总线控制，随仲裁 器模式不同，仲裁器分配不同的带宽给该单元。不同的模式分配不同的带宽，但 它们都保证各单元的最小带宽要求和最大服务延时，所有剩余的带宽都分配给 d s p c p e i 。 2 2 3 视频输入输出单芫 1 视频输出单元( v i ) 视频输入单元( v i ) 接收2 7 m 8 0 m b i t sc c i r 6 0 1 6 5 6 视频数据，c c i r 6 0 1 6 5 6 设备输出8 位并行、4 ：2 ：2 y u v 时间复用的数据。v i 单元对采集到的y u v 数据分 解复用后，将其写入到t m l 3 0 0 的局部s d r a m 中，y ，u 和v 的单独的平面数据 结构仍然保持着。如果需要，v i 单元可编程以便进行水平方向以2 为系数的亚 采样。 v i 单元中具有1 0 个寄存器对视频采集的过程进行控制。v is t a t u s 为当前 图像采集的进度：v i - c t l 为控制图像采集的过程；v i _ c l k 为采集的时钟设 定：v i _ c a ps t a r t 为采集的起始行列；v i c a p s i z e 为采集图像的大 小：v i _ y _ b a s e ，v i - u b a s e ，v i _ v b a s e 分别为y u v 三个分量的基地 址：v i u v d e l t a 和v i y d e l t a 为u v 和y 分量的偏移量。 2 视频输入单元( v o ) 视频输出单元( v o ) 做与v i 单元相反的工作。v o 单元输出符合c c i r 6 0 1 6 5 6 格式的视频数据，它还可对输出的数据进行内插，以使亚采样后的数据恢复为 6 4 0 点行或7 2 0 点行。v o 单元产生8 位、c c i r 6 5 6 数字视频流，其中包含复合 的视频和图形覆盖图( o v e r l a yi m a g e ) 。图像由s d r a m 中分开的y 。u 和v 平面数 据结构中获得，图形覆盖图则由s d r a m 中像素打包( p i x e l - p a c k e d ) 的y u v 数据结 构中得到。 v o 单元可以在水平方向上把图像扩大两倍，把c i f s i f 转换为c c l r 6 0