（信号与信息处理专业论文）基于dsp的mpeg4解码和jpeg编码研究与实现.pdf

中文摘要 随着移动通信和多媒体技术的发展，人们对通信的要求已不满足于传统的语 音业务，而是追求更高品质的视频、音频等多媒体信息服务。在多媒体通信中， 视频区别于音频和语音的显著特点是其大数据量及高处理复杂度。现有的移动终 端一般采用d s p 芯片为核心处理器，d s p 芯片在数据处理方面具有优势，但其 系统处理和控制能力比较弱。第三代移动通信( 3 g ) 终端需要提供更复杂的服务如 实时视频通信等，从而对d s p 芯片的处理能力提出了新的要求。 m p e g - 4 标准是1 9 9 9 年1 2 月通过的一个适用各种多媒体应用的“视听对象 的编码”标准。m p e g - 4 是基于图像内容的压缩编码方法，可以产生高压缩比效 果。它的设计思想是在超低带宽( 1 0 k b i t s 到1 m b i t s ) 的条件下提供尽可能好的图 像质量。因此m p e g - 4 非常适用于移动多媒体通信领域。 本课题采用了1 1 的o m a p 5 9 1 0 作为无线终端的核心处理器。o m a v ( 开放多 媒体平台1 是一个双核处理器，其中的d s p 核用于完成数据处理操作，而a r m 核则完成控制操作。 本文对基于o m a p 5 9 1 0 的d s p 核处理器n 4 s 3 2 0 c 5 5 l o 的m p e g - 4 视 频解码器的移植和优化作了详细的阐述。经过优化的解码器，当c 5 5 1 0 工作频 率为1 5 0 m h z 时，可实时解码显示帧率为2 5 帧秒的q v g a 分辨率的视频图像， 且c p u 占用率约为7 3 。 在以上工作的基础上，成功地将m p e g - 4 解码程序移植到d m 6 4 2 平台之上。 利用d m 6 4 2 强大的汇编指令集，对解码中的关键模块进行了汇编优化工作，优 化后的解码器可实时解码帧率为2 5 帧秒的7 2 0 5 7 6 分辨率的视频图像，c p u 占 用率约为4 5 8 。 论文中同时对基于t m s 3 2 0 c 6 2 0 3 d s p 的j p e g 编码器的c 优化和j p e g 解 码器错误处理功能的实现作了介绍。 关键词：m p e g 4 ，j p e g ，d s p ，o m a p ，c 5 5 1 0 ，d m 6 4 2 ，c 6 2 0 3 ，优化， 解码器 a b s t r a c t a l o n g w i t ht h e p r o g r e s s o f m o b i l ec o m m u n i c a t i o na n dm m 劬e l i a t e c h n o l o 西e s , p e o p l e sr e q u i r e m e n t st oc o m m u n i c a t i o ni sn o tl i m i t e dt ot r a d i t i o n a l s p e e c hs e r v i c e ，t h e yd e m a n dm u l t i m e d i ai n f o r m a t i o ns e r v i c e ss u c ha sv i d e oa n d a u d i o ，谢t l lh i g h e rq u a l i t y i nm u l t i m e d i ac o m m u n i c a t i o n ar e m a r k a b l ec h a r a c t e r i s t i co f v i d e oi n f o r m a t i o ni si t sh u g ea m o u n to fd a t aa n dh i g hp r o c e s s i n gc o m p l e x i t y e x i s t i n g m o b i l et e r m i n a lc o m m o n l yu s e sd s pa si t sc o r ep r o c e s s o r , d s ph a sa d v a n t a g e si nd a t a p r o c e s s i n g ，b u ti t s n o tg o o da ts y s t e mp r o c e s s i n ga n dc o n t r 0 1 t h e3 r dg e n e r a t i o n m o b i l ec o m m u n i c a t i o nt e r m i n a lr e q u i r e sm o r ec o m p l i c a t e ds e r v i c e s ，l i k er e a l - t i m e v i d e oc o m m u n i c a t i o n , t h u sr e q u i r e sh i g h e rp r o c e s s i n ga b i l i t yo f d s p s m p e g - 4i sas t a n d a r do f ”v i d e o a u d i o o b j e c t ”p a s s e di nd e c e m b e r , 1 9 9 9 m p e g 一4i sac o d i n gm e t h o db a s e do nt h ec o n t e n to fi m a g e s ，p r o d u c i n g h i g h c o m p r e s s i o nr a t i o i t sd e s i g n e dt op r o v i d eg o o dq u a l i t yi nt h ec a s eo fv e r yl o w b a n d w i d t h ，s om p e g - 4i sv e r ys u i t a b l et ob eu s e di nm o b i l em u l t i m e d i a c o m m u n i c a t i o n t i so m a p 5 9 1 0d u a l c o r ep r o c e s s o ri sa d o p t e da st h ec o r ep r o c e s s o r o ft h ew i r e l e s st e r m i n a l ，i t sd s pc o r ei su s e dt od od a t ap r o c e s s i n go p e r a t i o n s ，i t s a r mc o r ei su s e dt oh a n d l ec o n t r o lo p e r a t i o n s b a s e do nt h ed s pc o r eo f o m a p 5 9 1 0 一t m s 3 2 0 c 5 5 1 0 ，ad e t a i l e de x p l a n a t i o no f t h em i g r a t i o na n do p t i m i z a t i o nt om p e g - 4v i d e od e c o d e ri s i n t r o d u c e d ，a f t e r o p t i m i z a t i o n , t h ed e c o d e rc a nr e a l i z er e a l - t i m ed e c o d i n ga n dd i s p l a y i n gq v g av i d e o w i t ht h ef r a m er a t e2 5 f s ，w h e nc 5 5 1 0w o r k sw i t ht h ef r e q u e n c yo f1 5 0 m h z ，j u s t o c c u p i e sa b o u t7 3 o f c p u sc y c l e s b a s e do nt h i sw o r k ，t h em p e g 一4d e c o d e ri ss u c c e s s f u l l ym i g r a t e dt od m 6 4 2 p l a t f o r m ，t a k i n ga d v a n t a g eo fi t sv i g o r o u sa s s e m b l yi n s t r u c t i o ns e t , a s s e m b l y l a n g u a g eo p t i m i z a t i o nw a si m p l e m e n t e dt ot h ek e ym o d u l e so ft h ed e c o d e r a f t e r o p t i m i z a t i o n , t h ed e c o d e rc a nr e a l i s er e a l - t i m ed e c o d i n go f7 2 0 x 5 7 6v i d e ow i t hf l a m e r a t e2 5 f s ，t h ec p u o c c u p a t i o nr a t eo n l yr e a c h e sa b o u t4 5 o p t i m i z a t i o no faj p e ge n c o d e rb a s e do nt m s 3 2 0 c 6 2 0 3d s pa n dt h e r e a l i z a t i o no f aj p e gd e c o d e rc a p a b l eo f e r r o rh a n d l i n gi sa l s od i s c u s s e di nt h i sp a p e r k e yw o r d s ：m p e g - 4 ，j p e gd s p , o m a p , c 5 5 1 0 ，d m 6 4 2 ，c 6 2 0 3 ， o p t i m i z a t i o n ，d e c o d e r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤鲞盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：( 觋阳签字目期：山喝年3 月。7 曰 学位论文版权使用授权书 本学位论文作者完全了解鑫洼盘鲎有关保留、使用学位论文的规定。 特授权墨壅盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：网阳 签字日期：d 瞄年d 月口l 7 日 导师签名：艄 签字日期：& 4 年2 月矿日 天津大学硕士学位论文第一章绪论 第一章绪论 1 1 第三代移动通信( 3 g ) 概述【1 l 随着科学技术、信息技术和半导体技术的高速发展，无线通信技术也在高速 发展着。从第一代的模拟技术到第二代的数字技术，以及现在的第三代移动通信 技术，只经历了短短2 0 年时间。第一代移动通信系统为模拟制式，并于1 9 8 1 年 建立了以f d m a 技术为基础的模拟移动通信系统。当前的蜂窝移动通信系统已 从a m p s 、t a c s 和n m t 等为代表的第一代模拟系统进入了以g s m 、d c s l 8 0 0 与i s 一9 5 c d m a 为代表的第二代移动通信系统( 2 n dg e n e r a t i o n , 2 g ) 。2 g 除提供语 音通信之外，也可提供低速数据服务和短消息服务。虽然第二代系统克服了第一 代系统的系统容量小、频谱利用率低等缺陷，但是业务种类主要局限于话音业务 和低速数据业务，很难满足未来发展的需要。 因此，2 0 世纪9 0 年代初期，i t u 提出了第三代( 3 移动通信的概念。这套 系统工作在2 0 0 0 m h z 频段，并希望于2 0 0 0 年后提供商用，i t u 将这套系统称为 i m t - 2 0 0 0 ( i n t e r n a t i o n a lm o b i l et e l e c o m m u n i c a t i o ni nt h ey e a r2 0 0 0 ) 。欧洲的电信巨 头们则称其为u m t s ( 通用移动通信系统) 。它能够将语音通信和多媒体通信相结 合，其可能的增值服务将包括图像、音乐、网页浏览、视频会议等。 3 g 系统与现有的2 g 系统有根本的不同。3 g 系统采用c d m a 技术和分组 交换技术，而不是2 g 系统通常采用的t d m a 技术和电路交换技术。在电路交 换的传输模式下，无论通话双方是否说话，线路在接通期间保持开通，并占用带 宽。与现在的2 g 系统相比，3 g 将支持更多的用户，实现更高的传输速率。 3 g 系统具有以下关键特征和指标： 支持话音分组数据和多媒体业务，包括低速寻呼、话音以及与视像和文件 传输有关的高速业务；同时语音通信的质量将大为提高。未来网络通信中，图像、 视频、音频将占更大的比重。 3 g 的最大应用是高速无线i n t e m e t 接入。移动用户将不受固定i n t e m e t 接 入的约束，用第三代手机直接上网、下载信息、查看电子邮件或浏览网页、进行 电子商务交易、网上购物和娱乐。3 g 能以2 m b p s 的速率下载复杂的图像文件或 电视短片。在完全移动的环境中，速度将高达3 8 4 k b p s ，比现有第二代网络f 如 g s m ) 高出4 0 倍。 天津大学硕士学位论文第一章绪论 全球覆盖及全球无缝漫游。全球共用一个频段，可在世界范围内使用一个 小型终端，也可以容纳各种其他终端，虽不要求各系统在无线传输设备及网络内 部技术完全一致，但要求在网络接口、互通和业务能力方面的统一与协调。使用 户在全球旅行时可以随处接入3 g 业务，真正实现“任何人在任何地点、任何时 间与任何人”都能便利地通信。 3 g 系统的另一个吸引力是其与2 g 系统的高度的互运行性。目前最有希 望被选中作为第三代移动通信标准的w c d m a 有极强的兼容性。3 g 能够提供类 似的平台。使运营商只需在网络上增添一些软硬件即可使现有的g s m 升级为 w c d m a 。g s m 9 0 0 、g s m l 8 0 0 手机和新的w c d m a 手机均可在这一新的网络 中使用，使现有的2 g 用户能自然过渡到3 g ，完全不必担心g s m 手机将在2 0 0 2 年遭到淘汰。 高度灵活性。按需分配带宽以支持大范围、可变速率信息的传送；具有支 持上行和下行速率不对称的能力；支持大范围的工作环境，包括海、陆、空间的 通信，能和有线网互连与兼容，适合发展中国家的需求。 具有较高的频谱利用率和进一步改善的安全性能，以满足具有巨大需求的 个人通信的安全性要求，使无线通信更加个人化。 1 2 第三代移动通信( 3 g ) 相关技术【2 】 2 0 0 0 年5 月，i t u 在土耳其召开全会，经对i m t - 2 0 0 0 无线接口技术标准的 1 0 个候选方案的频谱效率、网络接口、q o s 、技术复杂性、覆盖率、灵活性和设 备体积等诸多方面的评估，正式确认了五种标准，分别是m s c d m a 、d s c d m a 、 t d c d m a 、s c t d m a 和m c t d m a 。这是一个以c d m a 技术为主体，兼顾 t d m a 技术，包含f d d 和t d d 两种双工方式的多元化体系标准。 从移动通信技术发展趋势和可实现业务功能分析，基于c d m a 制式的3 种 标准被普遍看好，他们被认为是3 g 的三大主流应用技术标准，分别是： 欧洲和日本共同提出的w c d m a 技术； 美国提出的c d m a 2 0 0 0 技术； i m t - 2 0 0 0c d m at d d ，包括我国提出的t d s c d m a 和欧洲提出的 u t r at d d 。 三种制式中t d s c d m a 的优势在于它同时采用了智能天线和联合检测技 术，上下行时隙的不对称分配，提高了频谱效率，适应数据业务：其弱点是用户 移动速度比较低，基站间干扰比较大，采用基站同步技术能够减少一部分干扰。 w c d m a 和c d m a 2 0 0 0 的技术特点类似，w c d m a 的优势在于基站无需严格同 天津大学硕士学位论文第一章绪论 步。w c d m a 和c d m a 2 0 0 0 以及t d 。s c d m a 都在向提高下行数据传输速率的 方向发展。 在选择何种方式向第三代移动通信系统演进时，不但要考虑各种标准的特 点，还要结合各国的实际国情。由于w c d m a 与c d m a 2 0 0 0 是欧洲及美国的标 准，每项标准均包含2 0 0 0 项左右的专利技术，因此采用这两个标准建设我国的 第三代移动通信网，需要一步到位地建立一个崭新的网络，需要花费大量的外汇 从国外引进设备或购买专利，这将使投资庞大的第二代网络造成极大的浪费，而 且直接建立第三代网络也承担着一定的风险。 目前我国拥有世界上最大的g s m 网络，而且需求又以世界上最快的速度在 增长，但由于g s m 本身体制的原因，我国9 0 0 m h z 频率资源已非常紧张，因此 第三代移动通信系统与g s m 网络的平滑过渡是最现实和紧迫的任务，它可以最 大限度地保护运营商和用户的已有投资。 考虑到以上种种因素以及我国的具体情况，选用具有我国自主知识产权的第 三代移动通信t d s c d m a 系统，接入g s m 网络来发展我国的第三代移动通信 产业将是一个行之有效的方案，它将为民族移动通信产业的发展创造一个百年不 遇的机遇，而且还可以利用t d s c d m a 的专利来与国外公司拥有的专利交叉使 用，省去巨额的专利提成费及设备购买费，为中国民族移动通信产业的发展创造 一个宽松的环境。 1 33 g 无线终端处理器概述 现在第三代移动通信系统( 3 g ) 的国际标准已基本制定完毕，市场即将形成。 我国政府已明确表示支持3 g 系统的发展和建设。3 g 在中国投入商业运行只是 时间早晚的问题。预计2 0 0 6 年以后，3 g 产品逐步主导市场，在无线移动通信系 统中，终端和千家万户相联系，市场潜力巨大，因此研制3 g 无线终端具有重要 的意义。 与2 g 不同，3 g 无线终端( 手机) 应具有除语音通信外的其他信息处理、信息 交互( 尤其是多媒体信息) o a 及互动娱乐功能，包括互联网应用、消息类应用、视 频应用、位置应用、商务应用、娱乐应用( 游戏、m p 3 ) 等。3 ( 3 手机将成为集通信、 计算、及数字消费娱乐功能于一身的便携式终端，人们正在尝试着把在p c 和传 统消费电子领域的体验移植到手机上来，使之成为移动的微型多媒体中心，因此 可称为“高端手机”、“智能手机”、“多媒体手机”、“电视手机”等。 从技术上讲，如此丰富、富有挑战性的功能要求3 g 手机具有强大的处理能 力和存储能力。作为一个手机平台，它需要至少一个核心处理器，这个“核心” 天津大学硕士学位论文第一章绪论 在以语音通信为主的时代( 3 g 前) ，指的是数字基带处理器；而在3 g 手机中，越 来越多的多媒体处理功能需要一个独立于基带处理器的专门的应用处理器来完 成，即采用“基带+ 应用”的双处理器结构。该处理器除完成多媒体处理功能外， 还要运行实时操作系统及其他应用程序。而在各处理器内部，也存在单核和多核 之分。世界上许多厂家现已经提供了各种3 g 手机平台，如德州仪器( n ) 、英特 尔( i m e l ) 、飞思卡尔( f r e e s e a l e ) 、杰尔系统( a g e r es y s t e m ) 、英飞凌( i n f i n e o n ) 、飞 利浦( p h i h i p s ) 、瑞萨( r e n e s a s ) 、意法半导体( s t ) 、博通( b r o a ( 1 c o m ) 、模拟器件( a d d 、 微控科技( w a v e c o m ) 等。 1 4 本论文主要内容与结构3 】 本课题是天津市科技攻关项目“数字多媒体信息技术研究”子课题“基于 o m a p 的3 g 无线终端技术研究”的重要组成部分，主要任务是尝试用通用d s p 芯片o m a p 5 9 1 0 ，采用可编程的方案，实现3 g 无线终端的各项多媒体功能，包 括手机拍照并进行j p e g 压缩、视频捕获和m p e g - 4 实时编码、m p e g - 4 实时解 码显示、m p 3 解码以及既有视频又有音频的简单多媒体播放功能等。 n 公司推出的开放多媒体应用平台( o m a p ) ，将适合于无线应用的低功耗 t m s 3 2 0 c 5 5 xd s p 核和高性能的r i s ca r m 9 2 5 tc p u 核以及一些多媒体应用接 口如l c d 控制器、键盘接口、c a m e r a 接口、u s b 接口等集成到一个模块上。同 时，为了支持操作系统的需求，o m a p 还包括了定时器、通用输入输出接口、 u a r t 、看门狗定时器等。c 5 5 xd s p 所具有的硬件加速模块和针对多媒体应用 的专用运算指令，使得诸如运动估计、离散余弦变换及反变换等视频编解码算法 的实现相对纯软件实现要快两倍。这样的硬件结构在功耗和实时性上具有明显的 优势，这对于移动通信来说是非常重要的。 在双核结构的o m a p 平台中，编解码算法的数据运算由d s p 完成。视频解 码中的核心算法占用大量的c p u 周期，须结合c 5 5 xd s p 的专用指令和硬件结 构，利用汇编语言和c 语言混合编程的方法实现。 本论文主要工作为在c 5 5 x 和d m 6 4 2 上的m p e g - 4 视频解码器的移植、实 现和优化，及在t m s 3 2 0 c 6 2 0 3d s p 上的j p e g 编解码器的实现与优化，分5 章 对所做的工作进行论述。 第一章简要介绍了第三代移动通信( 3 g ) 及相关知识。 第二章介绍了d s p 的基础知识，以及本课题所采用的o m a p 5 9 1 0 双核处理 器的技术参数和特性。 第三章介绍基于o m a p 5 9 1 0d s p 核的m p e g - 4 视频解码器的实现与优化。 天津大学硕士学位论文 第一章绪论 第四章介绍基于d m 6 4 2 的m p e g - 4 视频解码器的实现与优化。 第五章介绍基于t m s 3 2 0 c 6 2 0 3 的 p e g 编码器的实现与优化。 天津大学硕士学位论文第二章t | t s 3 2 0 c 5 5 1 0d s p 简介 第二章t m s 3 2 0 c 5 510d s p 简介 2 1d s p 芯片的特点嗍 d s p 的结构特点在很大程度上体现了数字信号处理算法的需求。下面介绍 d s p 在结构上的主要特点。 1 算术单元 ( 1 ) 硬件乘法器 由于d s p 的功能特点，乘法操作是d s p 的一个主要任务。而在通用微处理 器内通过微程序实现的乘法操作往往需要许多个时钟周期，非常费时，因此在 d s p 内部设有硬件乘法器来完成乘法操作，以提高乘法速度。硬件乘法器是d s p 区别于通用微处理器的一个重要标志。 ( 2 ) 多功能单元 为进一步提高速度，可以在c p u 内设置多个并行操作的功能单元( a l u 乘法 器和地址产生器等) 。如c 6 0 0 0 的c p u 内部有8 个功能单元，包括2 个乘法器和 6 个a l u 。由于多功能单元的并行操作使d s p 在相同时间内能够完成更多的操 作，因而提高了程序的执行速度。 2 总线结构 通用微处理器是为计算机设计的。基于成本的考虑，传统的微处理器通常采 用冯诺依曼总线结构：统一的程序和数据空间，共享的程序和数据总线。由于 总线的限制，微处理器执行指令时，取指和存取操作数共享内部总线，因而程序 指令只能串行执行。 对于面向数据密集型算法的d s p 而言，冯诺依曼总线结构使系统性能受 到很大限制，因此d s p 采用了程序总线和数据总线分离的哈佛总线结构，这样 d s p 就能够同时取指和取操作数了。而且很多d s p 甚至有2 套或2 套以上的内 部数据总线，这种总线结构称为修正的哈佛结构。通过采用这些结构，大大提高 了程序的效率。 3 专用寻址单元 d s p 面向的是数据密集型应用，随着频繁的数据访问，数据地址的计算时间 也线性增长。如果不在地址计算上作特殊考虑，有时计算地址的时间比实际的运 算操作时间还长。因此，d s p 通常都有支持地址计算的算术单元地址产生器。 地址产生器与a l u 并行工作，因此地址的计算不占用额外的c p u 时间。 天津大学硕士学位论文第二章t m s 3 2 0 c 5 5 1 0d s p 简介 4 片内存储器 d s p 面向的是数据密集型应用，因此存储器访问速度对处理器的性能影响很 大。数字信号处理算法的特点是需要大量的简单计算，相应的其程序就比较短小， 存放在d s p 片内就可以减少指令的传输时间。除了片内程序存储器外，d s p 内 一般还集成有数据r a m ，用于存放参数和数据。片内数据存储器不存在外部存 储器的总线竞争和访问速度不匹配问题，因此访问速度快，充分利用了d s p 强 大的处理能力。 5 流水处理 流水技术是提高d s p 程序执行效率的一个重要手段。流水技术可以使2 个 或更多的不同操作重叠执行。在处理器内，每条指令的执行分为取指、解码和执 行等若干个阶段，每个阶段称为一级流水。流水处理使得若干条指令的不同执行 阶段可以并行执行因而能够提高程序执行速度。 2 2d s p 芯片的选择【5 】 设计d s p 应用系统，选择d s p 芯片是非常重要的一个环节。只有选定了 d s p 芯片，才能进一步设计其外围电路及系统的其他电路。总的来说，d s p 芯 片的选择应根据实际的应用系统需要而确定。一般来说，选择d s p 芯片时应考 虑如下诸多因素。 ( 1 ) d s p 芯片的运算速度。运算速度是d s p 芯片的一个最重要的性能指标， 也是选择d s p 芯片时所需要考虑的一个主要因素。 ( 2 ) d s p 芯片的价格。d s p 芯片的价格也是选择d s p 芯片所需考虑的一个重 要因素。需要根据实际系统的应用情况，确定一个价格适中的d s p 芯片。 ( 3 ) d s p 芯片的硬件资源。不同的d s p 芯片所提供的硬件资源是不相同的， 如片内r a m 、r o m 的数量，外部可扩展的程序和数据空间，总线接口，i 0 接 口等。 ( 4 ) d s p 芯片的运算精度。 ( 5 ) d s p 芯片的开发工具。在d s p 系统的开发过程中，开发工具是必不可少 的。如果没有开发工具的支持，要想开发一个复杂的d s p 系统几乎是不可能的。 ( 6 ) d s p 芯片的功耗。在某些d s p 应用场合，功耗也是一个需要特别注意的 问题。如便携式的d s p 设备、手持设备、野外应用的d s p 设备等都对功耗有特 殊的要求。 ( 7 ) 其他。除了上述因素外，选择d s p 芯片还应考虑到封装形式、质量标准、 供货情况、生命周期等。 天津大学硕士学位论文 第二章t y s 3 2 0 c 5 5 1 0d s p 简介 2 3t m s 3 2 0 c 5 51 0d s p t 6 j - 【1 0 】 2 3 1 本课题采用的系统方案 2 1 系统硬件框图 在完成3 g 无线终端的研制任务中，我们构建了以o m a p 5 9 1 0 为核心的处理 器平台，其系统硬件框图如图2 1 所示，共分为处理器、存储器、音频c o d e c 与 i o 、双c m o s 图像传感器、l c d 屏控制、键盘矩阵、m m c s d 卡控制、u s b 、 u a r t l 、其他串i ( m c b s p 、m c s i 以及u a r a 2 ) 、c p l d 及系统电源共1 2 个模 块。 图 天津大学硕士学位论文第二章t 惦3 2 0 c 5 5 1 0d s p 简介 处理器模块是整个系统的核心，运行嵌入式l i n u x 操作系统和应用程序，实 现手机拍照、视频m p e g - 4 编码、解码、m p 3 解码等多媒体功能，实现对存储 器、音频c o d e c 与f o 、c m o s 图像传感器等其他模块的控制和通信。 存储器模块用于存储系统程序、多媒体数据和其他数据。 音频c o d e c 与f o 模块，将解压的数字音频数据模拟化并输出给耳机或喇叭， 也可将输入系统的立体声模拟音频或语音信号数字化并输入处理器模块。 图像传感器模块用于捕获图像或视频数据，由处理器处理。 l c d 屏控制模块用于驱动处理器输出给l c d 屏的数据和控制信号。 键盘模块构成键盘矩阵。m m c s d 卡模块用于处理器对卡的控制和数据传 输。u s b 模块完成处理器对u s b 主、从设备的控制和数据传输。u a r r t 模块可 与p c 相连，在系统调试时使用。其他串口模块提供丰富的串口形式，处理器通 过它们实现对各种不同基带处理器、r f 收发器等芯片的编程、控制及通信，以 实现无线收发功能。c p l d 模块在处理器控制下实现对触摸屏的控制、触摸数据 的采集和驱动并传送给处理器。系统电源模块产生系统中各芯片需要的电源电 压。 以下章节对其中的核心处理器加以介绍。 2 3 2o m a p 5 910 双核处理器 o m a p ( 开放式多媒体应用平台) 处理器系列包括应用处理器及集成的基带应 用处理器，可提供高性能、实时处理能力及超低功耗性能，广泛应用于各种有丰 富多媒体功能的手持信息终端设备的设计，比如多媒体p d a 、高级移动电话和 各种需要密集数字信号处理的专门移动设备。 o m a p 5 9 1 0 是由1 1 应用最为广泛的1 m s 3 2 0 c 5 5 x d s p 内核与低功耗、增强 型a r m 9 2 5 微处理器组成的双核处理器，t m $ 3 2 0 c 5 5 x 系列可提供对低功耗应 用的实时多媒体处理的支持；a r m 9 2 5 h 但u 可满足控制和接口方面的需要，并 运行操作系统。基于双核结构，o m a p 5 9 1 0 具有极强的运算能力和极低的功耗， 一方面产品性能高、省电，另一方面同其他o m a p 处理器一样，采用开放式、 易于开发的软件设施，支持广泛的操作系统，如l i n u x 、w i n d o w s 、w i n c e 、n u c l e u s 、 p a l mo s 、v x w o r k s 、j a v a 等。 o m a p 5 9 1 0 具有如下特性： ( 1 ) 一个微处理器单元a r m 9 2 5 t ( 2 ) 一个数字信号处理器单元1 m s 3 2 0 c 5 5 l o ( 3 ) 三个图像处理硬件加速模块 ( 4 ) 一个交通控制器 天津大学硕士学位论文 第二章 m s 3 2 0 c 5 5 1 0d s p 简介 ( 5 ) 一个a r m 端d m a 控制器，具有9 个独立的d m a 通道和一个l c d 专用 通道 ( 6 ) 一个d s p 端d m a 控制器，具有6 个独立的d m a 通道 ( 7 ) 各种高性能外设 2 3 3o m a p 5 9 1 0 的t m s 3 2 0 c 5 5 1 0d s p 子系统的特点 d s p 子系统主要包括以下模块： ( 1 ) t m s 3 2 0 c 5 5 1 0d s p 内核及硬件加速模块( h a r d w a r e a c c e l e r a t o r s ，h w a ) ( 2 ) 片内存储器及其接口 ( 3 ) 片外存储器接i ( e x t e r n a lm e m o r yi n t e r f a c e ，e m i f ) ( 4 ) 6 通道d m a 控伟4 器 ( 5 ) m p u 接口( m p ui n t e r f a c e ，m p u i ) ( 6 ) t i 外设总线桥f np e r i p h e r a lb u s ，t i p b ) ( 7 ) 以及外设接口：计数器、u a r t 、g p i o 、m a i l b o x 、w a t c h d o gt i m e r 、中断 控制器 图2 - 2o m a p 5 9 1 0 双核处理器d s p 子系统结构框图 图2 2 为o m a p 5 9 1 0 双核处理器d s p 子系统的结构框图。d s p 子系统通过 以下部件和核心处理器以及外设连接：通过m p u i ( m i c r o p r o c c s s o ru n i ti n t e r f a c e ) 和t 1 9 2 5 t 核心处理器连接；通过e m i f ( e x t e m a lm e m o r yi n t e r f a c e ) 和各种标准的 天津大学硕士学位论文第二章t m s 3 2 0 c 5 5 1 0d s p 简介 存储器进行连接；通过t 礤b ( t ip e r i p h e r a lb u s ) 和各种系统外设进行连接。 2 3 3 1t m s 3 2 0 c 5 5 1 0d s p 的c p u 1 m s 3 2 0 c 5 5 l o 高性能、低功耗d s p 具有如下特点： ( 1 ) 时钟频率可以达到2 0 0 m h z 。( 在o m a p 上，由于需要d s p 时钟与a r m 以 及内存控制器的时钟同步，时钟频率最高为1 5 0 m h z ) ( 2 ) 多总线结构。1 条程序总线( 包括一条3 2 - b i t 数据总线和1 条2 4 - b i t 地址总 线) ，5 条数据总线( 包括5 条1 6 b “数据总线和5 条2 3 - b i t 地址总线，3 条用于读， 2 条用于写) ( 3 ) 程序和数据采用统一的寻址空间。 ( 4 ) 两个1 7 b f f x1 7 b i t = 4 0 b i t 的乘法( 乘加) 器，每时钟周期可以完成2 次乘法( 乘 加1 运算。 ( 5 ) 8 个辅助寄存器( a r 0 a r t ) ，可以实现多种寻址和地址更新操作。 ( 6 ) 8 m 1 6 b i t ( 1 6 m 字节) 地址空间。 ( 7 ) 单指令或多指令重复操作、条件执行指令。 ( 8 ) 7 级流水线结构。 2 3 3 2 图像处理硬件加速模块 t m s 3 2 0 c 5 5 xd s p 是基于开放式结构设计的，因此，它可以附加用于特殊应 用的硬件加速单元。在c 5 5 1 0 上的硬件加速模块，可以实现离散余弦变换( f d c t 、 i d c d 、半像素插值和运动估计的算法，使这些算法的运算速度有显著的提高， 如表2 1 所示。 表2 - i ：使用硬件加速模块带来的性能提高 硬件加速模块速度提高倍数 运动估计5 2 f d c t i d c t 4 1 半像素插值 7 3 1 r i 还提供了使用该硬件加速模块的相关的宏( 用于汇编语言) 和函数( 可被c 语言调用) 及其源代码，并封装在c 5 5 x 系列的i m g l i b 中，使开发人员可以很方 便的使用，以提高d s p 的工作效率。 2 3 3 3 存储器 o m a p 5 9 1 0 上的c 5 5 1 0 存储器空间分为两部分一数据程序空间和i o 空 天津大学硕士学位论文 第二章t m s 3 2 0 c 5 5 1 0d s p 简介 间。 程序数据空间包括以下几个部分： ( 1 ) 存储器映射寄存器( m e m o r ym a p p e dr e g i s t e r s ，m m r ) 。m m r 用于存放d s p 内核寄存器的值，改变m r 中某些特定地址的数值，可以改变相应的d s p 寄 存器的值。如i e r 0 、i p v d 等。， ( 2 ) 双访问片内存储器( d a r a m ) 。d a r a m 大小为6 4 k 字节。每时钟周期可 以进行两次读写操作。通常用于存放使用频率高，或有读写操作的数据。在编 写汇编指令时，某些汇编指令必须于d a r a m 中寻址，涉及到这些指令的数据， 也应存放在d a r a m 之中。 ( 3 ) 单访问片内存储器( s a r a m ) 。$ a r a m 大小为9 6 k 字节。每时钟周期只 能进行一次读写操作。通常用于存放程序代码，以及使用频率低或只读的数据。 ( 4 ) 只读存储器空间( p d r o m ) 。p d r o m 用于存放事先烧录在d s p 的只读存 储器中的代码，用户不能进行修改。 ( 5 ) 扩展存储器空间。这段地址空间没有d s p 片内的物理内存与之对应，该 地址空间可通过d s p 的m m u 映射到d s p 外的物理内存，比如s d r a m ，f l a s h 等。 d s p 的i o 空间映射的是d s p 的外设的控制寄存器。通过对特定i o 空间的 地址的访问，可以实现对d s p 外设的控制和访问。 2 3 3 4d m a 控制器 d s p 的d m a 控制器具有如下特点： ( 1 ) 独立于c p u 进行数据传输。 ( 2 ) 4 个标准通道接口，分别用于d a r a m 、s a r a m 、e m i f 和t i p b 。 ( 3 ) 一个附加的通道接口，用于m p u i 与内存之间的数据传输。 ( 4 ) 6 个d m a 通道，可以分别独立传输6 块数据。 ( 5 ) 可以实现与事件同步传输，由中断触发d m a 传输的开始。 ( 6 ) 每个通道在传输的过程中或传输结束时可以产生d m a 中断。 ( 7 ) 可以通过软件设置选择源地址和目的地址的更新方式。 2 3 3 5 外围设备 ( 1 ) 定时器 c 5 5 1 0 拥有3 个3 2 b i t 通用定时器和1 个看门狗定时器( w a t c h d o gt i m 。 每个定时器当其中计数器为o 时，触发一个中断。 ( 2 ) 中断处理器 天津大学硕士学位论文第二章t m s 3 2 0 c 5 5 1 0d s p 简介 o m a p 5 9 1 0 采用两个级联的中断控制器来处理所有的中断。其中一个是d s p 内核中的l e v e l1 中断处理器，另一个则是d s p 之外的l e v e l2 中断处理器，其功 能类似于m p u 中断处理器。d s p 内包含的中断控制器可处理2 2 个l e v e ll 中断。 中断处理器可以可编程处理边沿触发或者电平触发的中断。除了r e s e t 和n m i 中断，其他所有中断都可被屏蔽。各个不同中断的优先级是可以通过编程来进行 设置的，这为不同场合的应用提供了方便。 ( 3 ) 多通道缓冲串行接口( m c b s p ) 多通道缓冲串1 2 1 ( m c b s p ) 是一种高速、全双工并且可配置的串行口。 o m a p 5 9 1 0 共有3 个m e b s p 接1 2 。m e b s p 2 连接在m p u 的公共外设总线上， m c b s p l 和m e b s p 3 连接在d s p 的公共外设总线上。 ( 4 ) 此外，还有5 个m p u 和d s p 共有的外设：用于处理器间通信的邮箱寄存 器( m a i l b o xr e g i s t e r ) 、通用 o ( g e n e r a l - p u r p o s ef o ，g p i o ) 、u a r t l 、u a r t 2 以 及u a i 仃r d a 。 天津大学硕士学位论文第三章基于t m $ 3 2 0 c 5 5 1 0 的m p e g 一4 视频解码器实现与优化 第三章基于t m s 3 2 0 c 5 51 0 的m p e g 4 视频解码器实现与优化 本章内容为基于t m s 3 2 0 c 5 5 1 0 的m p e g - 4 视频解码器的实现与优化，并简 略阐述了有关背景知识。 首先简要介绍了m p e g 4 视频编解码标准，并结合所做的实际工作，对代码 移植、程序优化作了详细的说明。 经过优化，当t m s 3 2 0 c 5 5 1 0 工作频率为1 5 0 m h z 时，可实现帧率为2 5 帧 秒的q v g a ( 3 2 0 2 4 0 ) 分辨率视频序列的实时解码和l c d 显示。 3 1m p e g 4 视频编解码标准简介【1 1 1 1 6 】 3 1 1 视频编解码技术的发展 信息时代的重要特征是信息的数字化，数字化了的信息又带来了“信息爆 炸”。数字化视频和音频信息的数据量之大是非常惊人的。对于s i f ( s o u r c ei n p u t f o r m m ) 格式、4 ：4 ：4 采样、帧率为3 0 帧秒的彩色电视图像，每帧数据量为 3 5 2 2 4 0 3 = 2 5 3 k b ；每秒数据量为2 5 3 3 0 = 7 6 0 3 m b ，若一片c d 。r o m 的容 量为6 5 0 m b ，仅可存储6 5 0 + 7 6 0 3 + 6