（计算机科学与技术专业论文）基于android的多媒体系统设计与实现.pdf

分类号 u d c 密 级 学校代码 武洚程歹大穿 学位 论文 1 0 4 9 7 题 目 叁王垒鱼! q i 垦鲍垒鉴堡墨丝遮盐墨塞堡一一 英文t h e d e s i g na n d r e a l i z a t i o no fm u l t i m e d i a 题目 墨y 墨! 叟堕旦垒墨曼鱼q 望垒鱼! 旦i 垦 研究生姓名 指导教师 张孟东 副教撞一学位 塑 申请学位级别 4 3 0 0 7 0 硕士学科专业名称盐笠扭銎堂墨垫盔 论文提交日期2 q ! ! 生垒月论文答辩日期 2 q ! ! 生旦一 学位授予单位盎垫墨三盘堂学位授予日期 答辩委员会主席 庄尘 2 0 11 年5 月 独创性声明 i i j l i ll i l li j l l ji j ll i jii j i ijffijij y 18 7 9 9 6 8 本人声明，所呈交的论文是本人在导师指导下进行的研究工作 及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得武汉理工大学或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 签名： 弘之者 日期： 学位论文使用授权书 2 o i l 箩t 本人完全了解武汉理工大学有关保留、使用学位论文的规定， 即学校有权保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权武汉理工大学可以将本学位 论文的全部内容编入有关数据库进行检索，可以采用影印、缩印或 其他复制手段保存或汇编本学位论文。同时授权经武汉理工大学认 可的国家有关机构或论文数据库使用或收录本学位论文，并向社会 公众提供信息服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：圣垒塾圭：导师( 签名) ：日期：堡! 竺多 摘要 目前在通信领域，智能终端产品受到广泛关注，智能手机、平板电脑、上 网本、m d 、电子相框等产品层出不穷，而且正在逐渐改变人们的生活。智能终 端之所以能成为潮流，一方面是由于人们对信息多元化和个性化的追求，另一 方面也跟终端技术的进步以及操作系统平台的不断丰富有关。同样在多媒体产 品领域，人们不再满足于单调的音视频播放功能，而是追求更加丰富的娱乐应 用。因此，除了对硬件配置有更高要求外，一个有更好体验效果的操作系统平 台也成为人们选择产品的标准。a n d r o i d 作为操作系统平台的后起之秀，正以其 开放性、用户体验好等特点，逐渐成为该领域的领航者。 本课题正是基于a n d r o i d 系统，设计并实现了一个多媒体产品的原型。首先 介绍了现有终端系统平台各自的优劣势，并分析了目前市场上多媒体产品存在 的问题以及发展趋势，在此基础上提出了一种全新概念的多媒体产品设计方案， 其特点表现在： 1 ) 选用智能操作系统平台，具有更好的用户体验和可扩展性，而传统多媒 体产品功能单一，扩展性差： 2 ) 硬件设计合理，相比其他多媒体产品增加了摄像头、w i f i 等模块，能满 足更丰富的应用需求，而与同样功能丰富的智能手机相比，裁剪了g s m 等模块， 减少了设计成本和功耗； 本课题设计的目的就是给用户提供一个丰富的多媒体娱乐平台，针对以上 特性确定了系统设计的结构。硬件上，以p x a 3 1 0 处理器、摄像头、音频、触 摸屏为主要的框架进行电路设计：软件上，采用b l o b 引导程序、l i n u x 内核和 a n d r o i d1 6 系统的架构，实现相应硬件模块的驱动程序和a n d r o i d 硬件抽象层的 开发，并对a n d r o i d 系统进行裁剪。最后对整个多媒体系统的设计进行了总结， 提出了后续需要改进的方面。 关键词：a n d r o i d ，多媒体，摄像头，l i n u x a b s t r a c t c u r r e n t l yi nt h ec o m m u n i c a t i o n sf i e l d ，i n t e l l i g e n tt e r m i n a lp r o d u c t sr e c e i v e e x t e n s i v ea t t e n t i o n s m a r tp h o n e s ，p a n e lp c s ，n e t b o o k s ，m i d ，d i g “a lp h o t of r a m ea n d o t h e rp r o d u c t se m e r g ei na ne n d l e s ss t r e a m ，a n da r ec h a n g i n gp e o p l e sl i v e s g r a d u a l l y w i t hp e o p l ep u r s u i to ft h ed i v e r s i t ya n dp e r s o n n a l i z e di n f o r m a t i o n ，t h e d e v e l o p m e n t o ft e r m i n a l t e c h n o l o g y a n dt h ee n r i e h m e n to f o p e r a t i n g s y s t e m ，i n t e l l i g e n tt e r m i n a lh a sb e c o m eat r e n d a l s oi n t h ef i e l d o fm u l t i m e d i a p r o d u c t s ，p e o p l ea r en ol o n g e rs a t i s f i e dw i n l t h em o n o t o n o u sa u d i oa n dv i d e o p l a y b a c k ，b u tt h ep u r s u i to fr i c h e re n t e r t a i n m e n ta p p l i c a t i o n s t h e r e f o r e , i na d d i t i o nt o t h er e q u i r e n m e n t so fh a r d w a r ec o n f i g u r a t i o n ，b e t t e rn s e re x p e r i e n c eo fo p e r a t i n g s y s t e ma l s ob e c o m et h es t a n d a r df o rp e o p l et oc h o o s eap r o d u c t a n d r o i da sar i s i n g s t a ro f o p e r a t i n gs y s t e mp l a t f o r m ，w i t hi t so p e n ，g o o du s e re x p e r i e n c e , h a sb e c o m et h e l e a d e ri nt h ef i e l d t h ep r o j e c ti sd e s i g n e da sap r o t o t y p eo fam u l t i m e d i ap r o d u c tb a s e do n a n d r o i ds y s t e m f i r s t l y , t h ep a p e ri n t r o d u c e st h ea d v a n t a g e sa n dt h ed i s a d v a n t a g e so f e a c he x i s i t i n gt e r m i n a ls y s t e mp l a t f o r m ，a n a l y s i st h ep r o b l e m sa n dd e v e l o p i n gt r e n d o fc u r r e n tm u l t i m e d i ap r o d u c t so nt h em a r k e t o nt h i sb a s i s ，p r o p o s ean e wd e s i g n c o n c e p to f m u l t i m e d i ap r o d u c t ，c h a r a c t e r i z e di n ： 1 ) t h es d e c t i o no fs m a r t p h o n eo p e r a t i n gs y s t e mp l a t f o r m ，w h i c hh a sb e t t e ru s e r e x p e r i e n c ea n ds c a l a b i l i t y o nt h ec o n t r a r y , t h et r a d i t i o n a lm u l t i m e d i ap r o d u c t so n l y h a v es i n g l ef u n c t i o na n dp o o re x t e n s i o n 2 ) t h eh a r d w a r ed e s i g ni sr e a s o n a b l e c o m p a r e dw i t hs i m i l a rp r o d u c t s ，i n c r e a s e t h ee a m e r a , w i f ia n do t h e rm o d u l e s ，w h i c hc a nm e e tm o r ee x t e n s i v ea p p l i c a t i o n n e e d s i na d d i t i o n ，c o m p a r e dt os m a r t p h o n e ，c u to u tt h eg s mm o d u l e ，c a nr e d u c e d e s i g nc o s t sa n dp o w e rc o n s u m p t i o n 1 1 1 ep u r p o s eo ft h i sp r o j e c ti sd e s i g n e dt op r o v i d en s e r $ ad c hm u l t i m e d i a e n t e r t a i n m e n t p l a t f o r m f o r t h ea b o v e c h a r a c t e r i s t i c s ，d e s i g n t h e s y s t e m a r c h i t e c t u r e i nh a r d w a r e , u s i n gp x a 310p r o c e s s o r , c a m e r a , a u d i o ，t o u c hs c r e e na st h e m a i nf r a m e w o r kt od e s i g nt h ec i r c u i t i ns o f t w a r e , u s i n gb l o b ，l i n u xk e r n e l ，a n d a n d r o i d1 6s y s t e ma r c h i t e c t u r e ，r e a l i z ed r i v e r so ft h em o d u l e s ，t h eh a r d w a r e a b s t r a c t i o n l a y e r o fa n d r o i d , a n da n d r o i ds y s t e mt a i l o r i n g f i n a l l y , t h e p a p e r 刚珈l a i i z 髓t h ed e s i g no f w h o l em u l t i m e d i as y s t e m ，a n dp o i n t s o u tt h ei m p r o v 锄饥t o ft h ed i s i g n k e yw o r d s ：a n d r o i d ，m u l t i m e d i a , c a m e r a , l i n u x i l l 目录 摘要i a b s t r a c t i i 第l 章绪论1 1 1 课题背景1 1 2 相关产品现状和发展前景2 1 3 课题研究的意义及目标3 1 4 课题研究内容及创新3 第2 章课题相关技术介绍及分析5 2 1a n d r o i d 系统介绍5 2 2 多媒体相关技术介绍。6 2 2 1 多媒体技术6 2 2 2a n d r o i d 多媒体框架7 第3 章多媒体系统硬件设计。9 3 1 硬件总体设计9 3 2 硬件模块选型与设计9 3 2 1 处理器选择1 0 3 2 2 存储器选择1 1 3 2 3 摄像头模块1 2 3 2 4 音频模块13 3 2 5s d 卡模块1 4 第4 章多媒体系统软件平台构建1 5 4 1 引导程序开发l5 4 1 1b i o b 移植1 6 4 1 2b 1 0 b 部分驱动开发。1 7 4 2l i n u x 内核移植一2 2 4 3a n d r o i d 系统移植2 5 第5 章l i n u x 内核驱动开发一2 9 5 1c a m e r a 驱动开发2 9 5 1 1v 4 l 2 介绍2 9 5 1 2l i n u xi i c 架构3 0 5 1 3 传感器o v 2 6 5 5 驱动实现3 2 5 1 4 控制器端驱动实现一4 l 5 2 音频驱动开发4 4 5 2 1a l s a 体系介绍4 4 5 2 2w m 9 7 1 4 驱动开发4 5 第6 章a n d r o i d 系统开发。4 8 6 1a n d r o i dv i d e o 系统开发4 8 6 1 1v 4 l 2 编程模型4 8 6 1 2y l 格式介绍4 8 6 1 3c a m e r a s e r v i c e 分析及修改4 9 6 1 4c a m e r a 硬件抽象层实现5 1 6 2a n d r o i da u d i o 系统开发5 6 6 2 1a l s a 编程模型5 6 6 2 2a u d i o 硬件抽象层实现5 7 第7 章总结与展望6 l 7 1 研究成果6 1 7 2 后续改进。6l 致谢6 2 参考文献6 3 攻读硕士学位期间公开发表的论文6 5 武汉理工大学硕士学位论文 1 1 课题背景 第1 章绪论 目前，应用于智能手机、m i d 、m p 4 等产品的操作系统平台越来越丰富了， 如现在应用最广泛的a n d r o i d 系统、i p h o n eo s 系统、s y m b i a n 系统以及w i n d o w s m o b i l e 系统等等，这四个主流的系统平台都有各自的特点，尤其是g o o g l e 公司 的a n d r o i d 系统，凭借其良好的用户体验和较高的开放性，吸引着越来越多的厂 商采用，下面简单介绍这几个系统平台。 a n d r o i d 系统 a n d r o i d 是g o o g l e 公司开发的智能手机平台，该系统底层使用l i n u x 内核， 上层基于j a v a 开发，整个系统完全对用户开放和免费，而且给用户提供了很好 的体验效果，所有这些特点吸引了越来越多的终端厂商和编程爱好者，从而导 致目前市场上出现了大量采用a n d r o i d 系统的产品，如智能手机、平板电脑、 m d 、m p 4 、机顶盒等等【l j 。 i p h o n e o s 系统 苹果公司研发的i p h o n eo s 操作系统，主要应用在智能手机i p h o n e 和多媒 体产品i p 0 dt o u c h 上。i p h o n eo s 操作系统随着i p h o n e 手机的热卖而兴起，而且 苹果应用商店a p ps t o r e 中的大量优秀软件给该系统提供了强大的支持。但 i p h o n e 平台相对封闭的特点，给其快速广泛的发展带来了局限性。 s y m b i a n 系统 s y m b i a n 系统相比前两者而言，是一个成熟但相对较落后的一个手机平台， 目前仅有诺基亚等少数几个手机厂商采用该系统，但随着a n d r o i d 等系统的兴 起，s y m b i a n 系统的市场份额逐渐减少，诺基亚公司开始寻求向其他系统发展， 如与i n t e l 公司合作开发的m e e g o 系统、采用微软的w i n d o w sp h o n e7 系统【z j 。 w i n d o w sm o b i l e 系统 w i n d o w sm o b i l e 是微软公司针对手机和其他掌上设备开发的操作系统，原 型为w i n d o w sc e ，目前最新版本为w i n d o w sp h o n e 7 。该系统主要应用在智能手 机、p d a 、随身音乐播放器等设备上，但在a n d r o i d 和i p h o n eo s 的冲击下， w i n d o w sm o b i l e 的市场份额在持续缩减。 武汉理工大学硕士学位论文 在a n d r o i d 和i o s 出现之前，s y m b i a n 和w m 占据了智能手机操作系统的 大部分市场份额，然而在移动互联网快速发展的趋势下，这两个系统的劣势渐 渐显现出来。s y m b i a n 系统由于发展的比较早，导致其主体框架陈旧落后、用户 体验不能满足不断增长的需求，再加上系统本身的封闭性，使其在市场竞争中 逐渐落后对手。同样封闭的w m 系统，其娱乐性也较差，主要针对高端商务人 士，同时其昂贵的引入成本，也左右了终端厂商的选择。相比这两个手机系统， 后来居上的苹果i o s 却改变了传统终端系统的模式，它提供更好的用户体验， 而其独具特色的a p ps t o r e 应用商店为苹果公司带来了巨大的成功。然而i o s 系 统也存在许多问题，首先其属于半开放的o s ；其次i p h o n e 较高的价位，很难快 速抢占中低端市场。与这些智能手机系统相比，作为后起之秀的a n d r o i d 系统， 凭借其廉价的成本、完全开放的特性以及用户体验好等特点，快速的占据了智 能手机系统的一个席位【3 】。 通过对这几个主流系统平台的比较和分析，可以预测a n d r o i d 系统的发展前 景将会是最广阔的。a n d r o i d 作为一个开放的系统平台，不仅可以用于高端的平 板电脑、智能手机，也可用于低端的机顶盒、m p 4 等多媒体设备。随着众多厂 商加入g o o g l e 开放联盟，以及a n d r o i d 应用m a r k e t 的逐渐扩大，未来将随处可 见a n d r o i d 产品的身影。 1 2 相关产品现状和发展前景 多媒体产品涉及到的范围是相当广泛的，只要与音视频相关都可称得上是 多媒体的范畴。目前市面上的多媒体产品主要有：便携式多媒体播放器 m p 3 m p 4 、掌上电脑p d a 、机顶盒、数码相框、d v d 、媒体互联设备m d 、电 子书等等，a n d r o i d 作为一个新兴的系统平台，在多媒体方向也正迅猛发展。目 前基于a n d r o i d 系统的多媒体产品主要有便携式多媒体播放器、数码相框、m i d 、 电子书等，而且正在向机顶盒等其他多媒体产品方向发展。 2 0 0 9 年1 1 月，p a r r o t 公司推出了全世界第一款运行a n d r o i d 系统的数码相 框，从此数码相框的功能被大大扩展了。这款产品不仅可以看图片，还拥有r s s 资讯订阅、查看天气等功能。其还配置有w i f i 、蓝牙、u s b 等模块，丰富了产 品的功能。 2 0 1 0 年7 月，蓝魔数码发布了首款采用a n d r o i d 系统的m i d 产品w 7 ，该 产品集p m p 、m p 4 、p d a 为一体，位于n e tb o o k 网本和p d a 之间，是小型化的 2 武汉理工大学硕十学位论文 手持互联网设备。蓝魔w 7 采用a n d r o i d1 5 系统，内置无线w i f i 方便用户轻松 连接互联网，7 2 0 p 视频解码，支持电子书等功能。总的来说，该产品集众多多 媒体应用于一体，代表了a n d r o i d 系统在多媒体领域发展的一个趋势。 除了这些产品外，飞利浦等公司推出了基于a n d r o i d 系统的便携m p 4 多媒 体播放器，最近尼康公司也发布了首款a n d r o i d3 d 数码相框，在机顶盒领域， m i p s 公司正致力于研发基于a n d r o i d 系统的产品。 1 3 课题研究的意义及目标 传统的多媒体产品，如m p 4 、数码相框等，功能都比较单一，交互性和可 扩展性比较差，这跟产品采用的软件平台、硬件模块以及市场需求都有很大关 系。如今，随着系统平台的多元化，硬件资源的逐渐丰富和成本的降低，以及 消费者对产品体验、娱乐性的追求，传统的多媒体产品显然不能满足用户的需 求。而a n d r o i d 系统以其平台开放性、开发成本的低廉、用户体验好以及应用程 序的丰富性，迎合了市场的发展趋势。 本系统正是基于a n d r o i d 平台开发的一个多媒体产品，采用a n d r o i d1 6 系 统，硬件模块包括音频解码芯片、摄像头、l c d 显示屏、s d 扩展接口、u s b 接口等，还可添加蓝牙、w i f i 、g p s 等模块来丰富产品的功能。设计的目标是 给用户提供一个支持音视频播放、可拍照录像、支持各种格式图片浏览、能无 线上网以及可自由扩展软件应用的多媒体娱乐产品。与传统多媒体播放器m p 4 相比，除了基本的音视频播放功能外，该产品还能提供视频录制和拍照功能， 能够进行无线传输( 通过蓝牙) 和上网( 通过w i f i ) ，还可以免费安装各种丰富的多 媒体应用软件，而且采用免费开源的a n d r o i d 系统，能大大减少软件开发成本。 1 4 课题研究内容及创新 本课题研究的主要内容是在a n d r o i d 平台下，从硬件和软件两个方面设计一 个多媒体系统的过程。具体的工作包括： 硬件模块的选型，如处理器、存储器设备、l c d 显示设备、摄像头、音频 芯片等模块； 硬件总体设计，主要是这些模块的电路设计； 软件平台的搭建，包括引导程序、l i n u x 内核和a n d r o i d 系统的移植； 3 武汉理工大学硕士学位论文 l i n u x 内核驱动开发，实现摄像头、l c d 以及音频芯片等主要模块的驱动 程序； a n d r o i d 硬件抽象层的实现，主要实现c a m e r a 和音频的硬件抽象层。 系统的测试，包括对驱动程序的调试以及对系统的多媒体功能进行测试。 本课题的创新点体现在以下几个方面： ( 1 ) 硬件选型 传统的嵌入式多媒体产品，如m p 3 、m p 4 等等，出于成本的考虑，都采用 较低端的a r m 处理器以及廉价的音视频解码芯片，仅提供简单的音视频播放， 功能单一，可玩性差。本课题在系统设计时，采用了性价比较高的p x a 3 1 0 处 理器，同时配备高质量的音频解码芯片以及摄像头等模块，使得多媒体播放的 流畅性更好；还可根据需求扩展g p s 、w i f i 等硬件模块，丰富用户娱乐体验。 ( 2 ) 软件平台 在软件平台的选择上，使用目前炙手可热的a n d r o i d 操作系统，其开源性和 用户体验好等优势已经众所周知。传统多媒体产品中的应用都是内置而不可自 由扩展的，给用户体验带来了局限性，但a n d r o i d 平台却提供了成千上万可下载 的应用程序，用户可根据喜好自由选择。基于a n d r o i d 系统的多媒体产品不再是 一个纯粹的播放器，而是一个娱乐平台。 4 武汉理工大学硕士学位论文 第2 章课题相关技术介绍及分析 2 1a n d r o i d 系统介绍 a n d r o i d 作为一个开放的系统平台，已经应用到各种电子消费产品，如智能 手机、平板电脑、数字相框、m i d ( 移动互联设备) 等等。与诺基亚s y m b i a n 系统 以及苹果i p h o n eo s 系统等手机平台相比，a n d r o i d 凭借其开源性受到越来越多 的厂商及编程爱好者的追捧，并且参与其中开发基于a n d r o i d 的产品。 图2 - 1a n d r o i d 框架图 a n d r o i d 系统实际上就是一系列软件的结合体，主要针对移动终端设备。从 结构划分上来看，a n d r o i d 系统由四个层面构成，包括l i n u x 内核、本地c c + + 库、j a v a 框架层和应用程序部分，如图2 1 所示为a n d r o i d 系统的基本框架图。 下面简单的介绍各个层次的作用【4 1 ： a n d r o i d 系统以l i n u x 2 6 内核为基础，其对标准的l i n u x 内核进行了简单的 修改，添加了自己的模块，如b i n d e r p c 机制等等，当然还要添加针对不 5 武汉理工大学硕士学位论文 同硬件平台的驱动程序，如摄像头、音频、显示设备、蓝牙等等。 在驱动程序和a n d r o i d 系统之间的部分称为硬件抽象层( h a l ) ，其起到桥梁 的作用。 a n d r o i d 底层包含了许多c c + + 库，被系统中的组件部分调用，a n d r o i d 系 统自带的d a l v i k 虚拟机为应用程序提供了基本的j a v a 运行环境。 a n d r o i d 的框架层为开发应用程序提供了a p i 接口，用户也可以在遵循框架 安全限制的前提下，定义自己的框架接口。 a n d r o i d 应用程序都是用j a v a 语言编写的，如常用的电话、短信、浏览器、 摄像头、播放器等等。 2 2 多媒体相关技术介绍 2 2 1 多媒体技术 多媒体技术从概念上来讲，是指对文字、图像、动画、音视频等信息，通 过计算机这种工具，进行处理的一种技术。广义上来说，可将多媒体简单的看 作两个部分：声音和图像。 在音频相关的技术领域，多媒体需要应用以下的一些技术：采集音频数据、 语音的编解码、音频数据传输、音视频同步、音讯效果与编辑等。使用计算机 对音频进行处理一般经过这些流程：模数转换，即将模拟信号转换为数字信号； 对数字信号进行处理，包括量化以及编码。这个过程中涉及到一些概念：采样 频率、量化位数、声道数等。随着电子通信领域的飞速发展，音频技术也在不 断改进和完善，随之也出现了各种音频的规范和格式，常见的音频文件格式有 w a v 、m o d 、m p e g 3 ( 即m p 3 ) 、c m f 、c d a 、m i d 等【5 1 。 通常所讲的视频，就是指一系列连续变化的图像，当这些图像变化或切换 的速度超过每秒2 4 帧时，由于人眼的视觉暂留原理，导致无法区分出实际是静 态的画面，从而感觉获得了流畅的动态视觉效果。和音频技术一样，视频技术 领域也有类似的专业术语，如帧、帧速、关键帧以及码率等。目前常用的视频 格式种类很多，如a v i 、m o v 、m _ p e g 、w m v 、a s f 、f l v 等。当然，在多媒 体技术中还用到了其他的一些压缩编码标准，如h 3 6 x 、j p e g 、3 g p 等。 6 武汉理工大学硕士学位论文 2 2 2a n d r o i d 多媒体框架 由a n d r o i d 框架图( 图2 1 ) 口- - f 知，a n d r o i d 多媒体部分也有类似的框架结构， 从上层到下层包括：应用层、j a v a 框架层、本地库框架、硬件抽象层h a l 等模 块。如图2 2 所示为a n d r o i d 多媒体部分的框架图，简单来看可分为多媒体本地 框架l i b m e d i a 、o p c n c o r e 、a u d i o 系统以及v i d e o 系统四个部分嗍。 l 多媒体j n i l ( 1 ) 本地框架l i b m e d i a m e d i a 库是a n d r o i d 多媒体系统的核心，它实现了多媒体播放器和记录器的 整体框架，对上面的j a v a 层通过j n i 提供编程接口，而下层又通过继承l i b m e d i a 的类实现其具体的功能，其下层是指多媒体服务和o p e n c o r e 部分。m e d i a 库的 主要功能包括：音频、视频的输入输出、媒体播放器记录器、媒体相关信息的 管理等。多媒体服务是a n d r o i d 中的一个服务程序，是一个系统守护进程，它通 7 武汉理工大学硕士学位论文 过i p c 机制与l i b m e d i a 库通信，负责启动多媒体、照相机、音频这三个服务。 ( 2 ) o p g n c o r e o p e n c o r e 是多媒体框架p a c k e t v i d e o 的开源版本，它是m e d i a 库的具体功能 实现。从宏观上看，o p e n c o r c 的功能可以分为两个部分：p v p l a y o r 和p v a u t h o r 。 p v p l a y e r ，提供放音功能，实现了多媒体数据流的控制、媒体文件的解析、 解码音视频流等功能； p v a u t h o r ，提供录音的功能，实现了数据流的同步、编码音视频流以及媒 体文件的写入等功能； 从软件层次上，可将o p e n c o r e 分为以下几个部分：o s c l ( 操作系统兼容库) ， 提供与操作系统相关的库实现，便于o p e n c o r e 在不同操作系统上的移植、 p v m f ( p a c k c t v i d e o 多媒体框架) 、编解码部分、p l a y e r 引擎和a u t h o r 引擎等。 ( 3 ) a u d i o 系统 在a n d r o i d 系统中，a u d i o 模块的作用就是，进行数据流的传输和相应的控 制功能。通常操作的数据流是p c m 格式的，简单来说就是放音和录音，还包括 对音频设备的管理和设置操作。在移植a n d r o i d 系统时，需要实现a u d i o 部分的 硬件抽象层h a l 和l i n u x 内核中的音频驱动。 ( 4 ) v i d e o 系统 在a n d r o i d 系统中，v i d e o 系统涉及到的功能模块比较多，但主要由c a m e r a 和o v e r l a y 这两个部分组成，其中c a m e r a 部分除了是照相机应用程序的底层实 现外，还作为v i d e o 系统的数据输入；而o v 融a y 仅作为v i d e o 系统的数据输出。 v i d e o 的输入输出部分是相互独立的，这点与a u d i o 不同。 所谓o v e r l a y 也就是指叠加技术，在嵌入式领域，常用的显示设备是l c d 屏，一般情况下直接将要显示的图像数据输出到l c d 控制器，由其显示到屏幕 上，这里是默认将整个l c d 屏幕作为显示区域的，然而l c d 屏是可以分成多 个显示区域的，比如可分为一个主显示区域，用于显示主体框架和一个视频播 放区域，专门用于播放视频或者作为照相机的预览显示。在l c d 控制器端是可 以将这两个区域的数据通道独立开来的，这时利用o v e r l a y 技术，将这些区域的 显示数据分别传送到l c d 的不同数据通道上，再利用它的多层显示功能，就可 以大大减少视频混合的时间消耗，提高显示效掣6 】。 武汉理工大学硕士学位论文 第3 章多媒体系统硬件设计 3 1 硬件总体设计 一般情况下，多媒体产品至少应具有音频、视频的功能，如目前流行的m p 3 、 m p 4 、电子相框、投影仪、m i d 等，因此设计一款多媒体娱乐产品，在硬件配 置上就缺少不了这些模块：处理器、存储设备( f l a s h 、s d 内存卡等) 、音频芯片、 扬声器、摄像头、l c d 显示屏、按键或触摸屏、u s b 接口、电源管理芯片等， 还可以根据需要，增加蓝牙、w i f i 、g p s 、重力感应等模块，来丰富多媒体产 品的功能f 7 1 。如图3 1 为多媒体产品的总体硬件模块图。 图3 1 系统硬件模块图 3 2 硬件模块选型与设计 要设计一个嵌入式多媒体设备，需要从各个方面考量其性能。软件上，需 要考虑界面的美观、应用程序的易操作性、功能是否丰富完善、运行的流畅性 等等；硬件上，要考虑硬件成本、尺寸、功耗、处理器性能、解码芯片的效率、 9 武汉理工大学硕士学位论文 摄像头像素以及显示屏分辨率等等因素。在设计中，由于软件采用a n d r o i d 原生 态系统，仅需要在l i n u x 内核层进行性能的优化，所以主要考虑硬件选型上的一 些因梨8 1 1 9 1 。 一个基本的嵌入式多媒体设备，至少需要以下硬件模块： 处理器，一般采用a r m 微控制器，主要是功耗低； 存储器，需要外扩的r o m 和r a m ，用于存放系统镜像和运行程序，还可 以外扩s d 卡设备，存储大文件： 显示设备，可采用带触摸屏的l c d ，作为多媒体的视频输出设备； 摄像头模块，作为多媒体的视频输入设备； 音频模块，作为多媒体的音频输入输出设备； 电源模块，负责系统的供电控制； 3 2 1 处理器选择 a n d r o i d 系统作为智能手机平台，与一般的非智能手机相比，其对硬件有较 高的要求。最初要求至少是2 0 0 m h z 处理器、3 2 m b 的r o m 和3 2 m b 的r a m ， 但随着系统的进一步升级以及应用的不断扩展，a n d r o i d 系统对硬件配置的要求 越来越高，而且为了使系统运行的更流畅，也应该采用更加高端的硬件配置。 以处理器为例，选择6 1 4 m h z 主频的p x a 3 1 0 ，它是m a r v d l 公司基于i n t dx s c a l 技术研发的高端处理器，其在多媒体处理特别是图形处理方面有很大的优势。 p x a 3 1 0 处理器提供了各种功能模块和硬件接口，专门针对高性能低功耗要 求的手持设备而设计，以下为该处理器的主要模块和接1 2 1 ，详细的结构参看图 3 - 2 处理器核：基于a r mv 5 t e 架构，内部集成多媒体处理器； g p i o ：多达1 2 8 个外设引脚，可通过软件编程控制g p i o 引脚功能； 电源管理：提供丰富的电源控制操作，多种电源工作模式来控制功耗； d m a 控制器：提供3 2 个通道以及9 2 个外设请求； r t c ：3 2 - b i t 计数器，3 2 7 6 8 k h z 工作频率； p o w e ri i c 控制器：专门用于控制电源管理芯片的i i c 总线控制器； 外部存储器接口：提供d f i ( d a t af l a s hi n t e r f a c e ) 和e m p i ( e x t e r n a lp i n i n t e r f a c e ) 两种接口，外扩s d r a m 等存储设备； n a n df l a s h 控制器：控制外接n a n df l a s h 存储设备； 1 0 m m c 、s d 备： 图像输入控 设备接口：提供两个m m c s d c a r d s d i o 接口，可外扩存储设 制器：p x a 3 1 0 支持丰富的l c d 、多媒体以及输入设备的控制 器，如l c dp a n e lc o n t r o l l e r 、c a m e r ai m a g ec a p t u r ei n t e r f a c e 、g r a p h i c s c o n t r o l l e r 、k e y p a dc o n t r o l l e r 等； 串行端口：p x a 3 1 0 提供丰富的串行控制器，如u s b l 1 主控制器、u s b 2 0 高速设备控制器、同步串行端1 ：3s s p 、a c 9 7 编码接口、u a r t 、四通道的 p w m 单元、两线串行接口t w s i 等； 图3 - 2p x a 3 1 0 结构图 3 2 2 存储器选择 运行a n d r o i d 系统需要比较大的r o m 和r a m 空间，p x a 3 1 0 内部2 5 6 k 的 武汉理工大学硕士学位论文 s r a m 远远不够，因此可以通过p x a 3 1 0 的d f i 和e m p i 接口，分别外接n a n d f l a s h 和s d r a m 。这里采用h y n i x 公司的h 8 b c s o s i o 脚芯片，该芯片内部集 成2 5 6 m b 的n a n df l a s h 和1 2 8 m b 的s d r a m ，将两种存储器设备集成到一块 芯片上，不仅可以减少占用的空间还可以降低功耗，特别适合在手持设备上使 用。h 8 b c s o s i o m a p 芯片的基本特性如下： n a n d 接口：采用1 6 位总线宽度，地址数据复用； n a n d 块大小：( 6 4 k + 2 ks p a r e ) w o r d s ； s d r a m ：双数据速率，每个时钟周期传输两个数据； s d r a m 接口：1 6 为总线宽度，地址复用； 自动刷新和自刷新模式； 3 2 3 摄像头模块 现在的智能手机中，摄像头模块已经成为了不可或缺的部分，而摄像头的 质量和性能也成为衡量手机性能的一个重要元素。如今，消费者普遍将像素高 低用来衡量摄像头质量的标准，这是不够全面的，虽然像素越高照片的分辨率 越高，但要使照片更加清晰、画面颜色更加真实，还需要更好的摄像头镜头和 感光材料。但综合考虑性能和成本的因素，这里采用o m n i v i s i o n 公司的o v 2 6 5 5 模块( 2 0 0 万像素) ，其主要特性如下： 自动图像控制功能：自动曝光控s t ( a e c ) ，自动白平衡( a w b ) ，自动波段过 滤( a b f ) ，自动5 0 6 0 h z 照明频率探测，自动增益控制； 可编程控制帧速，镜像、翻转、缩放、裁剪等功能； 图像质量控制：颜色饱和度、灰度、镜头校准等； 支持的输出格式：r a mr g b ，r g b 5 6 5 5 5 5 ，y u v 4 2 2 4 2 0 和y c b c r 4 2 2 ； 支持的图像大小：u x g a ，s x g a 等； 支持内部外部帧同步，l