（信息与通信工程专业论文）基于arm与linux的嵌入式流媒体播放器的研究与实现.pdf

浙江大学颈圭学位论文 孽8 7 器s 8 8 摘要 随着数字通讯技术、多媒体数据压缩技术以及处理器技术的不断发展，j f l f 用 便携式设备实现可视电话、视频会议、视频点播等业务成了学术界以及工业界的 热点领壤，本文蓦在蹦戮9 2 0 ，平鸯上实瑷滚媒髂疆藏臻髓。 蓠先，本文对流媒体播放系统静熬体框架避行分析。在处联器静选择上灏， 选择a r m 处理嚣作为系统的硬件平台；在操作系统的选择上掰，选用l i m ：) ( 操作系统；在实时传输孙议主，选择了r 狰艨托p 以及r t s p 协议；在多媒体标 准熬选择上覆，逶遘蕊囊缝果翡港较努耩，途趸了褒缤毪麓囊好露运算量有鞠驻 优势的m p e g ，4 视频标准以及其有全圈点解码器豹m p 3 鸯频糖准作为系统秘蔚 支持的多媒体标准。 其次，零文构建了嵌入式l l n u x ，设计了滚媒体攘藏系统集成壤稳并建软传 实现；基予系统对操律系统豹要求，椅纛了针对删平台的嵌入式l 驳吼操 作系统；基于流媒体播放器的实际需求，本文首先将系统划分为五个主要程务， 并遵过五令瓣装类以及黼分遥焉类霹a p i 实现这臻任务；基予系统靛多媒体、多 任务特熹，本文分爨了辩、巍菝蘑爹辍麓馥爱线秣阕麓步疆魏，解决了媒体瀚、 任务阔同y 步的问题；基于对系统功能扩展的考虑，零文绘出了一嵇针对所有解码 器的统一接口。 第三，本文将系统巾溪健薅殴钱亿方法分为系绞缀住德、势法缓蕊稼戳及平 螽缀侥纯三静类型。奁系统缀优纯方面，采用了s c g m ( s c o n ee a c h ee 油 m a n a g e m 锄1 ) 方法；程辣法级优佬方法，提粥了邋霄于嵌入式m p e g 一4 解码的 蚨效应滤波优纯算法，仿真结果爱示，和参考文献申运算量最小的s h 。n e h u a l lt 赫 懿冀法魄较，在嚣缳爨爨毒嚣撵褒静蒸磷之主运蘩爨减少了十露傣；在乎套缀饶 化方面，给出了操作优化、指令优化以及流水线优化等三种优化方法。仿真结果 鼎示，综合丁上述几种方法之后，m p e o 。4 视频解码在已经优化过的解码器基础 之上运算璧又减少了3 0 淡e ，瓣3 毒频解玛在采髑运箕量已经缀少戆h b m a d 纂穑之上幢链又提离了4 0 潋上，很好的满足了最商频率为2 0 3 m k 的s 3 c 2 4 1 0 处理器的憋滟要求。 第四，文章给戡了系统开发过程中赝涉及到的测试平台醇及系统测试缩聚。 最嚣，蕊缝了谂文繇骰瀚工锋，并捂出了流媒体疆藏系统掰嚣要送一步瓣决 的问韪。 关键词：浚媒体，嵌入袋系绫，瓣嚣g 4 块效应滤波，系统优纯 浙江大学硕士学位论文 a b s t l a c t w i t l lt h ed e v e l o p m e n to fc o 姗u i l i c a t i o nt e c h n o l o g y ， d a t ac 砌p r e s s i o n t e c l h l 0 1 0 9 ya 1 1 dp r o c e s s o rt c c l l i l o l o g y ，廿1 er e a l i z a t i o no fm l l l t i i n e d i aa p p l i c a t i o ns u c h a sv i d e o p h o n c ，d e oo nd e m a l l d 卸dr e a l m m ev i d e oc d n f e r e n c eu s 血gp o n a b l e d e v i c e sh a sb e e no n eo ft l l ei i l o s ti m p o n a n tf i e l d si nb o mi n d u 啦呵a n dr e s e a r c h t h e p u r d o s eo f t l l i st 1 1 e s i si st ob u i l ds 缸c 锄i n 2m e d i ap l a y e rb a s e do n a r m 9 2 0 t f i r s t l y ，t l l i sp a p e ra n a l y z e st l l es 缸1 l c t u r eo fs 扛e 锄i i l g l c d i ap l a y i n gs y s t e m a s t l l ea s p e c to fp r o c e s s o r w ec h o o s ea r ma sh a r d w a r ep l a t f 硫la n dl i m a st 1 1 e o p e r a t i o ns v s t e m i n 陀印e c to fr e a l t i l n e 仃 m s 玎1 i s s i o np r o t o c o l ，r t p r t c pa n dr t s p a r cc h o s e n 1 1 1 r o u 窖hs i m l n a t i o nr e s u l t s ，m p e g 一4a i l dm p 3h a v eb e e nc h o s e na s m u l t i m e d i as t a l l d a r d sl h a tt h es y s t e ms u 讲) o r t sr e c e n n y b e c a l l s eo ft l l e i rh i g l l c o m p r e s s i o nm t e 趾d1 0 wc o m p u t a t i o n a lc o m p l e x i t yr e l a t i v e ly s e c o n d ly t 1 1 ee m b e d d e dl i n u xi sb u i h ，a n dt h ei n t e 鲫_ t e da r c l l i t e c t i l r eo f s t r e a m i n gm e d i ap l a y i n gs y s t e mi sd e s i g n e da i l dr e a l i z e d b a s e do nr e q l l i r e m e mo f 0 s ， w eb u i l da n 锄b e d d e dl i n u xo sf o ra r m b a s e do np r a c t i c a lr e q u i r e m e n to f s 仃e a m i n gi n e d i ap l a y e r ，也i sp a p e rd i v i d e st h ew h o l es y s t e mi i l t of i v et a g k s ，a n d r e a l i z e sa ht 1 1 e s et a s k su s i n gf i v ec l a s s e sa n ds o m el i b m r i e s a p i s b 够e do nc h a r a c t e r o fm u l t i m e d i aa n dm l l l t i t a s k ，w ea n a l y z ei 玎t e r i n e d i as v n c h r o i l i z a t i o nm e c h 锄i s m a n di n l e r i t l l r e a ds y n c h r o i z a t i o nm e c h a n i s m ，a n ds o l v es u c hs y n c h r o i l o u sp r o b l e m s t d k i n gf u f t h e rm u l t i m e d i ac o m p r e s s i o ns t a n d a r d si n t oa c c 0 1 毗n ，t 1 1 至sp 印e rg i v e sa u n i f o n ni n 触c ef o ra ud e c o d e r s t h i r d l y ，w ed i v i d ea l lo p t i m i z a t i o nm e m o d si n t os y s t e ml e v e l ，a l g o 血l 蚰l e v e la n d 砌i t e c t u r el e v e l f o rs y s t e m1 e v e lo n e s ，w eu s eam e t l 】o dc a l l e ds 0 ( m ( s c e n e c a c h eg m p hm a l l a g e m e i l t ) a st 1 1 e 雒p e c to fa l g o r i t l l ml e v e lo n e s ，w ep m p o s ea d e - b l o c k 抽gf i l t e rb a s e do nr e l a t i o n s h i pb e t 、v e e nb l o c k s ， w h i c hh a sl o w e r c o m p u t a t i o m lc o m p l e x 酊c o m p 耐n g 谢t hr e c e n ta l g o n t | l m sb ys i m u l a t i o nr e s u l t s f o ra r c h i t e c 骶l e v e lo n e s ，t l l i sp 8 p e ri r l n d d u c e st l l r e ek i n d so fo p t i m i z a t i o nm e t l l o d s ， w h i c hc a l l e do p e 洲o no p t i m i z a t i o n ，i n s t n l c t i o no p t i m i z a t i o na n dp i p e l i n e o p t i l n i z a t i o n s i m l l l a t i o nr e s u n ss h o w 也a t ，a f t e rs y i l t h e s i z i n ga l lm e n t i o n e dm e m o d s ， m eo p e m t i n g 矗e q u e n c yf o rm p e g 4v i d e od e c o d e ri sd e c r e a s e db ym o r et l l a np e r c e n t 3 0c o m p 撕n g 、v i t l ld e c o d 盯w h i c hh a sb e e no 砸m i z e da l r c a d y ，趾dt l l e o p e r a t i g f i e q u e n c yf 1 0 rm p 3a u d i od e c o d e ri sd e c r e a s e db ym o r em e np e r c e n t4 0c o m p a r i n g 、v i t l ll i b m a db e f o r eo p t i 觚z a t i o n ，蛐c hh a sc o m p u t a t i o n a la d v a i l t a g c f o l l n h l y ，t h i sp 印e ri n 廿o d u c e sp l 曲m sa i l dt o o l si n v o l v e di nd e v e l o p i n gm e s y s t e ma n d 百v e ss i m u l a t i o nr e s i l l t f i n a l l y ，c o n c l u s i o n so f t l l i sp 印e ra n ds u g g e s t i o n sf o r 如t i l f er e s e a r c ha r eg i v e n k 吖w o r d s ：s 骶锄i n gm e d 远e m b c d d e ds y s t e m ，m p e g - 4d e - b l o c k i i l gf i l t e r ， s y s t e mo p t i m i z a t i o n i i 浙江大学硕士学位论文 第l 章绪论 数字视频传输是人们利用视觉来获取信息的一种通信方式，和其它的信息 传递方式相比较，它具有确切性、直观性及高效率等特点。网络数字视频传输技 术广泛应用于多媒体新闻发布、在线直播、视频点播、远程教育、远程医疗、网 络电台、实时视频会议等信息服务的方方面面。数字视频传输技术的应用为网络 信息交流带来革命性的变化，对入们的工作和生活将产生深远的影响。 然而，生活方式的极大改变似乎并没有完全满足消费者更进一步的需求， 满足了信息获取的需求，消除了远程奔波的疲惫，人们更希望在闲暇的户外空间 通过常备的体积小的便携式设备同样能够满足实时视听信息的获取。随着卫星技 术、无线通信技术、媒体数据压缩技术以及处理器技术的不断升级，利用便携式 设备实现可视电话、视频会议、视频点播等业务成了学术界以及工业界的热点领 域。 1 1流媒体技术介绍 流媒体( s 订e a m i n gm c d i a ) 【1 】是一种新兴的网络传输技术，在互联网上实时 传输、播放音、视频等多媒体数据，流媒体技术包括流媒体数据的采集、音，视 频编解码、存储、传输以及播放等领域。 流媒体包含广义和狭义两种定义。广义上讲，是使音视频数据形成稳定和连 续的传输流和回放流的一系列技术，即流媒体技术：狭义上讲，就是指一种从互 联网上获取音视频等多媒体数据的一种新的方法，它能够支持多媒体数据的实时 传输以及实时播放。利用流媒体技术，客户端可以从服务器端连续、稳定的接收 多媒体数据并实时播放，而不需要全部下载完毕之后再回放。 目前实现流媒体传输主要有两种方法：顺序流( p r o g r e s s i v es 仃e a i n i n 曲传输和 实时流a l t i m es t r e a m i n 曲传输，它们分别适合于不同的应用场合。顺序流传输 采用顺序下载的方式进行传输，在下载的同时用户可以在线回放，但是不可能跳 到尚未下载的地方，不具有网络适应性，比较适合于高质量的多媒体片头。实时 流式传输保证媒体信号带宽能够与当前网络状况相匹配，从而使得流媒体数据总 是被实时地传送，因此特别适合于现场事件。与顺序流传输不同的是，实时流传 输需要用到特定的流媒体服务器，而且还需要特定网络协议的支持。 1 2基于p c 的流媒体发展状况 国际上，基于p c 的流媒体产品主要有r c a ln 曲 ，o r k s 、微软和a p p l e 公司 的r e a ls y s t e m 、w i n d o w sm e d i a 和q u i c k t i m e 。 浙江大学硕士学位论文 r e a ln e t w o r k s 公司的r e a ls y s t e m ，是目前在i n t e m e t 上相当流行的跨平台 的客户服务器结构的多媒体应用标准，它由媒体内容制作工具、服务器端、客 户端软件组成，所采用的自适应流技术可自动并持续地调整数据流的流量以适应 实际应用中的各种不同网络带宽需求，轻松地在网上实现视、音频和三维动画的 回放。r e a lm e d i a 包括三类文件：r e a la u d i o 、r e a l d e o 及r e a lf l a s h 。r e a l a u d i o 用来传输接近c d 音质的音频数据，r e a l d e o 用来传输连续视频数据，而r e a l f l a s h 则是r e a ln e t w o r k s 公司与m a c r o m e d i a 公司新近合作推出的一种高压缩比 的动画格式。 微软公司也推出了一整套包括流媒体制作、发布以及播放软件的信息流式 播放方案m i c r o s o rm e d i at e c h n o l o g y 。m e d i at o o l s 提供了一系列的工具帮助用 户生成a s f ( a d v a n c e ds 讹眦i n gf o 彻a t ，高级流格式) 格式的多媒体流( 包括实 时生成的多媒体流1 ，这是一个独立于编码方式的，在i n t e m e t 上实时传播多媒体 的技术标准，分为创建工具和编辑工具两种。 a p p l e 公司发布的q u i c k t i m e 是数字媒体领域事实上的工业标准，它几乎支 持所有主流的个人计算平台和各种格式的静态图像文件、视频和动画格式，可以 通过i n t e m e t 提供实时的数字化信息流、工作流与文件回放功能，是创建3 d 动 画、实时效果、虚拟现实、其他数字流媒体的重要基础，它主要由三个不同部分 所组成：q u i c k t i m e 电影( m o v i e ) 文件格式、q u i c k t i m e 媒体抽象层以及 q l l i c k t i m e 内置媒体服务系统。 1 3嵌入式流媒体关键技术 嵌入式系统是指嵌入式计算机( e m b e d d e dc o m d m e r ) 及其应用，是指嵌入 各种设备及应用产品内部的计算机系统。流媒体是指在互联网上传输音频数据、 视频数据、文本数据等多媒体信息。嵌入式流媒体，顾名思义，需要考虑嵌入式 系统以及流媒体技术两方面的特点。下面介绍嵌入式处理器、嵌入式操作系统、 实时传输协议以及音视频标准等嵌入式流媒体所涉及的几个关键技术。 1 3 1 嵌入式处理器 嵌入式系统的核心是各种类型的嵌入式处理器，嵌入式处理器与通用处理 器最大的不同点在于，嵌入式c p u 大多工作在为特定用户群所专门设计的系统 中。它的体系结构经历了从复杂指令集( c o m p l e xi n s t n l c t i o ns 就c o m p u t e r ，c i s c ) 至精简指令集( r e d u c e dh l s t r u c t i o ns e tc o m p u t c r ，砌s c ) 和c o m p a c ti u s c 的转 变，位数则由4 位、8 位、1 6 位、3 2 位逐步发展到6 4 位。目前使用的嵌入式处 理器大多采用耐s c 结构，主要分为下面四种类型： 1 嵌入式微处理器( e m b 酣d e dm i c r op m c e s s o ru i l i t ) 浙江大学硕士学位论文 嵌入式微处理器是用于在计算机之外的设备中提供添加的功能性的计算机 芯片，它经应用于控制和监控领域。 2 嵌入式微控制器( e m b e d d e dm i c r o c o r l 廿0 l l e ru i l i t ) 嵌入式微控制器又称单片机，就是将整个计算机系统集成到一块芯片中。一 般来说，它以某一种微处理器内核为核心，芯片内部集成r o m 厄p r o m 、黜m 、 总线、总线逻辑、定时计数器、w a t c h d o g 、i ，0 、串行口、脉宽调制输出、，d 、 d a 、f l a s hr a m 、e e p r o m 等各种必要功能模块。 3 嵌入式d s p 处理器( e m b e d d e dd i g i t a ls i a 1p r o c e s s o r ) 嵌入式数字信号处理器，是一种特别适合于进行数字信号处理运算的微处理 器，编译效率较高，指令执行速度也较高，在数字滤波、f f t 、谱分析等方面 d s p 正在大量进入嵌入式领域。 4 嵌入式片上系统( e m b e d d e ds y s t e mo nc l l i p ) 随着半导体工艺的发展，在一块硅片上面实现一个系统成为可能，这就是 s o c ( s y s t c mo nc h i p ) ，各种通用处理器内核将标准库和许多其它嵌入式系统外 设一样作为s o c 标准库成为v l s i 设计中一种标准的器件，用标准的v 玎) l 等 语言描述，存储在器件库中。 针对不同的应用，对于系统的性能会有不同的要求，因此需要选择完全适 合于系统的处理器，在具体选择方法上面通常应该遵循下列几个基本要求： 1 广泛的市场调研。不同公司所生产的c p u 有不同的特点； 2 运算能力。一个处理器的运算能力通常由时钟频率、内部寄存器大小、指令 是否对等处理器所有的寄存器等。在我们针对具体应用选择处理器的时候，不是 考虑选用处理速度最快的处理器，而是挑选能够完成作业的处理器和i ，o 子系统： 3 扩展功能。很多处理器为了减少芯片的数量，通常会集成一些比较常用的外 围设备，如d m a 控制器、内存管理器、l c d 控制器、串行设备、时钟等： 4 处理器功耗。针对所开发的多媒体播放系统，对功耗要求比较严格； 5 功能支持。为了缩短开发周期，需要考虑该处理器是否具有很好的软件开发 工具支持、是否内置调试工具以及是否提供评估板等。 1 3 0 嵌入式操作系统 嵌入式操作系统是一种支持嵌入式系统应用的操作系统软件，它是嵌入式系 统的重要组成部分。嵌入时操作系统具有通用操作系统的基本特点，能够有效管 理复杂的系统资源，并且把硬件虚拟化。 常见的嵌入式操作系统主要有l i n u ) ( 2 】、u c l i n l l ) ( 、w i n c e 、p a l m o s 、s y m b i a i l 、 e c o s 、u c o s i i 、p s o s 3 】、v x w o r k s 【4 】、n u c l e u s 、t 1 1 r e a d x 、r t e m s 、q n x 、 i n t e g r i t y 、o s e 、ce x e c u t i v e ，本文只是介绍系统采用的l n 虹操作系统。 l i n u x 作为一个典型的现代网络型操作系统，在嵌入式系统应用方面尤其 浙江大学硕士学位论文 显示出其优越性。其中所涉及到的技术实现涵盖了操作系统技术的最新成果，它 是一个多用户多任务操作系统，支持分时处理和软实时处理，并带有微内核特征， 具有模块的加载、卸载机制，具有很好的定制特性。由于它是开放源码的，因此 它的各方面性能在不断的得到完善，在实时性方面也得到了进一步的加强。l i n u ) 【 作为一个现代操作系统的典型实现，可以说是一个计算机业与时俱进的产物，它 不断更新，不断完善，其新功能的加入和完善速度超过了现今世界任何一种操作 系统。 1 3 3 流媒体传输协议 在基于口的网络中，用于多媒体数据实时传输的协议通常有四种，即资源 预留协议( r e s o u r c er e s e n r a t i o np m t o c 0 1 ，r s v p ) 、实时流协议( r e a l t i m e s 仃e a l l l i n gp m t o c 0 1 ，r t s p ) 和实时传输协议( r e a l t i m et r 黜p o r tp r o t o c 0 1 ，r t p ) 及实时控制协议( r e a l - t i m ec o n 廿o lp r o t o c 0 1 ，r t c n 。 r s v p 被主机用来为特定应用流向网络请求一定的服务质量( q o s ) 【5 】，它也 被路由器用来在节点间传送这种服务质量请求，从而建立能提供特定服务质量的 状态，并维护这种状态。资源预留协议最终将在数据流的路径上预留相应的资源 ( 主要包括内存资源和c p u 资源) 。 实时流协议r t s p 是由r e a ln e t w o r k s 和n e t s c a p e 共同提出的，该协议定义 了一对多应用程序如何有效地通过i p 网络传送多媒体数据。r t s p 在体系结构上 位于r t p 和r t c p 之上，它使用t c p 或r t p 完成数据传输。与h t t p 相比，h t t p 传送h t m l ，而r t p 传送的是多媒体数据。h t t p 请求由客户机发出，服务器响 应请求；使用r t s p 时，客户机和服务器都可以发出请求，即r t s p 可以是双向 的。 砌甲被定义为在一对或一对多传输的情况下工作，其目的是提供时间信 息和实现流同步。r t p 通常使用u d p 来传送数据，它本身并不能为按顺序传送 数据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供 这些服务。r t c p 和i u 甲一起提供流量控制和拥塞控制服务，它们配合使用，能 够以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时 数据。 1 3 4 音视频标准 i t u t 和i s 0 i e cj t c l 是目前国际上制定视频编码标准的正式组织，i t u t 的标准称之为建议，并命名为h 2 6 x ，比如h 2 6 1 、h t 2 6 3 、h 2 6 4 等。而i s o i e c 的标准称为m p e g x ，比如m p e g 1 、m p e g 一2 、m p e g _ 4 等。 l 2 6 x 系列标准主 要用于实时视频通信，比如视频会议、可视电话等；m p e g 系列标准主要用于视 频存储( d v d ) 、视频广播和视频流媒体( 如基于i n t e m c t 、d s l 的视频，无线视频 浙江大学硕士学位论文 等等) 。大多数情况之下两个组织独立制定相关标准，但是现在大家所知的h 2 6 4 标准则是两个组织联合制定的，因此国际电信联盟的h 2 6 4 a v c 被国际标准化 组织和国际电工委员会称为m p e g 一4 a v c 。 目前国际上的音频编码标准主要有m p e g 系列中的音频标准。m p e g 1 分为 三种不同的方式，称为l a y e r - 1 、l a y e r 2 以及l a y e r - 3 ，序号越高，复杂性越大，但 是可提供更好的编码效率，特别是在低比特率时。m p e g 音频标准继续向前推进， 产生出m p e g 2a a c ( a d v a l l c e da m d i oc o d i n g ，先进音频编码) 。直到今天它仍然 代表着具有h i f i 质量的音频信号编码的技术水平。在a a c 标准化之后，m p e g 开始了m p e g 一4 音频编码标准的工作，在a a c 标准基础之上进行了功能方面 的扩展。除此之外，还有d o l b y 实验室推出的a c 系列( a c 1 ，a c 一2 ，a c 3 1 以及了透明的e p a c ( e i l l l a i l c e dp e r c 印t u a la u d i oc o d i n g ，增强感觉音频编码) 、 a t r a c 3 和w m a ( w i n d o w sm c d i a a u d i o ) 等系统。 1 4 嵌入式流媒体发展概况 将流媒体技术应用于p d a 、手机等嵌入式设备面临着很多的技术难题，有限 的资源往往意味着很多方面技术的优化。首先，嵌入式设备往往是电池供电，所 以系统的功耗一定要低；其次，没有p c 上所能够使用的3 d 图像加速器、声卡 等硬件加速设备的支持；第三，不存在d h c t ) ( 、d i r e c t s h o w 等高层多媒体a p i 。 因此有必要设计适用于嵌入式系统的嵌入式处理器，嵌入式操作系统，视频、音 频解码器。目前，嵌入式流媒体应用主要有三种开发方法： 1 选择高性能处理器 比较成熟的应用有利用x s c a l e 实现流媒体播放功能 6 】。该方法选用了t e l 公司的p x a 2 5 5 作为便携式多媒体播放终端的处理器。该处理器是一个高性能、 低价格、低能耗的r j s c 处理器，具有d s p 处理能力的协处理器，采用5 3 3 m h z x s c a l e 内核( 可选6 6 7 m h z ) ，内部集成3 个高性能n p e f 网络处理器引擎1 。 2 利用专用解码芯片实现解码功能 比较常用的是利用a r m 9 2 0 t 以及专用解码芯片实现基于m p e g 4 的流媒体 技术 7 】。该嵌入式平台采用2 0 3m h z 的a r m 9 2 0 t 内核处理器s 3 c 2 4 1 0 b ，嵌入 式操作系统采用l i n l l ) ( 操作系统，而音、视频解码功能采用专用解码芯片来完成。 3 利用硬件加速器完成运算密集型操作 比较常用的方法是利用d s p 和a r m 实现流媒体播放【8 。应用数字信号处理 器和微控制处理器删9 核实现m p e g 4 视频简易框架和高级音频的实时解码。 a r m 9 微控制处理器从传输模块接收比特流，并将其传送到共享存储器，m p e g 一4 解码模块中的d s p 芯片作为硬件加速器完成运算密集型操作。 s 3 c 2 4 1 0 处理器采用了a r m 9 2 0 t 内核，o 1 8 u m 工艺的c m o s 标准宏单元 浙江大学硕士学位论文 巍存旗器攀元，为手掺设备秘一般类型凝鼹提供了低价格、低功耗、麓蛙小型 微控制器的解决方案，最高频率达到2 0 3 m h z 。为了降低整个系统的成本，本文 蹿在利用该处理器软件实现流媒体播放。 1 ，5本文工作 本文弱主要工传将奄捶三个方嚣戆内容：黄免，基于a 墓m 平台羚发穗应戆 引导加载程序、构建嵌入式l i n u x 操作系统；第二，针对触u v f 娥理器进行 m p e g 一4 视频解码、m p 3 音频解码的优化，并通过提出新的算法改进系统性能； 第三，鼹系统集或禚架豹礤究。兵薅安捺翅下： 第2 章介绍系统总体方案殿其中所涉及的各个技术环节，包括删处理器 继掏，r t p 艇疆c p 协议，r t s p 协议以及m p e g 4 视频解码、m p 3 音频解码选择 依据窥解磷流程等几个方面。 第3 章介绍了系统的具体蜜现，主要鼹在所采用的s 3 c 2 4 l o 开发平台上软件 系绞夔设诗实褒。惫糕a l t m 平台上开发霉| 导燕载程序、移攮毛 掇佟系统、 选择并加载合适的文件系统，以及流媒体播放系统集成框架的设计实现，并介绍 了音视频嗣步机制、线程问同步机制和功能扩展机制。 第4 耄主要奔缨本系统掰采蘑赘各释往纯方法，包括系统饶纯方法、越m 平台相关优化方法，m p e g 4 视频解码优化方法以及m p 3 音频解码优化方法， 并提出了一秘适用于嵌入式应翔的m p e g 4 块效戌滤波算法。同时绘出俊伲前是 的性雏眈较。 第5 章给出了系统测试平台以及测试结果。 燕6 章蕊缝窝袋蘩。 6 浙江大学硕士学位论文 第2 章流媒体播放器总体实现方案 图2 1 示出了流媒体播放器在网络环境下的位鼹，由于该系统的主骥目的是 能够铁服务器端获取多媒体数裕信息并且能够实时解码播放，而该服务器端可以 是存储了大量多媒体数据的犬裂服务器，也可以是其它资源相对鸯限但是能够提 供实时多媒体数据的终端，因此要求容户端和服务器端具有对等的通信协议以保 证双方豹露效通信。扶图中可以蓍出，滚媒体搔敖器终戈餐户蠖必须具毒能够接 收网络数据的硬件设备，必须其有网络传输控制协议t c p i p ，同时由于多媒体 数攥信患爨大，嚣魏需要实霹转输协议嚣即壤糟p 戳及露予控裁客户与滠务器之 间通信任务的实时流协议r t s p ，与此同时，由于接收的多媒体数据通常经过相 应的鹾缩簸理，爵既磐矮其有相应酶葫髓模块对音频数据、筏频数据遴行实时解 码并显示。 削2 1 流媒体网络结构 强2 2 给出了祷建流媒俸播敖器的体系缡构压，在硬件的选择上，选用消费 类电子领域比较常用a r m 处理器，黝为采用砌s c 架构的a r m 微处理器一般 具有体积小、低功耗、低成本、商性能等特点，非常适用于便携式产品。在系统 软转熬选择土，走予本系统震要并行实现多媒体数据憝接爱殴及解玛，并且出子 播放器的网络连接性，需要支持t c p i p ，r t p 瓜t c p 等多种网络传输协议，因此 在宠筏整令瘟愿系统之懿必须蠢稳定瓣撵终系统懿支持，淼猱终蓉统运行稳定之 后，樽在此之上创建整个应用稷序。在操作系统的选择上，本系统选用在嵌入式 领域应矮前景看好的嵌入式l 孙潮x 搡作系统，函为它楚一个多稻户、多任务操 作系统，支持分时处理和软实时处理，提供了先进的网络支持，内置代p ，球鼢 7 浙江大学硕士学位论文 议，并且具有开源、可裁减等特性，完全可以根据用户特定的需求进行重新定制。 在传输协议的选择方面，本系统采用实时传输协议r t p 肛淝p ，并选用具有双向 性的r t s p 协议控制会话的建立，多媒体数据的播放、暂停、结束等操作。由于 嵌入式系统以及流媒体系统的特定特性，在系统设计过程中需要考虑实时传输协 议实现、流媒体控制协议实现、音视频数据同步策略、任务间同步机制、视频解 码优化以及音频解码优化等技术环节。为了使系统能够有很好的扩展性，本系统 为不同多媒体压缩标准提供统一的接口。在系统优化方面，本文将主要提出在 a r m 平台上进行m p e g - 4 视频解码优化、m p 3 音频优化以及系统级优化等优化 方法。文章作者主要的工作集中在集成框架设计实现，l i n u x 操作系统创建以 及系统优化三个模块。 r t s p m p e g 4 ，| 酶n 铲 z 、 j m p 3 h 1 d e v d s o v r d e c o d 盯 r 1 w r t c p 弋7毒 系统调用接口 网络协议r r c p 肝) 文件系统 体系结构相关的代码 嚣 s 3 c 2 4 1 0 ( 含m m u ) 图2 2 流媒体播放器体系结构 2 1s 3 c 2 4 1 0 结构 a r m 微处理器目前包括a r m 7 、a r m 9 、a r m 9 e 、删1o e 以及s e c u r c o r e 等几个系列。a r m 9 系列微处理器在高性能和低功耗特性方面提供了最佳的性 能。它具有5 级整数流水线，提供了1 1 m i p s 肿h z 的哈佛结构，支持3 2 位a r m 指令集和1 6 位1 1 1 u m b 指令集，提供两者的切换机制，同时提供了支持3 2 位的 高速a m b a 总线接口，使得系统具有更好的扩展性。越t m 9 系列微处理器具有 全性能的m m u ，支持w i n d o w sc e 、l i n u x 、p a l mo s 等多种主流嵌入式操作系 统。具有m p u 支持实时操作系统，支持数据c a c h c 和指令c a c h e ，具有更高的 指令和数据处理能力。a r m 9 系列微处理器包含删9 2 0 t 、a 砌订9 2 2 t 和 a r m 9 4 0 t 三种类型，以适用于不同的应用场合。 s 3 c 2 4 1 0 是s 踟s l l l l g 公司推出的l6 3 2 位r j s c 处理器，图2 - 3 9 】给出了它 浙江大学硕士学位论文 静结擒捱强，该憝瑾器采瘸了众麟鳃0 t 鸯蔹，0 。1 8 勰工艺熬e 磁0 s 稼难宏单 元和存储瓣攀元，为手持设备秘一般类型应用提供了低价格、低功耗、离性能小 型微控制器的解决方案，同时为了降低整个系统的成本，s 3 c 2 4 1 0 提供了丰富的 内部设备，提供了分开的1 6 k b 的指令c a c h e 和1 6 k b 的数据c a c h e ，集成有 s u m 内存控制器、n a n df 1 a s h 控制器、8 d 卡控制器、u s bh o s t 、u 姻d e v i c e 控制器、泌封控裁器、| l e 慧线控裁嚣、l l s 控毒l 嚣、s 趣接日等等多耱按鏊，包 含了内部p l l 时钟倍颓器。颤于s 3 c 2 4 】o 结梅复杂，具有很多特性，漱予篇幅 的限制，本文将主要介绍在该平台上开发流媒体播放器所用到的一些基本特性： 1 体系络构 为手持设备和通用嵌入式应用提供片上集成系统解决方案 1 6 穆2 辍瓣s e 髂系结构嬲a 欺m 9 2 0 t 内核强大翰播令集 包含m m u ，可鞋使震虚毅襻赣系统，髓够支持w 掰c e 、e p o c3 2 鼓及l 秘雌 操作系统 指令高速存储缓冲器，数据高速缓冲器，写缓冲器和物理地址1 a gr a m 减 少主存锘宽和响应性带来的影响，同时减少了c a c h e 缺失带来的损耗 支持a r m 调试体系结构 内部离缀徽控赣慧线( 艄a 俸系绩穆 2 系统管联器 支持大，j 、端模式 总共1 0 的寻址空间 支持8 ，1 6 ，3 2 位数据总线带宽 获堍戚o 爨b 鼹繇都采强弱定豹锺k 起始寻缝 b a n k 7 菇有可编程的b a n k 的起始地址和大小 支持备种型号的r o m 引导( n o r n a n df l a s h ，e e p r o m ，或其他) 3 n a n df l a s h 启动引导 支持从n a n df l a s h 存储器的启动 采弱碡 国沟部缓冲爨进行痿淤弓| 导 支持瘸韵之焉n a n d 存储器仍然作为努部存馕器使用 4 c a c 存储器 6 4 项全相连模式，采用i ，c a c h e 和d c a c h e 每行8 字长度，其中每行带有一个有效位和两个d i n y 位 伪夔枫数或轮转循环替换舞法 采磊霹穷式或写瑟式c a c 辩嚣臻俸来更薮主存储器 写缓冲器可以保存1 6 个警的数据和4 个地址 5 l c d 控制器s t n l c d 显示特征 9 浙江大学硕士学位论文 支持三种类型的s t nl c d 显示屏，即4 位双扫描、4 位单扫描以及8 位单 扫描 支持单色模式、4 级、1 6 级灰度s t n l c d 、2 5 6 色和4 0 9 6 色s t n l c d 支持多种不同尺寸的液晶屏 6 i i s 总线接口 1 通道音频i i s 总线接口，可基于d m a 方式工作 发送和接收具备1 2 8 字节f i f o 串行，每通道8 1 6 位数据传输 7 工作电压 内核：1 8 v 图2 3s 3 c 2 4 1 0 框图 浙江大学硕士学位论文 存储器：3 3vs d r a 酝或蠢v d d = l 。s 垃。5 v 弱霹v d 蹰= 3 泌3v m o b i l es d r a m i o ：3 3 v 最高频率 最高可达2 0 3 m z 錾装 2 7 2 一f b g a 2 2r t p ，r t c p 协议及其多媒体应用 r t p ( r e a l m et r a n s p o np r o t o c 0 1 ) 提供实时数据的端到端传输服务，主要 惩子承载其窍实薮要交戆数擐，键是猢蛋著不是典甏豢义上夔簧竣瑟癸议，嚣 为首走，它并不其备一个典型佟输游议静所有特点，由予r t p 本身没蠢连接的 概念，所以它必须建立在底层的顾向连接的或无连接的传输协议之上：其二，该 协议本身不依赖于特别的地址格式；其三，r 1 p 不提供任何可靠性机制，而由传 输层协议或成爝程序保证传输的w 靠性，本身只能通过r t c p 控制协议安时监控 数据转输秘擞务度量。 2 2 1 视频打包格式 0l23 0123 咀56 t 8 9 0l2 3 4 5 6 t 8 9 0l2 34 石67 8 9 0l + 一+ 一十卜+ + 一+ 一+ 一+ 一+ + 一+ 一+ 一+ 一+ 一+ 一+ 。+ 一+ + + 一十一十一+ 斗+ 。+ 一+ 一+ 一+ 一+ 一+ ”仁2 i p l x | c c l m i p t s e q u e n c e 描强由e rir l p + 一一十一+ 一+ 十一+ 一+ 一+ + 一+ 一+ 卜+ 一p 十+ + + 卜+ 一一+ 一+ 一+ 一十+ 一一一+ 一+ lt i s t g 唪l 融聪# r + 一+ 一+ 一+ 一十一+ 一+ 一+ 一+ 一一+ 一+ + 一+ 一+ 一+ + 一l 一+ 卜+ 一十一+ 一十+ 一一+ 一+ 一+ 一+ ls y n c h r i z a t i o n $ o u r c e ( s 豫e ) i d e n t i f i o rl + = 斗= - 陋+ o + - 陋+ = + = + = + = + = + = + = 懒+ 2 + = + = + = + = 斗= + = k + = 斗管+ = 斗= + = 斗：+ = 斗= 斗= + = + i c o n t r i b u t i n g8 0 u r c e ( c s r c ) i d e n t “i e r s l 忙+ = + = 旧+ + = + = + = = 斗= 斗= + = 斗= + + = 4 尝+ = 斗= + = 斗= + = + = - k 斗_ 帐斗= + = k + = + = = + = + lir 黔辩q 鞋s u 丑l 敢r e ( 谤t ea l i 辨e 曲| 秽一 lll # 艇 l + + + + + 一- - + 一十卜巾+ + - + + + 一+ 一+ l：o p t l 0 眦r 弹p a d d i n g l + 一+ 一+ 卜+ 一+ 一卜+ 一+ 一十一十一+ 一十一十一+ 一十一十十+ 卜十一十一十一十卜十一+ 一