（计算机软件与理论专业论文）嵌入式流媒体中间件的研究.pdf

华南师范人学硕士学位论文 g s t r e a m e r 作为研究平台： ( 2 ) 分析了g s t r e a m e r 流媒体中间件系统的原理与结构，找出自适应缓存管理模块的 嵌入点以及相关的开发要点； ( 3 ) 对模块进行对象化设计，对国内外的各种网络流速预测算法进行分析以及综合比 较，结合嵌入式系统的特点，选取适用的算法并对其进行改进，同时根据预测数 据对流媒体缓存进行调整； ( 4 ) 模块在实现部署上的关键技术以及开发平台的介绍，以及相关算法的实现和实验 结果的分析等； ( 5 ) 最后总结了本课题的主要工作，提出了本课题的不足之处以及以后的进一步研究 拓展。 关键词：嵌入式；流媒体；中间件；g s t r e a m e r 嵌入式流媒体中问件的研究 r e s e a r c ho fe m b e d d e ds t r e a min gm e dlamid d l e w a r e a b s t r a c t m a j o r ：c o m p u t e rs o f t w a r ea n dt h e o r y n a m e ：x i a n gh u a g u a n s u p e r v i s o r ：f e n gg a n g w i t ht h ei n c r e m e n to fe m b e d d e ds y s t e m si np e r f o r m a n c ea n dt h ed e v e l o p m e n ts t r e a m i n g m e d i ab u s i n e s s , e m b e d d e ds t r e a m i n gm e d i ab u s i n e s si s b o o m i n g i na l la r e a s t h e d e v e l o p m e n to fm o d e mn e t w o r kt e c h n o l o g ym a k e st h en e t w o r km o r ep o p u l a r , av a r i e t yo f w e b - b a s e da p p l i c a t i o n sa r en ol o n g e rs t i c kt ot h el i m i t e db a n d w i d t ha n dt h el o w e rs y s t e m p e r f o r m a n c ed u et on e t w o r ks w i t c h i n g t h ed e v e l o p m e n to fc o m p n t e rh a r d w a r ea n ds o f t w a r e p r o v i d e s as o l i d s t r e a m i n g m e d i a p l a t f o r m ，w h i l e t h ef a s t e rn e t w o r k p r o v i d e s a c o m m u n i c a t i o ns u p p o r tf o rs t r e a mm e d i a r i c hc o n t e n ts e r v i c e s ，av a r i e t yo fc o m m u n i c a t i o n f o r m s ，a n do t h e rb e n e f i t s ，a r ep r o v i d i n gm o r er e v e n u e g e n e r a t i n gc h a n n e l s ，a n db r i n g i n ga n e wb u s i n e s sg r o w t hf o r t h ee n t e r p r i s e t of u r t h e rp r o m o t et h e d e v e l o p m e n to fs t r e a m i n gm e d i ab u s i n e s s ，t h e s ey e a r st h e r e s e a r c ho nt h es t r e a m i n gm e d i am i d d l e w a r es y s t e mi sa l s oo nt h er i s e s t r e a m i n gm e d i a m i d d l e w a r es y s t e mi sat h es t r e a m i n gm e d i ap r o c e s s i n gs o f t w a r es y s t e mw h i c hi sr u n n i n g b e t w e e nac o m p u t e ro p e r a t i n gs y s t e ma n du s e ri n t e r f a c el a y e r t h ea p p l i c a t i o no fm i d d l e w a r e s y s t e mi m p r o v e st h ed e v e l o p m e n te f f i c i e n c ya n ds o f t w a r ec o s ts a v i n g so fs t r e a m i n gm e d i a s o f t w a r e t h ec a c h em a n a g e m e n to fs t r e a m i n gm i d d l e w a r es y s t e mi sav e r yi m p o r t a n t f u n c t i o n ，w h i c hi sa f f e c t i n gt h ep e r f o r m a n c ea n du s e r ss e n s o r ye v a l u a t i o n r e s e a r c ho f c a c h i n gs y s t e mi sm o r ef o c u so nt h ee n t i r es y s t e m ，f r o mt h eb a c k e n ds e r v e rt of r o n t e n d s t r e a m i n gm e d i ap l a y e r - r e l a t e ds y s t e m s ，a n dp r o t o c o ld e s i g n e m b e d d e ds t r e a mm e d i as y s t e m n e e d st ot a k ei n t oa c c o u n tt h ec h a r a c t e r i s t i c so fe m b e d d e ds y s t e m s ，e s p e c i a l l yt h em e m o r y i i i 华南师范人学硕上学位论文 u s a g ee f f i c i e n c yr e q u i r e m e n t s s o t h et e r m i n a lf o re m b e d d e ds t r e a m i n gm e d i ac a c h e m a n a g e m e n tr e q u i r e sf u r t h e rr e s e a r c ha n di m p r o v e m e n t t h i sp a p e ri n d i c a t e st h en e c e s s i t yo fa d a p t i v es t r e a m i n gm e d i ac a c h em a n a g e m e n t m o d u l eb ya n a l y z i n gt h ec h a r a c t e r i s t i c so fe m b e d d e ds y s t e m sb a s e do nt h eg s t r e a m e r s t r e a m i n gm e d i am i d d l e w a r es y s t e m t h ea p p l i c a t i o no ft h em o d u l ei st oa c h i e v et h eb a l a n c e b e t w e e nt h eh i g h e rs t r e a m i n gm e d i as y s t e mm e m o r yu s a g ea n ds m o o t h e rp l a y b a c kb y a n a l y z i n ga n dp r e d i c t i n go f u n d e rt h en e t w o r ke n v i r o n m e n t t h ef o l l o w i n gw o r k sh a v eb e e n d o n ei nt h i sp a p e r ： ( 1 ) c h o o s et h eg s t r e a m e rs t r e a m i n gm i d d l e w a r eb a s e do no p e ns o u r c ea sar e s e a r c hp l a t f o r m b yc o m p a r i n gav a r i e t yo fc h a r a c t e r i s t i c s o fc o n t e m p o r a r y p o p u l a rs t r e a m i n g m e d i a m i d d l e w a r es y s t e m ； ( 2 ) f i n do u tt h em a i np o i n to fa d a p t i v ec a c h em a n a g e m e n tm o d u l ea n dt h eo t h e ra s s o c i a t e d d e v e l o p m e n tp o i n t sb ya n a l y z i n gt h eo ft h et h e o r ya n ds t r u c t u r e sg s t r e a m e rs t r e a m i n gm e d i a m i d d l e w a r es y s t e m s ； ( 3 ) d e s i g nm o d u l eb a s eo nt h eo b j e c t o r i e n t m a k eac o m p r e h e n s i v ec o m p a r i s o na m o u n ta v a r i e t yo fd o m e s t i ca n di n t e m a t i o n a ln e t w o r kf l o wa n a l y s i sa n dp r e d i c t i o na l g o r i t h m s a n d t h e ns e l e c tt h ea p p r o p r i a t ea l g o r i t h ma n dt oi m p r o v ei t t o g e t h e rw i t ht h e e m b e d d e d c h a r a c t e r i s t i c so ft h e s y s t e m m e a n t i m e ，a d j u s t s t h em e d i ac a c h i n gw i t hp r o j e c t i o n s c o n v e c t i o nd y n a m i c a l l y ； ( 4 ) i n t r o d u c et h ed e p l o y m e n ta n dt h ek e yt e c h n o l o g ya n dd e v e l o p m e n tp l a t f o r mo ft h e m o d u l e ，a n di m p l e m e n t a t i o no fr e l e v a n ta l g o r i t h m sa n da n a l y s i sr e s u l t so fe x p e r i m e n t a l ； ( 5 ) f i n a l l y , s u mu pt h em a j o rw o r ko ft h i st o p i c , p r e s e n t e dt h es h o r t c o m i n g so ft h i st o p i ca n d f u r t h e rs t u d i e sa f t e rt h ee x p a n s i o n k e yw o r d ：e m b e d d e d ；s t r e a m i n gm e d i a ；m i d d l e w a r e ；g s t r e a m e r 1 v 目录 摘要 a b s t r a c t 目录 第1 章绪论 1 1 国内外研究现状 1 2 课题理论和实际应用意义 1 3 课题研究背景和主要内容 1 4 论文的组织结构 1 5 本章小结 第2 章流媒体技术框架概述 2 1 流媒体中间件概述 2 2 微软的流媒体开发框架d i r e c t s h o w 2 3 开源的n m m 网络流媒体中间件 2 4 功能强大的g s t r e a m e r 流媒体中间件系统 2 5 本章小结 第3 章基于g s t r e a m e r 流媒体中间件框架结构 3 1g s t r e a m e r 的诞生 3 2g s t r e a m e r 的基本概念 3 2 1 组件( e l e m e n t s ) 3 2 2 箱柜( b i n s ) 和管道( p i p e l i n e s ) 3 2 3 衬垫( p a d s ) 3 2 4 缓冲区( b u f f e r s ) 和事件( e v e n t s ) 3 3g s t r e a m e r 插件系统一j 3 3 1 元件与插件 3 3 2 构建插件：o 3 4g o b j e c t 对象系统 3 4 1 类型( g t y p e ) 与对象( g o b j e c t ) 3 4 2 对象的定义与实现 3 4 3 信号的定义和应用 3 5 本章小结 第4 章自适应缓存管理模块的研究与设计 4 1g s t r e a m e r 在嵌入式应用的若干问题 4 1 1 嵌入式系统的内存管理特点 4 1 2g s t r e a m e r 存在的不足及改进方案 4 2 网络流速预测 v 华南师范火学硕士学位论文 4 2 1 自回归加权平均算法2 2 4 2 2 课题算法理论基础2 3 4 2 3 算法改进及应用2 4 4 3 缓存分配2 7 4 4 自适应缓存管理模块设计2 7 4 5 本章小结：2 9 第5 章自适应缓存管理模块的若干关键实现3 0 5 1g s t r e a m e r 开发环境的搭建及相关库移植3 0 5 1 1 建立交叉编译环境3 0 5 1 2g s t r e a m e r 支持库的移植：3 0 5 2 模块的实现3 l 5 2 1 网络流速预测算法的实现3 1 5 2 2 模块工作流程3 1 5 3 模块的部署。3 3 5 3 1 模块的单独调试3 3 5 3 2 模块的整体部署与测试3 3 5 4 实验结果及分析3 4 5 4 1 网络流速预测算法精度分析3 5 5 4 2 缓存使用效率分析3 6 5 5 本章小结3 7 第6 章总结与展望3 8 参考文献：3 9 在学期间研究成果4 2 致谢4 3 v i 嵌入式流媒体中问件的研究 第1 章绪论 1 1 国内外研究现状 现在，国内对于面向桌面计算机系统的流媒体中间件的研究正处于高速发展阶段， 但是对于嵌入式流媒体中间件的研究则比较少。目前，学者大多这对现有的流媒体中间 件作局部优化，得到性能更好、应用性更集中的中间件系统。文献参考了微软的 d i r e c t s h o w 基本框架，通过分析d i r e c t s h o w 的优缺点，提出了s t r e a m i n g w a r e 中间件 系统的设计思想。整个系统分成两部分即基础框架和系统服务，通过实现r t p r t c p 协 议从而增强了d i r e c t s h o w 的网络功能，提供了对流媒体数据传输中的q o s 和实时性的 支持。文献心1 同样是采用了微软d i r e c t s h o w 实现了一个中问件框架，该中i 白j 件增加一个 网络过滤器n e t f t t l i e r ，完成节点间的媒体数据传输和控制信息传输。节点间的控制利 用c o m 分布式组件技术以及w e bs e r v i c e 思想，组件间通信方式采用x m l + s o c k e t 的方 式。系统服务的实现基于r t p r t c p 协议，以求系统实时性和q o s 的实现。 文献3 结合中间件技术以及c c m 构件技术，提出了一种基于c c m 的多媒体中间件架 构p e r m m 。此架构能够为普适环境中的多媒体应用开发提供架构上的标准以及系统级的 支持，提高应用开发的质量与效率。同时设计了基于c c m 的流传输模型以及基于c o r b a 的异步消息处理模型，并能够较好地解决普适环境中多媒体数据传输以及系统消息处理 的问题。文献h 1 设计的流媒体中间件系统将电子邮件、即时通信( i n s t a n t m e s s a g e s ) 和 互联网语音业务( v o i p ) 等多个功能集成到一起，为用户提供一个方便、快捷的通讯软件 终端。该系统使用了基于会话初始协议( s i p ) 协议，通过系统的集成，对应程序提供统 一管理的a p i 。 在嵌入式系统中间件方面，国内也有相关的研究。流媒体系统中，因为涉及至l 数据 传输的实时性，所以通信模块是一个非常重要的模块。嵌入式通信中间件也是一个比较 热门的研究领域，国内也有不少这反面的研究。文献畸1 比较了传统分布式系统中的中间 件和移动分布式系统中的中间件的特征，对上下文感知的相关技术作了讨论，给出了一 个上下文信息交互模型，应用在反射式中间件c a r m 设计中。并且论述了通过反射可以 华南师范大学硕：b 学位论文 支持上下文感知，进而达到重配置与自适应。最后在吸收了d y n a m i c t a o ，c a r i s m a ，r e m m o c 等反射中间件优点的基础上，提出了一个基于上下文感知的反射式中间件架构c a r m ，通 过反射达到上下文感知。在关键模块自适应引擎的设计中，给出了一个策略选择算法， 解决了策略冲突的问题。文献1 在嵌入式通信中间件的基本架构基础上，主要研究了其 路由层的算法和协议。针对嵌入式资源有限和对等网络的特点，结合马尔可夫决策过程， 采取分布式和本地决策的路由算法，分别构建了基于马尔可夫有限阶段决策模型的解决 嵌入式系统互连的单播、动态单播、组播和q o s 路由问题的改进模型，并提出了相应的 算法m f h d r 、d m f h d r 、m m r h d r 和m o o s r ，从而解决了嵌入式网络对简单的命令传递、组 播和q o s 媒体流等信息传输的问题。同时，对数据包的排队与调度问题进行了研究，提 出了一种划分数据包优先级的方法和基于此优先级的m g 1 排队算法，分析了模型的理 论性能指标，给出了排队调度的系统流程和策略。 在流媒体缓存上的研究也较为热门，现国内对这方面的研究也有很多特点，但大都 着眼于结合服务器和终端的整体设计。文献。1 提出了一种可以根据对先前数据的统计所 得结果预测用户在移动网络系统单元中的移动趋向的新算法，包括c a c h e 块排定算法和 s a a 3 搜索算法。文献2 1 引入统计窗概念，提出自适应统计窗缓存算法，采用周期性缓存 决策方法管理缓存的流媒体数据，同时采用区分优先级缓存策略和冗余释放策略提高算 法性能。 国外在流媒体中间件的研究起步较早，而且研究的范围较广，从桌面计算机系统到 嵌入式系统以及其他专用计算机系统，都有相关方面的研究报告。国外学术界有很多人 对流媒体中间件做了大量的研究，如i t u 的r m o d p ，i s o 的p r e m o 都提供了关于流媒 体中间件的标准。但是这些都是比较抽象的架构级的规范，没有形成工业标准。但是目 前的流媒体中间件都或多或少的参考了这些标准规范。如基于c o r b a 扩展而来的 t o a s t ( t o o l k i tf o ro p e na d a p t i v es t r e a m i n gt e c h n o l o g i e s ) ；l i n u x 平台上的一个成 熟的开放源码n m m ( n e t w o r k i n t e g r a t e dm u l t i m e d i am i d d l e w a r e ) 等。 r m - o d p 为开放分布式处理提供了一系列的概念和规则，为开发分布式系统定义了一 个基本体系结构，并从不同的角度来描述开放分布式处理系统以及永远下层支持的模型 等相关概念。r m - o d p 是分布式处理的“元标准 ，很多现有的中间件规范都继承了它的 理念，如c o r b a 和d c o m 。目前大多数的流媒体中间件都或多或少的参照了这个标准。它 定义了三个基础的但强大的概念：对象，流接口，绑定。 2 嵌入式流媒体中间件的研究 i s o 的多媒体对象的显示环境p r e m o ，是i s o 的流媒体中间件标准。与r m - o d p 一样， 它是一个规范描述，没有提供实现方法。p r e m o 描述了基本的对象模型。p r e m o 的对象 模型与其他组件技术意义是接口与实现独立的模式。接口用于描述控制交互和流交互。 基础组件和服务包括如回调，事件，时钟，同步，控制器，简单p r e m o 对象，高级p r e m o 对象等组件和服务、建模，显示和交互组件描述一些用于高级应用的组件。其中多媒体 系统服务( m u l t i m e d i as y s t e ms e v r i e e ，简称m s s ) 是p r e m o 的核心。m s s 定义了一个中 间件以支持异构分布式环境下的多媒体应用。m s s 的基本架构与r m ：o d p 的计算视点类 似，也包含三个基础的概念：虚拟设备，端口，虚拟连接。大致对应于r m o d p 的对 象，流接口，绑定对象。 文献口1 介绍了一种多媒体中间件框架t o a s t ( t o o l k i tf o ro p e na d a p t i v es t r e a m i n g t e c h n o l o g i e s ) ，该中问件为分布式多媒体系统开发提供了一个面向组件的框架。t o a s t 不仅提供了基于c o r b a 的r m - o d p 的实现，而且提供了基于组件形式的p n p ( 即插即用) 机制的通用多媒体编程开发框架。t o a s t 完全使用c o r b ai d l 语言，使其更加能够跨越 平台和语言的界限。 文献陋1 介绍了另外一种开源的多媒体中间件的实现n 删( n e t w o r k i n t e g r a t e d m u l t i m e d i am i d d l e w a r e ) 。通过对r m o d p 和p r e m o 标准的参考，以及对多种多媒体中 间模块的分析，如：t o a s t 、m c a 等等，从全方位的考虑，提出了n m m 这一中间件。n m m 将整个多媒体系统分成了以下几个模块：节点( n o d e ) 、端口( j a c k ) 、缓存( b u f f e r ) 和格式( f o r m a t ) 。其中节点可以是某个具体的多媒体设备如播音器，或者是一个功能 处理模块如音频解码等，每个节点可以有两种类型的端口( j a c k ) ，分别是输入和输出， 但可以只拥有其中的一种，不同节点间的端口可以通过绑定实现一条互相通信的通道。 在节点通道之间传输的数据是带有一定格式的( f o r m a t ) ，一条通道的两端需要事先协 定好在通道上传输的格式，而数据处理中则会使用到各种缓存( b u f f e r ) 。可见；n m m 实现了对底层网络的屏蔽，使得应用程序无需关注系统运行的网络环境，对于网络操作 中的一些列协定都做了自动化的处理，方便了流媒体应用程序的开发。 1 2 课题理论和实际应用意义 本课题以开源跨平台的流媒体中间件g s t r e a m e r 为基础，对其在嵌入式应用存在的 问题给予改进。 g s t r e a m e r 是一个创建流媒体应用程序的框架。其基本设计思想来自于俄勒冈 3 华南师范人学硕i ：学位论文 ( o r e g o n ) 研究生学院有关视频管道的创意，同时也借鉴了d i r e c t s h o w 的设计思想。 g s t r e a m e r 的程序开发框架使得编写任意类型的流媒体应用程序成为了可能。在编写处 理音频、视频或者两者皆有的应用程序时，g s t r e a m e r 可以让你的工作变得简单。 g s t r e a m e r 并不受限于音频和视频处理，它能够处理任意类型的数据流。管道设计的方 法对于实际应用的滤波器几乎没有负荷，它甚至可以用来设计出对延时有很高要求的高 端音频应用程序。 g s t r e a m e r 框架是基于插件的，有些插件中提供了各种各样的多媒体数字信号编译 码器，也有些提供了其它的功能。所有的插件都能够被链接到任意的已经定义了的数据 流管道中。g s t r e a m e r 的管道能够被g u i 编辑器编辑，能够以x m l 档来保存。这样的设 计使得管道链接库的消耗变得非常少。g s t r e a m e r 核心库函数是一个处理插件、数据流 和媒体操作的框架。g s t r e a m e r 核心库还提供了一个a p i ，这个a p i 是开放给程序员使 用的一当程序员需要使用其它的插件来编写他所需要的应用程序的时候可以使用它。 凭借着开源的优势，g s t r e a m e r 的应用及发展迅速，已经由当初的一个小小的多媒 体处理开发框架发展成了今天的能够在多平台上运行的流媒体中间件系统，通过世界各 地的编程爱好者的贡献，逐步实现了对r t p 协议的支持。现在很多主流的媒体播放器都 采用了该中间件，如著名的媒体播放器m p l a y e r 等。 尽管g s t r e a m e r 的迅速发展使得该中间件的日益完善，但是当其应用在嵌入式系统 时将会出现各种问题，其中某些问题也将会影响到其性能的发挥。本课题意在针对 g s t r e a m e r 在嵌入式系统应用过程中出现的内存管理问题进行分析与解决，通过设计一 个内存管理插件，使得流媒体中间件系统在运行时获得更高效的内存使用率，同时得到 较为流畅的播放效果。内存是嵌入式系统中及其珍贵的资源，对内存进行合理使用，提 高内存使用率就是提高了软件在嵌入式系统中的性能。 流媒体业务是从i n t e r n e t 上发展起来的一种多媒体应用，指使用流( s t r e a m i n g ) 方 式在网络上传输的多媒体文件，包括音频、视频和动画等。流媒体应用的一个最大的好 处是用户不需要花费很长时间将多媒体数据全部下载到本地后才能播放。而仅需将起始 几秒的数据先下载到本地的缓冲区中就可以开始播放，后面收到的数据会源源不断输入 到该缓冲区从而维持播放的连续性流媒体技术应用的最大特点是媒体节目边缓存、边播 放，内容的获取和内容的播放同步进行。其最大的好处是，用户不用花费很长时间将多 媒体数据全部下载到用户终端后再播放而只要将起始的数据先下载到用户终端的缓冲 4 嵌入式沉蜾体中间件的研冗 区中就可以播放，后面收到的数据会源源不断输入到缓冲区从而维持播放的连续性。 近几年来，基于宽带有线网络的流媒体技术应用获得了长足发展，基于移动通信网络的 流媒体技术也日益走向成熟。 嵌入式流媒体业务是指普通桌面系统上的业务通过定制使其能够在嵌入式系统上 开展的一项业务，随着网络功能的升级和3 g 技术的推广，嵌入式流媒体特别是移动流 媒体业务成为了3 g 新的业务核心。从短信到彩信、彩e 、彩铃、手机游戏等，移动增值 业务的种类日益丰富。但总体来看，当前移动通信网络提供的主要是以图像和文字为主 的静态内容。随着移动通信网络向3 g 逐步演进，融合声音、文字、图像多种形态，为 用户提供更为有声有色的手机电视、视频点播等移动流媒体业务应用，成为移动增值业 务发展的必然趋势。 嵌入式流媒体在未来几年将是一个研究热点，其应用也将是前所未有的火爆，研究 高性能的嵌入式流媒体中间件可以提高嵌入流媒体应用程序的开发效率，对嵌入式流媒 体业务的发展具有深刻的意义。 1 3 课题研究背景和主要内容 论文主要内容是通过分析g s t r e a m e r 的基本结构，结合嵌入式系统的特点，对 g s t r e a m e r 体系进行优化，使其更加适合在嵌入式系统中使用。由于嵌入式系统硬件资 源较少，对软件设计要求较为苛刻，特别是内存资源的珍贵，更加要注重内存的使用。 论文一开始介绍中间件以及流媒体的相关概念和流媒体中间件的国内外研究状况， 然后简要介绍当今流行的各种流媒体中间件开发框架的关键技术，接着重点介绍了 g s t r e a m e r 流媒体中间件的基本结构以及嵌入式系统的特点，进而提出g s t r e a m e r 在嵌 入式系统上使用时需要优化的模块，并对这些模块进行优化设计，包括这些模块的实现 机制和算法等，最后点出进一步的工作重点。 对于嵌入式系统来说，应用终端上的研究显得更为重要，本课题主要针对g s t r e a m e r 的缓存管理特点，结合嵌入式系统的特性，提出了缓存管理模块的优化设计方案以及相 关算法的研究。 1 4 论文的组织结构 论文共分六章： ： 第1 章介绍了论文研究背景、嵌入式流媒体中间件研究的意义、国内外研究现状以 5 华南师范大学硕士学位论文 第2 章 第3 章 及论文的组织结构等。 主要介绍了当今流行的各种流媒体中间件系统的基本理论 优缺点的比较和分析，进而引出了本课题的研究基础。 主要介绍了g s t r e a m e r 流媒体中间件系统的基本结构以及 并结合嵌入式软件的特点，提出了g s t r e a m e r 在嵌入式应用存在的问题以及 相关的改进方法。 第4 章对g s t r e a m e r 流媒体中间件的分析，。提出了其在嵌入式系统应用中的改进， 通过对其音视频缓存使用进行了分析，从而对嵌入式系统资源要求的自适应 缓存管理模块以及相关算法的设计。 第5 章分别对模块整体设计和相关算法进行了实现以及测试，通过实验数据验证了 模块以及相关算法的可行性和有效性。 第6 章总结全文，并指出自己所做的工作、以及本系统需要完善的环节和系统需要 进一步改进的地方。 1 5 本章小结 本章主要对课题所涉及的研究领域内的研究进展做了介绍，通过对大量文献的分 析，对当前嵌入式流媒体中间件的研究状况做了总结。本章从课题研究内容的实际应用 以及说明了研究的意义，并说明了研究课题所具备的背景和研究的主要内容，最后点出 了论文撰写的组织结构。 6 嵌入式流媒体中间件的研究 第2 章流媒体技术框架概述 2 1 流媒体中间件概述 中间件是介于应用系统和系统软件之间的一类软件，它使用系统软件所提供的基础 服务( 功能) ，衔接网络上应用系统的各个部分或不同的应用，能够达到资源共享、功 能共享的目的。目前，它并没有很严格的定义，但是普遍接受i d c 的定义：中间件是一 种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资 源，中间件位于客户机服务器的操作系统之上，管理计算资源和网络通信。从这个意义 上可以用一个等式来表示中间件：中间件= 平台+ 通信，这也就限定了只有用于分布式系 统中才能叫中间件，同时也把它与支撑软件和实用软件区分开来。 伴随着嵌入式i n t e r n e t 时代的到来，嵌入式设备与网络结合，实时自动的互换信 息已经慢慢的发展起来。更有甚者，随着通信技术的不断更新，嵌入式系统之间、以及 嵌入式系统与其他系统之间的交互业务发展更加迅猛。这就对嵌入式系统的分布式计算 提出了要求，即嵌入式系统之间的协同工作、嵌入式系统与普通桌面系统之间的协同工 作的需求日益普遍。但由于各种原因，应用系统之间甚至同一个应用系统之内都存在着 很大的异质性。因此，为了解决在由众多不同的嵌入式系统( 不同的体系结构、不同 的微处理器、不同的支撑软件、不同的接口协议) 所构成的分布异构的动态网络环境下 产生的多嵌入式系统跨平台应用的互连和互操作问题，嵌入式中间件便应运而生。 流媒体是指在网络中使用流式传输技术的连续时基媒体，例如：音频、视频、动画 或其他多媒体文件。流媒体应用的一个最大的好处是用户不需要花费很长时间将多媒体 数据全部下载到本地后才能播放，而仅需将起始几秒的数据先下载到本地的缓冲区中就 可以开始播放，后面收到的数据会源源不断输入到该缓冲区，从而维持播放的连续性， 因此流媒体播放器通常只是在开始时有一些时延。流媒体系统要比下载播放系统复杂得 多，所以需要将多媒体的编解码和传输技术很好地结合在一起，才能确保用户在复杂的 网络环境下也能得到较稳定的播放质量。流媒体为了解决带宽问题以及缩短下载时间， 而采用了较高的压缩比，因此用户感受不到很高的图像和声音质量。流媒体技术是把连 7 华南师范大学硕：卜学位论文 续的影像和声音信息经过压缩处理后放到网络服务器上，让浏览者一边下载一边观看、 收听，而不需要等到整个多媒体文件下载完成就可以即时观看的技术。实际上流媒体技 术是网络音视频技术发展到一定阶段的产物，是一种解决多媒体播放时网络带宽问题的 “软技术 。流媒体技术并不是单一的技术，它是融合很多网络技术之后所产生的技术， 涉及到流媒体数据的采集、压缩、存输以及网络通信。 随着通信技术的更新与提高，特别是3 g 时代的到来，使得嵌入式系统与外界互联 的网络带宽有了非常大的提高，进一步刺激了嵌入式系统新业务的发展，例如嵌入式流 媒体业务等。嵌入式系统与普通的桌面系统相比之下，对软件的要求比较苛刻，比如说 嵌入式系统软件需要注意嵌入式资源的使用、要求软件设计短小精悍等，同时在某些应 用还要考虑更严谨的实时性。嵌入式系统比桌面系统的种类更多，平台差异性更大，因 此一种能够适应多平台开发的中间件可以大大提高嵌入式软件的开发效率。因此，嵌入 式流媒体中间件的研究对于嵌入式流媒体业务的发展有着巨大的推动作用。 2 2 微软的流媒体开发框架d i r e c t s h o w d i r e c t s h o w 是微软公司提供的一套在w i n d o w s 平台上进行流媒体处理的开发包，与 d i r e c t x 开发包一起发布。目前，d i r e c t x 最新版本为1 0 o 。那么，d i r e c t s h o w 能够做 些什么呢? d i r e c t s h o w 为多媒体流的捕捉和回放提供了强有力的支持。运用 d i r e c t s h o w ，我们可以很方便地从支持w d m 驱动模型的采集卡上捕获数据，并且进行相 应的后期处理乃至存储到文件中。它广泛地支持各种媒体格式，包括a s f 、m p e g 、a v i 、 d v 、m p 3 、w a v e 等等，使得多媒体数据的回放变得轻而易举。另外，d i r e c t s h o w 还集成 了d i r e c t x 其它部分( 比如d i r e c t d r a w 、d i r e c t s o u n d ) 的技术，直接支持d v d 的播放， 视频的非线性编辑，以及与数字摄像机的数据交换。更值得一提的是，d i r e c t s h o w 提供 的是一种开放式的开发环境，我们可以根据自己的需要定制自己的组件。以下( 图2 - 1 ) 是d i r e c t s h o w 的系统示意图： g r a p h 的模型来管理整个数据流的处理过程；参与数据处理的各个功能模块叫做f i l t e r ： 各个f i l t e r 在f i l t e rg r a p h 中按一定的顺序连接成一条“流水线协同工作。按照功 能来分，f i l t e r 大致分为三类：s o u r c ef i l t e r s 、t r a n s f o r mf i i t e r s 和r e n d e r i n g f i l t e r s 。s o u r c ef i l t e r s 主要负责取得数据，数据源可以是文件、因特网、或者计算 机里的采集卡、数字摄像机等，然后将数据往下传输；t r a n s f o r mf i t l e r s 主要负责数 据的格式转换、传输；r e n d e r i n gf i l t e s 主要负责数据的最终去向，我们可以将数据送 给声卡、显卡进行多媒体的演示，也可以输出到文件进行存储。值得注意的是，三个部 分并不是都只有一个f i l t e r 去完成功能。恰恰相反，每个部分往往是有几个f i t l e r 协 同工作的。比如，t r a n s f o r mf i l t e r s 可能包含了一个m p e g 的解码f i l t e r 、以及视频 色彩空间的转换f i l t e r 、音频采样频率转换f i l t e r 等等。除了系统提供的大量f i l t e r 外，我们可以定制自己的f i l t e r ，以完成我们需要的功能。下图是一条典型的a v i 文件 回放f i i t e rg r a p h 链路： 在d i r e c t s h o w 系统之上，我们看到的，即是我们的应用程序( a p p l i c a t i o n ) 。应 用程序要按照一定的意图建立起相应的f i l t e rg r a p h ，然后通过f i l t e rg r a p hm a n a g e r 来控制整个的数据处理过程。d i r e c t s h o w 能在f i l t e rg r a p h 运行的时候接收到各种事 件，并通过消息的方式发送到我们的应用程序。这样，就实现了应用程序与d i r e c t s h o w q 华南9 币范大学硕i ：学位论文 系统之间的交互。 2 3 开源的n m m 网络流媒体中间件 n m m ( n e t w o r k i n t e g r a t e dm u l t i m e d i am i d d l e w a r e ) 是可以在l i n u x 、w i n d o w s 、m a c 以及其他操作系统上运行的网络流媒体中间件。其统一的架构提供了一种简单和易于使 用的应用程序接口，集成的多媒体功能。n m m 是由m o t a m a 公司和德国的萨尔大学计算机 图形学实验室联合研发的成果，是一款开源的，能够在各种通用以及专用系统运行的流 媒体中间件。 n m m 中间件系统的主要元素包括节点、通道和数据流。系统将所有的多媒体设备或 者软件功能模块看作节点，每个节点完成各种具体的功能。节点具有输入、输出端口， 节