（信号与信息处理专业论文）基于windows+ce的视频点播客户端设计.pdf

电子科技大学硕士论文 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示谢意。 签名：日期：2 0 0 4 年2 月2 6 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论 文的规定，有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 日期：2 0 0 4 年2 月2 6 日 电子科技大学硕十论文 摘要 互联网的迅猛发展和普及为流媒体业务发展提供了强大的市场动力，流媒 体业务f 变得日益流行。流媒体技术广泛用于多媒体新闻发布、网络广告、电 子商务、视频点播、远程教育、远程医疗、网络电台、实时视频会议等互联网 信息服务的方方面面，它的应用将为网络信息交流带来革命性的变化，对人们的 工作和生活将产生深远的影响。 本文介绍了w i n d o w sc e n e t 操作系统的特性和丌发工具，以及实时协议 r t p 在流媒体技术中的作用和实现，结合d i r e c t s h o w 技术在i n t e l 公司的s i t s a n g 开发板上实现了视频点播。第一章介绍了流媒体的概念和使用的操作系统 w i n c e 及调试工具。第二章介绍了d i r e c s h o w 技术和实时协议r t p 。第三章介 绍了软件的框架和设计模式。第四章介绍了软件的实现过程，重点介绍了软件丌 发的前期准备以及实现中的几个重要模块。 关键词：流媒体、w i n d o w sc e 、r t p 、r t c p 、d i r e c s h o w 电子科技大学硕士论文 a b s t r a c t w i t ht h ei n t e r n e t s r a p i dd e v e l o p m e n t a n dp o p u i a r i z a t i o n o f f e r i n g t h e s t r e a mm e d i at e c h n o l o g ys t r o n gp o w e r , t h es t r e a mm e d i at e c h n o l o g yb e c o m e s m o r ea n dm o r e p o p u l a r i t i su s e d w i d e l y i nt h ei n t e r n e tc o m m u n i c a t i o n s e r v i c e , j u s ta sm u l t i m e d i an e w sr e l e a s e ，n e t w a r ea d ，e l e c t r o n i cc o m m e r c e ，v i d e o o n d e m a n d ，r e m o t ee d u c a t i o n ，r e m o t e m e d i c a l t r e a t m e n t , r e a l t i m e v i d e o c o n f e r e n c e ，e t c i t s a p p l i c a t i o n w i l lt a k e r e v o l u t i o n a r yc h a n g e s f o rt h ei n t e r n e t c o m m u n i c a t i o na n de n h a n c e sa n d i m p o v e sp e o p l e sl i f ea n d w o r k r e m a r k a b l y t h ei s s u ei n t r o d u c e sc h a r a c t e r i s t i ca n d d e v e l o p m e n tt o o l s o fw i n d o w s c e n e to p e r a t i n gs y s t e ma n dt h ef u n c t i o na n dr e a l i z a t i o no ft h er e a l t i m e p r o t o c o l - - - - - - - r t p w i t ht h e s ea n dd i r e c t s h o wt e c h n o l o g y , w er e a l i z ev o d o n i n t e l ss i t s a n ge v a l u a t i o nb o a r d i nf i r s tc h a p t e r t h ei s s u ei n t r o d u c e st h ec o n c e p t o ft h es t r e a mm e d i aa n dt h ew i n c eo p e r a t i n g s y s t e m a n dd e v e l o p m e n t t o o l s i nt h es e c o n d c h a p t e r , i t s t u d i e sd i r e c t s h o w t e c h n o l o g y a n dr t p p r o t o c 0 1 t h e n ，t h ef r a m e w o r ka n dd e s i g nm o d eo ft h es o f t w a r ei sp u tf o r w o r d i nt h e3 t hc h a p t e ra n dt h er e a l i z a t i o no ft h es o f t w a r e ，e s p e c i a l l ye m p h a s e st h e p r e c e d i n gp r e p a r a t i v ea n ds e v r a li m p o r t a n tm o d u l e s a r ei n t r o d u c e di n t h e4 t hc h a p t er k e y w o r d ：s t r e a mm e d i a ，w i n d o w sc e 、r t p 、r t c p 、d i r c c s h o w 3 电子科技大学硕士论文 第一章引言 伴随计算机网络技术和通信技术的迅速发展，传统的网络应用( 如文件传输 ( ftp ) 、电子信箱( em ai l ) 、远程登录( te 1 1 3 e t ) 等) 已经不能满足 人们f 益增长的需要，集音频、视频和共享数据于一身的多媒体网络通信成为新 型应用的热点。多媒体网络通信中，要求不仅能实时传送声音和图像，而且也可以 传送文本、图表和相关实物等各种静止图像信息和相关的活动图像信息。目前， inter 1e t 上多媒体通信应用有多媒体电视会议、远程教育、多媒体信息 检索、视频点播等。多媒体网络通信具有实时性、连续性、集成性、交互性及大 数据量的特点。在目前的多媒体网络通信应用中，我们还需解决许多问题，如：时 延、带宽、数据安全、服务质量( qos ) 等问题。传统协议已经不能满足多媒体 网络中的实时通信要求。为了解决int erne t 上多媒体通信所面临的问题 ietf 一一i n t e r n e t 工程任务组( i n t e r n e t e n g i n e e r i n g t a s k f o r c e ，) 制定了实时传输协议( rtp ) 和实时传输控制协议( rtcp ) 。而移动终端的迅 猛发展，又为多媒体通信注入了新的内容和活力。当前，实现在移动终端h 的视 频点播正成为新的热点和趋势。怎样实现两者的有机结合是业内的热点话题， 1 1 流媒体 1 1 1 流媒体的发展概况 当今，作为第四媒体的网络正在带给人们的是各种各样的信息，不再只是单纯文 本、图像和简单的声音文件，而是包含音、视频的多媒体技术，包括电影、新闻 剪辑电台、广播电视、网络游戏甚至虚拟宠物。想要使用这些多媒体信息，就必 须实现视频、音频信息在网络上的传输，于是面临的是另外一种不可避免的馗尬： 诈是人们需求的不断提高，上网人数的趋增，而网络硬件设备的本身局限性，使 得文件的大小成为网络传输一个不可忽视的参数。一方面，人们希望能在网络上 看到生动清晰、活泼精彩的媒体演示，另一方面人们又不得不去面对如此慢的网 络速度下文件传输所需的大量时间。为了解决这种矛盾，一种新的媒体技术应运 而生，这就是”流媒体( s t r e a mm e d i a ) 技术”，流媒体又叫流式媒体。 流媒体可以说是网络发展的必然结果，也是未来网络发展的全新推动力。美 国研究顾问公司的j a f f r a y d 在最近的报告中指出，宽带网络的逐渐普及、流媒体 内容的增加、电视和电脑互通性的增加以及人们对休闲娱乐要求等，都将促使流 电子科技大学硕士论文 媒体产业的发展，他认为2 5 年之后，网络媒体的声音和影像品质都将达到目前 电视媒体的影音水准，但比电视更强的是，网络观众将可以拥有更多的自主权和 选择权，而不再是被动的接收者。i n t e r n e t 的发展，决定了流媒体市场的广阔发 展前景。流媒体技术及其相关产品将广泛应用于远程教育、网络电台、视频点播、 收费播放等。所以，各相关厂商彼此间展开了激烈的竞争。据预测，到2 0 0 4 年 流媒体市场将呈现巨大的收入潜能，其中为消费者服务将创收90 亿美元。 i n t e r n e t 的迅猛发展和普及为流媒体业务发展提供了强大的市场动力，流媒 体业务正变得f t 益流行。流媒体技术可以广泛用于互联网多媒体新闻发御、网上 路演、在线直播、网络广告、网络视频广告、电子商务、视频点播、远程教育、 远程医疗、网络电台、实时视频会议等互联网的信息服务领域。流媒体技术的应 用将为网络信息交流带来革命性的变化；对人们的工作和生活将产生深远的影 响】。 1 1 2 流媒体系统概述 所谓流媒体是指采用流式传输的方式在i n t e r n e t i n t r a n e t 播放的媒体格 式，如音频、视频或多媒体文件。流媒体在播放前并不下载整个文件，只将刀始 部分内容存入内存，在计算机中对数据包进行缓存并使媒体数据正确的输出。流 媒体的数据流随时传送随时播放，只是在开始时有一些延迟。显然，流媒体实现 的关键技术就是流式传输，流式传输主要指将整个音频和视频( a v ) 及三维( 3 d ) 媒体等多媒体文件经过特定的压缩方式解析成一个个压缩包，由视频服务器向用 户计算机顺序( 严格说来，是一种点播技术) 或实时传送。在采用流式传输方式的 系统中，用户不必像采用下载方式那样等到整个文件全部下载完毕，而是只需经 过几秒或几十秒的启动延时即可在用户的计算机上利用解压设备( 硬件或软件) 对压缩的a v 、3 d 等多媒体文件解压后进行播放和观看。此时多媒体文件的剩余 部分将在后台的服务器内继续下载。与单纯的下载方式相比，这种对多媒体文件 边下载边播放的流式传输方式不仅使启动延时大幅度地缩短，而且对系统缓存容 量的需求也大大降低，极大的减少用户用在等待的时间。总的来说，流媒体就是 指在网络上便用流式传输技术的连续时基媒体。 流媒体与常规视频媒体之间的不同在于，流媒体可以边下载边播放，流的重 要作用体现在可以大大节省时间，由于常规视频媒体文件比较大，并且只能下载 下来后才能播放，再加上下载需要很长的时间，妨碍了信息的流通。当然，流媒 体也支持在播放前完全下载到硬盘。 电子科技大学硕士论文 流媒体与平面媒体之间的不同，流媒体最大的特点在于互动性，这也是互连 网最具吸引力的地方。在宽带的基础上，流媒体不仅是单向的视频点播，还能够 提供真正互动的视频节目，比如互动游戏、三维动画、大容量聊天室等等。其次 流媒体的适用性，网络给人类带来了巨大的信息资源。对于整个人群，信息是丰 富的，但对于个人来说，传统媒体的在同一时间内以点对面的”广播”方式，很难 保证受众能够接收到希望接受的信息，因为受众之间的知识水平、文化修养、个 人情趣是千差万别的。与此形成鲜明对照的是网络传播的流媒体对于受众来蜕具 有各耿所需的多种适用性，使人们享受到个性化服务，这些均是平面媒体所不能 比拟的。 1 2w l n d o w sc e 1 2 1 w i n d o w sc e 简介 w i n d o w sc g 是一个具有抢占式多任务功能，并具有强大通信能力的嵌入式操作 系统。w i n d o w sc e 是微软专门为信息设备，移动应用，消费类电子产品，嵌入 式应用等非p c 领域新设计的战略性操作系统产品。 1 2 2w i n d o w sc e 主要功能 w i n d o w sc e 的设计目标是：模块化及可伸缩性，实时性好，通信能力强大， 支持各种c p u 。从操作系统内核的角度看，w i n d o w sc e 具有灵活的电源管理功能， 包括睡眠唤醒模式。在w i n d o w sc e 中，还使用了对象存储技术，包括文件系统， 注册表及数掘库。它还具有很多高性能，高效率的操作系统特性，包括按需换页， 共享存储，交叉处理同步，支持大容量堆等。 从操作系统内核看，w i n c e 具有良好的电源管理功能。它还具有良好的通信 能力。w i n c e 的图形用户界面也很出色，同时内置了多媒体功能。于之相配套的， 它有良好的应用开发工具，如平台编译工具p l a t f o r mb u il d e r ，应用程序丌发工 具e m b e d d e dv is u a lc + + 等等。 w in d o w sc e 拥有良好的通信能力。它广泛支持各种通信硬件，办支持直接 的局域网连接以及拨号连接，并提供与p c ，内部网和i n t e r n e t 的连接，包括用 于应用级数据传输的设备至设备之间的连接 w i n d o w sc e 的图形用户界面相当出色。它拥有基于m i c r o s o f ti n t e r n e t e x p l o r e r 的浏览器，此外，还支持t r u e t y p e 字体。w i n d o w sc e 开发人员可以利 电子科技火学硕十论文 用丰富灵活的控件库在w i n d o w sc e 环境下为嵌入式应用建立各种专门的图形用 户界面。 w i n d o w sc e 是一个多任务的操作系统，可以同时执行多个任务，并在他们 之间来回切换，这其实就象是个简化的w i n d o w s 版本，可以通过我们熟悉的 w i n d o w s 操作方式来控制w i n d o w sc e ，它也带有“我的文挡”，也有很多软件如 p o c k e tw o r d ，p o c k e te x c e l 等。 w i n d o w sc e 。n e t 是w i n d o w sc e 3 。0 的后继产品。w i n d o w sc e 为嵌入式市 场而设计，为快速建立下一代智能移动和小内存占用的设备提供了一个健壮的实 时操作系统。w i n d o w sc e 。n e t 具备完整的操作系统特性集包和端对端开发环境， 它包括了定制设备所需的一切，例如：联网能力，实时性和小内存占用以及多媒 体和w e b 浏览功能。 1 2 ，3w i n d o w so e 实时功能 实时操作系统( r e a l t i m eo p e r a t i n gs y s t e m ，简称r t o s ) 是完全的实时 系统( 包括硬件，操作系统和应用程序) 的一部分，它必须满足特定的系统要求。 r t o s 必须提供足够的功能来满足系统的需要。 w i n d o w sc e 的实时性有如下的一些特点： 高达2 5 6 的优先级数，更小粒度的控制嵌入式系统的调度机制和应用程序的 执行速度。 定时器精确到l 毫秒。 可以独立于时间定时器为每个单独的线程定义时间片。 具有嵌套式中断支持。 具有优先级反转处理。 对信号量支持。 o e m 可配置的c p u 独立模式为电源驱动的设备降低电源消耗。 1 2 ，4 嵌入式系统支持 1 2 4 1 高度模块化，系统可配置 嵌入式操作系统的一大特点就是可裁减，可配置，w i n d o w sc e 这一特性很 明显，它具有个很小的核n k ，基本只实现调度，内存管理和核心a p i ，他们构 电子科技火学硕十论文 成了一个整体，其余大部分功能都在单独的模块中实现。例如文件系统 ( f i l e s y s e x e ) ，图形用户界面( g w e s e x e ) ，设备管理( d e v i c e e x e ) ，服务 管理( s e r v i c e e x e ) 等等，在这些大模块内部，良好的结构也支持更细粒度的 模块化。在w i n d o w sc e 中，没一个功能模块可以称之为一个特性。这些特性是 可以独立的也可能有一些依赖关系，w i n d o w sc e 专门提供了开发工具管理这些 特性，并且可以跟踪这些特性，于是，开发者可以通过一些一定的手段选择些 特性进行组合，生成一个开发用的原型系统，而背后的模块组织，编译，装配等 工作也可以由这些工具完成。 系统的配置可以在p l a t f o r mb u i l d e r 中完成。开发者可以通过它望系统配 置中添加或者删除特性，之后就是用系统创建工具实现这个配置，使之成为一个 可实际运行的系统镜像。 1 2 4 2 系统易于向其他硬件平台迁移 多平台支持是嵌入式操作系统的一个重要特色，一般来蜕，多系统支持需要 在两个层面实现：( 1 ) 系统体系机构，这主要是对处理器的支持。( 2 ) 目标计算 机的组成，这主要靠驱动来实现。 w i n d o w sc e 支持的处理器家族主要包括a r m 系列，i n t e lx 8 6 系列，i p s 系列咀及s h 系列。对应用丌发系统来说，系统迁移主要是实现b s p ，使得系统 可以支持专门用于该系统的底板以及相关设备。 1 2 5 w i n d o w sc e 开发工具 开发工具是wjn d o w sc e n e t 的重要组成部分，w i n d o w sc e 的开发工具功能 强大和完善，在使用上也方便易用，主要有以下几个重要的开发工具： 1 2 5 1 p l a t f o r mb u i l d e r p l a t f o r mg u i l d e r 用于构建基于w i n d o w sc e 操作系统的嵌入式平台，辅助 丌发个特定特定硬件平台的w i n d o w sc e 操作系统和基本应用环境。从工具的角 度看，这是一个集成丌发环境，包括了基本的文本编辑能力，多目标编泽调试工 具包，特定编辑器，s d k 导出工具，向导工具以及用于测试，性能分析的多个工 具包。下面列表给出了p 1 a t f o r mb u i l d e r 中包含的丌发工具： 1 新建平台向导帮助创建一个新的平台。 2 b s p 向导使创建一个板级支持包( b s p ) 更简单有效。 3 目录列出了可以用来制定平台的操作系统特性。 4 自动的依赖性检查保证支撑一个平台的所需特性都被包含到操作系统镜 电子科技大学硕十论文 像中。 5 导出向导向其他p l a t f o r mb u i l d e r 用户导出用户的目录特性。 6 基本的配置提供了创建用户o s 的开始点。 7 ，i n d o w sc et e s tk i t 提供了一个驱动测试的集合。 8 内核调试器用来调试用户0 s 镜像并且提供测评镜像性能的信息。 9 应用程序调试器用来在已定制的0 s 镜像上调试应用程序。 1 0 远程工具执行在w i n d o w sc e 目标设备上的各种调试和信息收集任务。 l1 仿真器通过模拟硬件加速简化了开发工作，它允许用户在开发平台上测 试o s 和应用程序。 1 2 导出s d k 向导帮助用户定制一个软件开发工具包( s d k ) ，可安装到 e m b e d d e dv i s u a lc + + 上支持应用程序丌发。 使用p l a t f o r mb ui id e r 集成开发环境 图1 1 描述了用p l a t f o r mb u i l d e r 创建w i n c e 平台的流程： d c l ：u q 口l a f f o n n c u d o m i z ep ；a t l 一 一一_ 。- _ 一 b o y j 辨d 叫o 口n 垤瞎二详 l j ：二= 二一 f 一_ _ c r e 畦e0 r d d c u s t or 8 佰a t u r e s 日u d o s i m a g e 图l 一1 平台定制流程 创建一个基于m i c r o s o f tw i n d o w sc e n e t 的操作系统，必须完成以下几个 主要步骤： 翌 电子科技大学额士论文 1 用带标准开发扳( s d b ) 配置的w i n c e 创建平台。 2 添加工程和目录特性定制平台。 3 编译o s 镜像，下载到s d b 里，用i d e 的调试工具来调试平台镜像。 4 为即定目标设备创建引导程序和板级支持包( b s p ) 5 再用新的b s p 编译o s 镜像，把它下载到目标设备，并调试平台。 6 平台调试完毕，为应用程序开发者导出软件开发包( s d k ) 。 1 2 5 2 w i n d o w sc e a p p l i c a t i o nf r a m e w o r k s 这个工具的核心是e m b e d d e dv i s u a lc ，它具有和v i s u a lc + + 6 相同的 特性，包括对m f c ，a t l 以及c o m d c o m 的支持，应用程序向导，编译调试等多种 功能。因为这种相似性似的传统的v c 开发人员可以比较容易的转入嵌入式领域 做应用丌发。但是，在开发w i n d o w sc g 程序时必须首先考虑程序将运行在哪种 平台处理器上，要了解硬件平台的配置。丌发者所使用的s d k 会考虑到平台r 。 处理器的特性。由于w i n d o w sc e 是一个模块化的操作系统，源设备厂商i + 选 择特定的模块与组件来配置w i n d o w sc e 设备。 安装相应的s d k 可针对具体设备进行开发，且每个s d k 都有一个基于桌面 的目标平台仿真器，用于应用程序的调试。仿真器是在设备上开始应用程序调试 之前原型化与调试应用程序极好的工具。 典型的w in d o w sc e 应用程序开发周期首先是为选择的仿真器进行编译( 必 须为仿真器做一次特殊的编译) 。接着，尽可能在仿真器中完整地测试并调试应 用程序。最后，当确信应用程序准备好了时，将它下载到目标设备中并重复上述 过程。在目标设备上的调试是相当耗时的，所以在仿真器上调试有利于程序卅发。 s d k 当前提供的一些工具是： 1 r e m o t ef i l ev i e w e r ( 远程文件浏览器) ，c g 设备的一个基于桌而的 e x p o r e r 2 r e m o t eh e a pv i e w e r ( 远程堆栈浏览器) ，它允许浏览设备上的堆栈分 配信息。 3 r e m o t ep r o c e s sv i e w e r ( 远程处理浏览器) ，c e 的一种基于桌面的任 务管理器 4 r e m o t er e g is t r yg d i t o r ( 远程注册表编辑器) ，它允许编辑c 【、发备 的注册表 5 r e m o t es p y + + ( 远程侦查) ，允许在c e 设备上查看类信息和各种窗l - q ( 包括隐藏的和活动的) 的信息 堕兰型垫盔堂堡主鲨塞 一 6 r e m o t ez o o m i n ，一种用于截取运行在设备上的程序屏幕的工具。 1t 2 5 3 e m u l a t o r e m u l a t 。r 是桌面w i n d o w s 系统上的一个应用程序，它可以运行经过特定编 译处理的w i n d o w sc e n e t 系统。e m u l a t o r 提供了相当多的硬件特性模拟，例如 显示，声音，u s b 接口，网络等等。它和p l a t f o r m b u i l d e 以及e m b e d d e d v is u a l c + + 均n 集成在- - n ，通过k i t l 可调试器相连充当目标平台。这样，开发者就可 以脱离实际硬件开发调试，测试基于w i n d o w sc e n e t 的应用，当硬件平台和i 基本操作系统环境建造完成后，这个应用几乎不用修改就可以很好的工作。这使 得大大缩短了开发周期。 1 2 ，6 硬件平台：s i t s a n g 开发板概述 本项目的硬件平台采用i n t e l 提供的s i t s a n g p x a 2 5 0 评估板，是为 i n l e l x s c a l e 处理器专门定制的系统开发平台 电子科技大学硕+ 论文 图卜2sit s a n g p x a 2 5 0 评估板框图 s i t s a n g 提供了如下特性使应用开发变的容易：6 4 m b y t e s 同步动态存储器 s d r a m ，3 2 m b y t e s 启动只读存储器b o o t r o m , 3 2 m b y t e s 闪存f l a s hm e m o r y ，一 个c f 卡插槽，触摸屏面板控制器，多媒体数字信号编解码器及麦克风、耳机， 东芝液晶显示器及支持其它液晶显示器的接口，u s b 接口，1 2 c 总线通信接口， 标准的微处理系统l a n 9 1 c 9 6 以太网控制器，脉冲宽度调制控制器，红外线接口， 支持蓝牙的u a r t 串行接口，一个数字存储卡或者是多媒体卡插槽， 个专门为 开发者设计的扩展槽，精准的电压度量处理内核，3 2 个分离的发光二极管( l e d ) 及为应用程序设计的1 6 进制编码开关，一个5 个方位的手柄和两个按钮，电 源开关键及g p i o ( g e n e r a lp u r p o s ei o ) 复位开关，加速度感应器。s i t s a n g 板处理器与i o 设备之间的所有通信都是通过p x a 2 5 0 的i o 口实现。图1 2 详细描绘了s i t s a n g 板的结构体系和数据流 x s c a l e 简介 s i t s a n g 板的核心技术是英特尔x s c a l ep x a 2 5 0 嵌入式微处理器，基于 a r m v 5 t e 体系结构，支持高度集成、高性能、低功耗的便携式手持设备。可用于 手机、便携式终端( p d a ) 、网络存储设备、骨干网( b a c k b o n e ) 路由器等。其 体系结构如图卜3 示核心采用了英特尔先进的0 1 8um 工艺技术制造，具备 低功耗特性，适用范围从0 1 m w 1 6 w 。工作频率为2 0 0 4 0 0 m h z ，加强了微处 理器速度的管理，加快了多媒体处理的速度。并支持8 0 2 1 1 b 及蓝牙技术、u s b 接口，采用p b g a 封装方式。支持s e c u r ed i g i t a l 和c o m p a c t f l a s h 扩展技术， 还有电源管理功能，可以根据处理器所执行的任务来调节其耗电量。最后，超低 功率与高性能的组合使英特尔x s c a l e 非常适用于互联网接入设备，英特尔的微 型结构还支持高带宽的p c i 规范，给内存控制器和网络接口提供一个高整合低 能耗的 o 输出与网络传输。网络基础设施制造商可使用x s c a l e 核心束提高 新一代路由器和交换机的密度、编程能力和处理能力。其主要针对下一代高性能 的p d a 市场。支持视频流、m p 3 、无线互联网存取以及其他边缘领先技术。 电子科技大学硕士论文 _ _ _ _ _ _ _ _ _ _ _ - - _ _ _ _ - _ _ _ _ _ _ - _ _ - _ _ _ _ _ _ _ _ _ _ - - 一 图1 - - 3 x s c a l e p x a 2 5 0 体系结构图 电子科技大学硕士论文 第二章流媒体基础 2 1 流媒体技术原理 流媒体传输的是多媒体数据，这些数据大多数是事先经过特定处理，并按照 规定的网络协议传送的。流媒体的互动性特点决定了流媒体可以是单播、广播、 点播和组播播放方式，而不能够任意传播给网络服务器。 流式传输的实现途径 首先，多媒体数据进行预处理后才能适合流式传输，这是因为目前的网络带 宽对多媒体巨大的数据流量来说还显得不够。数据预处理主要包括两方面：一是 降低多媒体的质量；二是采用先进高效的压缩算法。在不同流媒体平台上的传输 的数据压缩算法是不相同的，并且能根据不同的网络环境进行不同的预处理。 其次，流式传输的实现需要缓存。这是因为i n t e r n e t 以包传输为基础进行连续 的异步传输，对一个实时a v 源或存储的a v 文件，在传输中它们要被分解为- q ： 多包，由于网络是动态变化的，每个包选择的路由可能不尽相同，故到达客 户端的时间延迟也就不等，甚至先发的数据包还有可能后到。为此，使用缓存系 统来弥补延迟和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续 输出，而不会因为网络暂时阻塞使播放出现停顿。通常高速缓存所需容量并不大。 这是因为高速缓存使用环行链表结构来存储数据：通过丢弃已经播放的内容，” 流”可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。 再次，流式传输的实现需要合适的传输协议。万维网( w w w ) 技术是以超级 文本传输协议( h t t p ) 为基础的，而h t t p 又建立在传输控制协议( t c p ) 协议基 础之上。由于t c p 需要较多的开销，故不太适合传输实时数据，在流式传输的实 现方案中，般采用h t t p t c p 来传输控制信息，而用r t p u d p ( 用户数据协议) 来传输实时声音数据。在实时流传输时利用实时传输协议r t p ( r e a 卜t m o t r a n s p o r tp r o t o c 0 1 ，用于i n t e r n e t 上针对多媒体数据流的一种传输协议) 、 实时传输控制协议r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c o l ，和r t p 一 起提供流量控制和拥塞控制服务) 、实时流协议r t s p ( r e a l - t i m es t r e a m n g p r o t o c o l ，定义了一对多的应用程序如何有效地通过i p 网络传送多媒体数据) 。 除上述协议之外，流媒体技术还包括对于流媒体类型的识别。这主要是通过多用 途i n t e r n e t 邮件扩展( m u l t i p u r p o s ei n t e r n e tm a j e x t e n s i o n s ，m i m e ) 进行 的。它不仅用于电子邮件，还能用来标记在i n t e r n e t 上传输的任何文件类型。 电子科技大学硕士论文 2 2d l r e c t s h o w 简介 微软d i r e c t s h o w 是微软w i n d o w s 平台上的流式媒体体系结构。d i r e c t s h o w 提供媒体流的高质量的捕捉与回放。它支持多种格式，包括高级流格式( a s f ) ， 活动图片专家组格式( m p e g ) ，音频一视频交叉格式( a v i ) ，第三层m p e o 格式( m p 3 ) 和w a v 文件格式。他也支持使用w i n d o w s 驱动模型( w d m ) 设备或老的w i n d o w s 视频设备的捕捉。d i r e c t s h o w 与其他d i r e c t x 技术集成于一体，自动感觉和使 用视频和音频硬件加速，同时也支持没有硬件加速的系统。d j r e c t s h o w 简化了 媒体回放，格式转换和捕捉任务。同时，他还为要求客户方案的应用提供对潜在 的流控制体系的访问。 d i r e c t s h o w 简化了媒体回放，格式转换和捕捉任务。同时，他还为要求客 户方案的应用提供对潜在的流控制体系的访问。你还可以建立自己的i r e c t s h o w 控件以支持新的格式和客户效果。 f 面是d i r e c t s h o w 的结构框图： d i r e c t s h o w $ 9 s t e mq u e r u i e w 图2 1d i r e c t s h o w 系统架构 由上图可知，d i r e c t s h o w 分为三个层次，自上向下依次为：应用层，过滤 器管理层和过滤器层。它将多媒体数据解码的各个环节进行分解，每个环节砹i | j 为一个c o m 对象，称为过滤器( 过滤器) 。每个过滤器完成数据解码中一部分 电子科技人学硕士论文 相对独立的功能，这样体现了模块化的原则。多个过滤器通过过滤器中的管脚 ( p i n ) 连接在一起形成过滤图，并通过过滤图管理器( 过滤器g r a p h m a n a g e r ) 来管理。过滤图和过滤图管理器都以标准的c o m 对象形式存在，对外提供c o m 访问接口，拥护可以使用这些c o m 对象及其接口实现多媒体数据的解码和回 放，并对回放过程施加必要的控制。 d i r e c t s h o w 支持播放来自不同源的文件和流，包括本地文件，本地c d 和 d v d 驱动器，以及基于w d m 模型或则v f m 标准的视频采集设备。对于许多 媒体格式，d i r e c t s h o w 提供了压缩和解码的过滤器，以及许多第三方的与 d i r e c t s h o w 兼容的软硬件解码器。用户可以在应用程序中访问底层的流控制结 构，同时，还可以利用d i r e c t s h o w 自行开发支持新格式和特效的过滤器。对于 许多程序来说，d i r e c t s h o w 已经提供许多通用的过滤器，简化了开发者的工作。 媒体文件或则流的播放，录制，捕获，广播和处理都是通过一个称为过滤图 ( 过滤器g x a p h ) 的结构中连接一个或多个过滤器实现的，按照功能来分，过滤 器火致分为三类：源过滤器s 、t r a n s f o r m 过滤器s 和r e n d e r in g 过滤器s 。源 过滤器s 主要负责取得数据，数据源可以是文件、因特网、或者计算机里的采集 卡、数字摄像机等，然后将数据往下传输；t r a n s f o r mf i t l e r s 主要负责数据的 格式转换、传输；r e n d e r i n gf i i t e s 主要负责数据的最终去向，我们可以将数 据送给声卡、显卡进行多媒体的演示，也可以输出到文件进行存储。值得注意的 是，三个部分并不是都只有一个过滤器去完成功能。恰恰相反，每个部分往往是 有几个f i t l e r 协同工作的。比如，t r a n s f o r m 过滤器s 可能包含了一个m p e g 的解码过滤器、以及视频色彩空间的转换过滤器、音频采样频率转换过滤器等等。 除了系统提供的大量过滤器外，我们可以定制自己的过滤器，以完成我们需要的 功能。下图是一条典型的a v i 文件回放过滤器g r a p h 链路： 审国j 一霉 图2 2d i r e c t s h o w 过滤图 建立过滤图的过程是由应用程序完成或着是由图构造器( g r a p hb u l i d e r ) 或 过滤图管理器自动完成的，而对于后一种完成方针而言，应用程序无须了解 电子利技大学硕士论文 d i r e c t s h o w 过滤图的内部工作机制，诸如增加过滤器，连接针，设置同步源等 细节都由过滤图管理器和过滤器及针( p i n ) 本身来处理。 管脚( p i n ) 能处理在过滤器之间数据传输的细节问题，它有方向性( 输入 或者输出) ，并且在图中和特定的过滤器相关连。上行过滤器的输出管脚连接到 下行过滤器的输入管脚。管脚在两个过滤器初始连接时就协商媒体类型，一旦 力、 商好，只要过滤图运行，管脚就会协商如何传输数据的细节问题。 出于d i r e c t s h o w 结构是基于c o m 的，所以表现出以下的良好特性： ( 1 ) 数据获取，解码和回放功能相当独立每个功能能被独立的替换，使 得结构具有良好的可扩展性和灵活性，能对不同的数掘文件格式进行 解码； ( 2 ) 构件可重用，继承和扩展，单个构件的扩展对应用程序的其他部分没 有影响： ( 3 ) 具有良好定义的接口，对不同开发者的构件可以方便连接； ( 4 ) 界面是公共定义的，一个界面可以被其他对象使用，其他对象不用，：f 1 道具体细节； ( 5 ) 界面一旦定义就不会改变。至少有一组基本界面来实现定义的功能， 但可以增加其他界面来实现额外的功能； ( 6 ) ； 面是可查询的。所以的c o m 界面都支持q u e r yi n t e r f a c e 方法： ( 7 ) c o m 界面由输出它的对象实现，界面自身并不实现它们。 2 3 流传输协议 2 3 1 实时协议r t p r t p 是一种提供端对端传输服务的实时传输协议，用来支持在单目标广播和 多目标广播网络服务中传输实时数据，而实时数据的传输则由r t c p 协议来监视 和控制。 r t p 定义在r f c1 8 8 9 中。信息包的结构包含广泛用于多媒体的若干个域， 包括声音点播( a u d jo o f t d e m a n d ) 、影视点播( v i d e oo i ld e m a n d ) 、因特网电话 ( i n t e r n e tt e l e p h o n y ) 和电视会议( v i d e o c o n f e r e n c i n g ) 。r t p 的规格没有列声 音和电视的压缩格式制定标准，它可以被用来传输普通格式的文件。例如，w a v 或者o s m ( g l o b a ls y s t e mf o rm o b i l ec o m m u n i c a t i o n s ) 格式的声音、m p e g 一1 和 电子科技大学硕士论文 m p e g 一2 的电视，也可以用来传输专有格式存储的声音和电视文件。 使用r t p 协议的应用程序运行在r t p 之上，而执行r t p 的程序运行在u d p 的上层，目的是为了使用u d p 的端口号和检查和。如图2 3 所示，r t p 可以看成 是传输层的子层。由多媒体应用程序生成的声音和电视数据块被封装在r t p 信息 包中，每个r t p 信息包被封装在u d p 消息段中，然后再封装在i p 数据包中。 一。一1 。1 1 1 “。 1 t c p i p 模型i ： ! 应用层( a p p l i c a t i o n ) l 传输i r t p 层 【5 d i i p 数据链路层( d a t a1i n k ) 物理层( p h y s i c a l ) 图2 3r t p 是传输层上的协议 从应用开发人员的角度来看，可把r t p 执行程序看成是应用程序的一部分，因为 开发人员必需把r t p 集成到应用程序中。在发送端，丌发人员必需把执行r t p 协议的程序写入到创建r t p 信息包的应用程序中，然后应用程序把r t p 信息包发 送到u d p 的套接接口( s o c k e ti n t e r f a c e ) ；同样，在接收端，r t p 信息包通过u d p 套接接口输入到应用程序，因此开发人员必需把执行r t p 协议的程序写入到从 r t p 信息包中抽出媒体数据的应用程序。 一一一。，- 一 1 。_ 。一一1 1 ”。】 ；t c p f l l p 模型 l j l j 一一 _ 一l j 一， 应用层( a p p li e a t i o n ) 套接接l j “一一。- u d pi 一一。l 一。一一。 i i p i 数据链路层( d a t a 电子科技大学硕七论文 。1 。1 。一。一一 物理层( p h y s i c a l ) ； ，l 一一 图2 4r t p 和u d p 之间的接口 现以用k t p 传输声音为例来说明它的工作过程。假设音源的声音是6 4k b s 的p c m 编码声音，并假设