（通信与信息系统专业论文）基于omap平台的流媒体传输技术在家居环境中的应用研究.pdf

y 8 3 , 1 3 1 i 摘要 随着信息技术的飞速发展，智能小区和智能家居离百姓的距离越来越近“数字化”正 逐步改变人们的生活。在家居控制设备日渐丰富的今天，需要加大力度对家居网络及多媒体 终端设备的研究和开发，以满足住户对家居多媒体信息服务的需求。 本文相关流媒体传输技术的应用研究以“智能家居多媒体终端”的研究和开发为项目背 景。多媒体终端是智能家居系统中的重要一环，在实现家居的信息化和智能化的过程中将扮 演着重要的角色。由于流媒体的实时性和网络带宽的自适应能力强，使其在家居环境领域受 到了很火的关注。流媒体技术包括：流媒体数据采集、视音频编解码、存储、传输、播放等 领域。由于视音频解码技术已经基本成熟，流媒体播放并不是目前流媒体技术的重点。相对 而言，如何以合适的方式进行流媒体的传输以及对服务质量进行有效的控制成为很多应用场 台实现的关键因素。 在智能家居多媒体终端的相关业务中，均涉及到了流媒体的传输技术，因此流媒体传输 和相关q o s 反馈控制技术是实现智能家居多媒体终端的关键。 本文首先介绍了流媒体技术的基本概念和基础协议，研究了带宽资源的分配原则、r t c p 包传送时间间隔算法、o o s 参数的动态监测，深入探讨了o o s 动态反馈机制，并进行了相应的 仿真模型的建立和仿真工作。接着进行了基于o m a p 系统的智能家居多媒体终端的整体方案 设计工作，包括系统硬件平台和系统软件架构的的设计。最后详细地介绍了多媒体终端实现 中涉及到的关键技术及其实现过程。具体包括底层操作系统m o n t a v i s t al i n u x 的嵌入式移植、 双核通信d s p b i o sl i n k 机制的实现、r t p r t c p 网络协议模块功能的实现，同时我们还简要 介绍了交叉编译和调试过程。 关键词：智能家居多媒体终端流媒体r t p r t c p 传输技术0 m a p 嵌入式m n u x 国“s z 住夏工段 a b s t r a c t a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , i n t e l l i g e n c ez o n ea n dr e s i d e n c ec o m e n e a rt op e o p l e ，t h e d i g i t a l ”i sg r a d u a l l yc h a n g i n gp e o p l e l sl i v ew a y s b a s e do nt h e i n t e l l i g e n t h o m em u l t i m e d i at e r m i n a l ”p r o j e c t w ed ot h ea p p l i e dr e s e a r c h0 1 3t h es t r e a mm e d i at r a n s m i s s i o n t e c h n o l o g y m u l t i m e d i at e r m i n a lp l a y sa ni m p o r t a n tr o l e i nt h ei n f o r m a t i o nr e a l i z a t i o na n d i n t e l l i g e n tp r o c e s s e so f r e s i d e n c e s t r e a mm e d i ai st i m e l i n e s sa n dw i t ht h es t r o n ga u t o - a d a p t e da b i l i t yt ot h ec h a n g eo ft h e n e t w o r kb a n dw i d t h , w i t ha b o v em e r i t s ，i th a sr e c e i v e dv e r yb i ga t t e n t i o ni nt h eh o m ee n v i r o n m e n t d o m a i n s t r e a mm e d i at e c h n o l o g yi n c l u d e s ：d a t ag a t h e r s ，a vc o d e & d e c o d e ，s t o r a g e ，t r a n s m i t s a n dp l a y i n g b e c a u s et h em a t u r eo f a vc o d e & d e c o d et e c h n o l o g y , t h es t r e a mm e d i a sp l a y i n gi s n t t h ef o c a lp o i n tt o d a y i nr e l a t i v e l y , h o wt ot r a n s m i tt h es t r e a mm e d i ai nt h ea p p r o p r i a t ew a ya n d c o n t r o lt h eq o si nt h ee f f e c t i v ew a yb e c o m et h ee s s e n t i a lf a c t o ri nv e r ym a n ya p p l i c a t i o n s s i t u a t i o n t h ea p p l a t i o n so nt h e ”i n t e l l i g e n th o m em u l t i m e d i at e r m i n a l ”a l lr e l e a t e dt ot h es t r e a mm e d i a t r a n s m i s s i o n s ot h et r a n s m i s s i o no fs t r e a mm e d i aa n df e e d b a c kc o n t r o lo fq o sc o m et ot h ek e y w h e nw er e a l i z e dt h et e r m i n a l f i r s t l y , w ei n t r o d u c e d b a s i cc o n c e p t sa n df o u n d a t i o np r o t o c o l so ft h es t r e a mm e d i a t e c h n o l o g i e s s e c o n d l y , w ed os t u d i e so i lt h eb a n dw i d t hr e s o u r c e sa s s i g n m e n tp r i n c i p l e ，t r a n s m i s s i o n t i m e - g a pa l g o r i t h mo fr t c pp a c k e t s ，q o sp a r a m e t e r l sd y n a m i cs u r v e y s t h e nw ed i s c u s s ei nt h e q o sd y n a m i cf e e d b a c km e c h a n i s m ，s e t u pt h es i m u l a t i o nm o d e la n dd os o m ee x p e r i m e n t st ot e s t t h ea l o g r i t h mw ep r o p o s e d t h i r d l y , w ed ot h eo v e r a l lp r o g r a m m ed e s i g no f t h e “i n t e l l i g e n th o m em u l t i m e d i at e r m i n a l i t i n c l u d e ss y s t e mh a r d w a r ea n ds o f t w a r ep l a t f o r mf r a m e w o r kd e s i g n f i n a l y ，w ei n t r o d u c et h ek e y so fh o w t or e t a s i z et h et e r m i n a li nd e t a i l i tm a i n l yi n v o l v e st h e t r a n s p l a n to ft h ee m b e d d e do s , t h ec o m m u n i c a t i o n sm e c h a n i s mo ft w ok e r n e la n dt h er e a l i z a t i o n o f r t p r t c pn e t w o r kp r o t o c o l s a l s o ，c r o s s - c o m p i l e ，d e b u g g i n gm e t h o d sa r em e n t i o n e d k e yw o r d s ：i n t e l l i g e n c er e s i d e n c e ；m u l t i m e d i at e r m i n a l ；s t r e a mm e d i a ；r t p r t c p ； t r a n s m i s s i o nt e c h n o l o g y ；o m a p ；e m b e d d e dl i n u s i i 第一章绪论 第一章绪论 本章将就课题研究背景、论文主要工作成果以及论文的组织结构做相关介绍。 1 1 课题研究背景 随着信息技术的飞速发展，智能小区和智能家居离百姓的距离越来越近数字化”正 逐步改变人们的生活。可以预见在未来几年内，住宅小区包括家庭内部将建立起数字化的管 理平台，人们通过小区、家庭信息网络和控制平台的建设，不仅可以通过宽带网络获得小区 公共信息、视频点播( v o d ) 、远程教育、远程购物等各种信息服务，而且能利用无线，有线 通信实现家庭的智能照明，电器的协同控制、集中控制、定时控制与远程控制，安全报警与 防护、水电自动计量、紧急求助、家居环境的监测等多种功能。通过智能家居的建设，人们 可以尽享高科技带来的安全、高效和便捷的生活。 国外的智能家居的发展开始于2 0 世纪7 0 年代中期，当时大量采用电子技术的家用电 器面世，带来了”住宅的电子化”。8 0 年代中期至9 0 年代，将家用电器、安防报警和通讯设 备集成，形成了商用的智能家庭控制设备，从而带来了”住宅自动化”时代。2 1 世纪，由于通 讯和信息技术的发展，人们提出了”住宅信息时代”，网关技术和家庭信息网络技术成为开发 的热点。 我国的智能家居产品行业兴起于九十年代的末期。随着i n t e r n e t 网向普通家庭生活不 断扩展，消费电子、计算机、通讯一体化趋势日趋明显，现代智能家居由于其安全、方便、 高效、快捷、智能化等特点在2 l 世纪将成为现代社会和家庭的新时尚。纵观国内外在智能 家居领域的发展，如表1 i 所示的三种技术方案代表着智能家居行业不同时期的技术特点。 p c 架构的智能控制系统出现于中国智能家居的萌芽阶段，基本上停留在向使用者展示 智能家居的概念，实用性不强，属于第一代。目前很多中国智能家居厂商研制的基于单片 机架构的智能控制系统在实用性、易用性和专业性方面有了很大程度上的提高，属于第二 代。而基于嵌入式系统的家庭智能系统在国内才刚刚出现。 基于嵌入式系统的智能家居解决方案具有以f 的优点： 1 、系统的处理能力大大增强，可以带来更加逼真的图像以及更加真实的语音等； 2 、根据系统定制的实时操作系统不仅可以最大限度的利用硬件资源而且还避免了过于 庞大的系统造成的系统冗余； 3 、一般只有一颗主处理芯片，系统架构更加清晰简捷； 4 、软件采用分层设计方便维护和升级，大大提高了代码利用率，缩短开发周期； 5 、因为嵌入式技术是伴随着i n t e m e t 而生的，所以它具有更加卓越的网络性能，可以 增加更多的网络应用。 随着嵌入式技术更加广泛的应用，随着成本的逐步降低，中国的智能家居最终将走向嵌 入式 1 】。 第一章绪论 表1 1目前几种智能家居解决方案及对比 方案处理能力操作系统应用软件实用性功耗系统稳定性 以p c 作为整个家庭 p c 很差，易受病 仅仅停 智能控制系统的服务操作系统 毒攻击，不能 强应用程序留在概高 器，加上一些外围的 r w i n d o w s 、 长时间稳定 念阶段 扩展设备 l i n u x 等)工作 适合比 主要采用数 以一颗或多颗单片机 直接对硬较简单 模混合的电 作为核心处理单元，件编程，的应 弱 无低路设计，相对 加上定制的硬件和软 代码重用用，扩 复杂，稳定性 件率低 展性不 不强 强 适合比 嵌入式系统较复杂采用数字电 与硬件无 以微处理器为核心的强( e m b e d d e d 的应路设计结构 关，代码低 嵌入式系统设计 l i n u x、 用，扩简单，稳定性 重用率高 v x w o r k s 等)展性很强 强 本文相关的流媒体传输技术的应用研究以“智能家居多媒体终端”的研究和开发为项目 背景。对于我们要进行开发的多媒体终端，它不仅需要对相应的外接设备进行存取和控制操 作，同时它还需要对相应的媒体信息流进行编解码及网络传输的操作，因此我们需要选择特 定的应用开发平台来进行开发工作。 传统的终端设备通常使用一个r i s c 微处理器，处理数据的输入输出、数字计算以及屏 幕输出等工作。而对于复杂的嵌入式系统，仅有微处理器是不够的，要额外再加上其它特殊 的处理芯片，比如说d s p ( 数字信号处理器) 、闪存或者l c d 驱动等，这就产生了s o c ( s y s t e m o nc h i p ) ，即结合多种芯片架构，将许多特殊功能的处理单元整合到一块芯片中。这样做 的优点不仅是提供了一个功能强大，易于开发的硬件平台，而且由于整合多个功能模块在一 块芯片上，在功率消耗方面将会有显著的降低，并且可以避免信号处理中产生的杂波。 现在s o c 的最新技术，在于结合r i s c 微处理器与数字信号处理器d s p 和其它外i 訇控制器 于一身，通过整合r 1 s c 微处理器的通用性功能和d s p 多媒体通讯的专用特性来达到效率成本 和省电的最佳比例。由于s o c 在设计和制造中的复杂性，现在只有为数不多的大型半导体厂 第一章绪论 商可以完成。其中，最具有代表性的是i n t e l 公司推出的x s c a l e 架构和德州仪器公司( t i ) 的 o m a p 架构，这两种s o c 均定位于面向新一代信息终端平台。【3 1 1 从1 9 9 5 年推出第一个互联网流媒体播放器以来，流媒体应用有了爆炸性增长。据统计， 目前互联网每周约有4 5 万小时的广播节目，5 8 个美国电视台提供w e b 广播，3 4 个电视台提供 点播服务。有近半数的跨国公司在内部使用流媒体实现w e b 广播 4 6 】。 正如几年前的i p 网络 n w e b 技术，流媒体应用正处于持续高速增长时期。另外，音视频 编解码技术的成熟、网络流媒体协议的标准化、移动业务的需求以及内容服务驱动等因素， 都为流媒体的广泛应用起到了重要的促进作用，使得流媒体传输的应用日益广泛 2 9 1 1 3 0 1 。 同时随着i n t e r n e t 网向社区及普通家庭的不断扩展，消费电子、计算机、通信一体化趋 势日趋明显。现代智能家居由于其安全、方便、高效、快捷、智能化等特点在2 1 世纪将成为 现代社会和家庭的新时尚。这使得以流媒体为代表的视频点播和视频监控系统受到当前智能 化配套住户的普遍关注，成为最新颖和最具有发展前景的项目。 流媒体技术包括：流媒体数据采集、视音频编解码、存储、传输、播放等领域。其中流 媒体传输技术主要包括三个研究内容：传输协议、传输方式和服务质量控制技术。流媒体系 统中，影响流媒体播放质量的3 个最关键的因素是：编码和压缩的性能与效率、媒体服务器 的性能、媒体流传输的质量控制。由于视音频解码技术已经基本成熟，流媒体播放并不是目 前流媒体技术的重点。相对而言，如何以合适的方式进行流媒体的传输以及对服务质量进行 有效的控制成为很多应用场合实现的关键因素。 因此我们选择对家居环境下的实时流媒体相关技术的应用作为研究内容。 1 2 本文的主要工作和成果 基于之上的背景分析，我们希望在基于o m a p 系统之上进行智能家居多媒体终端的应用 开发工作，而流媒体传输和q o s 控制技术的实现是家居多媒体终端可靠工作的一个关键技 术。因此，本文后续将围绕智能家居多媒体终端的方案设计和相应流媒体传输技术的研究展 开工作。 本文主要完成的工作有： ( 1 ) 研究了相关的流媒体技术和协议标准。对实时流媒体实际应用中的传输方式、 带宽资源分配、r t c p i n t e r v a l 自适应调整、q o s 动态监测和服务质量反馈控制进行了深入的 探讨。建立了仿真模型，进行算法的仿真工作，并获取了合理的实用参数值。 ( 2 ) 进行智能家居多媒体终端的整体方案设计工作，包括系统硬件平台和系统软件 架构的的设计。同时我们还建立了应用开发环境。 ( 3 ) 我们详细地介绍了智能家居多媒体终端实现中涉及到的关键技术及其实现过 程。具体包括底层操作系统m o n t a v i s t al i n u x 的嵌入式移植、双核通信d s p b i o sl i n k 机制的 实现、r t p r t c p 网络协议模块功能的实现，同时我们还简要介绍了交叉编译和调试。 第一章绪论 1 3 本文的组织结构 第一章是绪论部分，绪论部分首先介绍了课题研究的背景和意义，然后列举了本文的主 要工作和成果。 第二章对流媒体技术的基本概念和典型应用场景进行了介绍，并研究了主要的应用协议 及所实现的功能。这为第三章的深入和第五章的应用开发提供必要的技术基础。 第三章对实时流媒体传输和q o s 控制技术进行了深入的分析和探讨。对带宽资源分配、 r t c p i n t e a l 自适应调整、q o s 参数的动态监测、控制方法及实时动态反馈控制分别进行了 相关的分析和论述，最后为了评估动态控制算法，进行了系统建模及相应的仿真工作。这章 为第五章进行相关的网络协议设计工作提供了理论依据。 第四章进行智能家居多媒体终端的整体方案设计工作，包括系统硬件平台和系统软件架 构的设计。同时我们还建立了基于o m a p 平台的应用开发环境。 第五章对系统软件实现过程中涉及到的关键技术的实现进行了说明和阐述。主要是对于 嵌入式操作系统的移植、双核通信机制的实现以及r t p r t c p 网络通信协议的实现，并简单 介绍了一下交叉编译和调试。 第六章总结了全文，并简要指出了下一阶段研究工作的方向。 4 第二章流媒体技术概述 第二章流媒体技术概述 流媒体指的是在网络中使用流技术传输的连续时基媒体，其特点是运用可变带宽技术， 以流的形式进行数字媒体的传送，在播放前不需要下载整个文件，而是采用边下载边播放的 方式，是视频会议、m 电话等应用场合的技术基础。 流媒体包含广义和狭义两种内涵：广义上的流媒体指的是音频和视频形成稳定和连续的 传输流和回放流的一系列技术、方法和协议的总称，即流媒体技术；狭义上的流媒体是相对 于传统的下载一回放( d o w n l o a d p l a y b a c k ) 方式而言的，指的是一种从i n t e m e t 上获取音频 和视频等多媒体数据的新方法【4 2 】。流媒体具有。f 述优点： 支持实时传输和实时播放。这使得用户可以立即播放音频和视频，这无论对于获取 存储在服务器上的流媒体音频和视频文件还是现场音频和视频流都是很有意义的。 可以节省大量的存储空间。预先构造的流媒体文件或用实时编码器对现场信息进行 编码得到的现场流都比原始信息的数据量要小，并且及时播放相较于下载播放为用户节省大 量的磁盘空间。 2 1 流媒体技术的应用场景 流媒体通过当前的i n t e r n e t 及各种形式的网络终端，在教育、娱乐、商务、物流、安防 及移动通信等各领域上有着广泛的应用。下面我们将讨论几个流媒体的应用场景，以便更好 地了解其用途和使用方法【2 】。 ( 1 )简单的多点音频会议 比如i e t f 的一个工作组成员要进行一次会议，以便就最新的协议文档进行讨论，这时 他们将选用i n t e m e t 上基于i p 多播机制的音频通信服务。而进行这样的音频会议，需要获得 一个多播地址和一对端口。其中一个端口给音频数据使用，另一个给控制信息包。这个地址 和对应端口的信息会分发给加入会议的成员。如果希望会谈是私密的，则可以通过特定算法 对音频数据和控制信息进行加密，这时必须生成解密的密钥并分发给会议的各个成员。 会话参与成员所使用的音频通信应用程序每隔一定的时间间隔( 如：2 0 m s ) 就发送相 应的音频数据块。每块的音频数据均是以r t p 头开始的。r t p 头和r t p 包负载依次封装到 u d p 数据包中。r t p 头携带着包数据所使用的音频编码方式( 如p c m 、a d p c m 或者l p c ) ， 这使得数据源可以根据会话新加入成员的带宽资源或者网络拥塞状况对编码方式及其参数 进行调整，并通知与会成员。 跟其他的包网络一样，通过i n t e m e t 进行实时流媒体传输，同样有时会产生丢包、错包 或者延迟抖动等现象。为了减少这些给通信带来的影响，r t p 包头带有时间戳和序列号等信 息，这使得接收者可以根据源数据包提供的时间信息进行正常播放。像在本例中，接收端将 以2 0 m s 的速率进行声音的回放。这个时间同步机制在各个不同的媒体源问是独立进行的。 同时，接收端可以利用序列号提供的数值来估算通信的丢包率，以便了解网络状况。 在会议进行过程中，不断地会有通话成员加入或者离开，为了更好地进行流量及拥塞控 制，需要及时了解当前有哪些成员处于活动状态及其对音频数据的接收情况。因此，会议参 与成员通过r t c p 控制端口周期性地发送附加了使用者标识的接收报告包( r e c e p t i o n r e p o r t ) 。源端利用接收报告包包含的接收者接收状况信息可以进行自适应编码调整。同样 地，利用使用者标识及其他有用信息可以进行带宽资源的有效控制。当某个成员打算离开当 前的音频会议时，它会向会话的其他成员发送一个r t c p b y e 包。 第二章流媒体技术概述 第二章流媒体技术概述 流媒体指的是在网络中使用流技术传输的连续时基媒体，其特点是运用可变带宽技术， 以流的形式进行数字媒体的传送，在播放前不需耍下裁整个文件，而是采用边下载边播放的 方式，是视频会议、电话等应用场合的技术基础。 流媒体包含广义和狭义两种内涵：广义上的流媒体指的是音频和视频形成稳定和连续的 传输流和回放流的一系列技术、方法和协议的总称，即流媒体技术；狭义上的流媒体是相对 于传统的下载一回放( d o w n l o a d p l a y b a c k ) 方式而言的指的是一种从i n t e m e t 上获取音频 和视频等多媒体数据的新方法1 4 2 1 。流媒体具有下述优点： 支持实时传输和实时播放。这使得川户可以立即播放音频和视频，这无论对于获取 存储在服务器上的流媒体音频和视频文件还是现场音频和视频流都是很有意义的。 可虬节省大量的存储空间。预先构造的流媒体文件或用实时编码器对现场信息进行 编码得到的现场流都比原始信息的数据量要小，并且及时播放相较于下载播放为用户节省大 量的磁盘空日j 。 2 1 流媒体技术的应用场景 流媒体通过当前的i n t e r n e t 及备种形式的网络终端，在教育、娱乐、商势、物流、安防 及移动通信等各领域上有着广泛的应川。下面我们将讨论几个流媒体的应州场景，以便更好 地了解其用途和使用方法2 。 ( 1 )简单的多点音频会议 比如i e t f 的一个工作组成员要进行一次会议，以便就最新的协议文档进行时埝，这时 他们将选用i n t e m e t 上基于i p 多播机制的音频通信服务。而进行这样的音频会议，需要获得 一个多播地址和一对端口。其中一个端口给音频数据使用，男一个给控制信息包。这个地址 和对应端口的信息会分发给加入会议的成员。如果希望会谈是私密的，则可咀通过特定算法 对音频数据和控制信息进行加密，这时必须生成解密的密钥并分发给会议的各个成员。 会话参与成员所使川的音频通信应川程序每隔一定的时间间隔( 如：2 0 m s ) 就发送相 应的音频数据块。每块的音频数据均是以r t p 头开始的。r t p 头和r t p 包负载依次封装到 u d p 数据包中。r t p 头携带着包数据所使用的音频编码方式( 如p c m 、a d p c m 或者l p c ) ， 这使得数据源可以根据会话新加入成员的带宽资源或者网络拥塞状况对编码方式及其参数 进行调整，并通知与会成员。 跟其他的包网络一样，通过i n t e m e t 进行实时流媒体传输，同样有时会产生丢包、错包 或者延迟抖动等现象。为了减少这些给通信带来的影响，r t p 包头带有时间戳和序列号等信 息，这使得接收者可以根据源数据包提供的时问信息进行正常播放。像在本例中，接收端将 以2 0 m s 的速率进行声音的回放。这个时间同步机制在各个不同的媒体源间是独立进行的。 同时，接收端可以利用序列号提供的数值来估算通信的丢包率，以便r 解刚络状况。 在会议进行过程中，不断地会有通话成员加入或者离开，为了更好地进行流量及拥塞控 制，需要及时了解当前有哪些成员处于括动状态及其对音频数据的接收情况。因此，会议参 与成员通过r t c p 控制端口周期性地发送附加了使用者标识的接收报告包( r e c e p t i o n r e p o r t ) 。源端利用接收报告包包含的接收者接收状况信息可以进行自适应编码调整。同样 地，利j 日使川者标识及其他有川信息可以进行带宽资源的有效控制。当某个成员打算离开当 前的音频会议时，它会向会话的其他成员发送一个r t c p b y e 包。 前的音频会议时，它会向会话的其他成员发送一个r t c p b y e 包。 第二章流媒体技术概述 ( 2 )视音频会议 如果会议需要视、音频同时进行，那么它们将被当作独立的r t p 会话进行处理。也就 是说，两个媒体流将使用各自的一对u d p 端口和多播地址分别进行各自r t p 和r t c p 包的 传送工作。在r t p 协议层，音频会话流和视频流之间没有直接的相关性。对音、视频两个 会话流都进行接收的成员，可以通过包含在两个流各自r t c p 包中相同的标识名进行识别和 合成工作。 把视、音频流分开的目的之一是希望满足哪些只希望接收音频或者视频的成员要求。尽 管视、音频流分开传送，但可以利用它们r t c p 包中包含的时间戳信息来实现同一个源的视、 音频的同步回放工作。 ( 3 ) 混合器和转发器 上面两个例子中，我们默认参与成员接收的是基于同一种格式的媒体类型，但在实际中， 这通常是不合适的。可以设想一下，有一个大型的实时视音频在线会议正在进行，参与的成 员大部分都是通过高速宽带接入的，但有个地区的参与成员由于条件限制，只能通过低带宽 的通道参与会议。我们当然不会因为要迁就低速用户，而强制所有成员使用低速带宽，并降 低视音频的编码质量。这个时候，我们将在低速带宽成员所在区域设置一个混合器( m i x e r ) ， 以实现低速带宽区域与其他会议成员的有效连接。其原理如图2 1 所示。 曾接收者 3 数据源 图2 1m i x e r 示意图 混合器对各个发送源发出的2 0 m s 间隔的的音频数据包进行再同步，把各个音频流混合 成单个的音频流，并根据低速带宽的情况进行相应的编码工作，以使得数据量适合在低速带 宽通道上传送。混合后的数据包可以对特定地址进行单播，也可以对某一范围内的地址进行 多播。混合器可以通过r t p 包头的的标识值来确认每个源，同样地，这也使得最终接收者 可以知道到底自己是与哪些人在进行通话。 有一些想加入会议的使用者，虽然它们是通过宽带接入的，但可能由于各种原因，它们 无法直接接收口多播的数据。例如，它们想接收的口数据包可能被某个应用级的防火墙给 阻隔了。对于这种情况，混合器并不起作用了，我们需要用另一个r t p 协议层的机制一一 转发器来解决这个问题。如图2 2 所示，它在防火墙的两端各设置了一个转发器，在防火墙 外侧的转发器把接收到的所有多播数据包通过一条安全通道传送到防火墙内部的转发器。而 6 第二章流媒体技术概述 防火墙内部的这个转发器再次把数据包以多播的方式分发给被限制的内部网络的各个会话 连接者。 图2 2t r a n s l a t o r 不意图 混合器和转发器可以应用在各个不同的场合。例如视频混合器，它把来自于不同视频流 的不同数据组合成一帧完整的图像，这种应用就像今天的p p l i v e 、p p s t r e a m 等。另一个转 发器应用的例子是实现只支持i p u d p 数据格式的组成员和只支持s t - i i 的组成员之间的数 据交换。 ( 4 )分层编码模式 一个好的多媒体应用程序应该可以根据接收者带宽和网络拥塞状况来进行传送速率的 自动调节工作。很多的应用把速率的自动调节在源端来实现。但这并不适合于t p 多播，因 为处于各个不同网络架构中的使用者的带宽需求不一样，结果是使得整个多播往往因为要满 足资源最少的用户而不得不降低传输的质量和保真度 2 l 】。 相对而言，我们可以把速率自适应的工作放到接收端，通过一个包含了分层编码机制的 分层传送系统来实现。在利用r t p 进行实际的口多播时，发送端可以进行分层的编码，并 通过多个r t p 会话来传送对应的各个分层的编码数据。接收者可以根据自身的资源、网络 带宽及拥塞状况接收源端相应分层的编码数据。 2 2 流媒体传输的相关协议 流媒体应用相关协议分层结构如图2 3 所示。其中t c p i p 协议的功能一般由操作系统 实现并提供相关应用接口。 7 第= 章流媒体技术概述 图2 3 流媒体应用相关协议分层结构 实时传输协议( r e a l - t i m et r a n s p o r tp r o t o c o l ，r t p ) 是在i n t e m e t 上处理多媒体数据流的 一种网络协议，利用它能够在一对一( u n i e a s t ，单播) 或者一对多( m u l t i c a s t ，多播) 的网 络环境中实现流媒体数据的实时传输。r t p 通常使用u d p 来进行多媒体数据的传输。【6 整个r t p 协议由两个密切相关的部分组成：r t p 数据协议和r t p 控制协议。而实时流 协议( r e a lt i m es t r e a m i n gp r o t o c o l ，r t s p ) 位于r t p 和r t c p 之上，其目的是希望通过i p 网络有效地传输多媒体数据。 2 2 1 实时传输协议r t p r t p 数据协议负责对流媒体数据进行封装并实现媒体流的实时传输。如图2 4 所示，每 一个r t p 数据报都由头部( h e a d e r ) 和负载( p a y l o a d ) 两个部分组成，其中头部前1 2 个字 节的含义是固定的，而负载则可以是音频或者视频数据 2 。 0123 0123456 78 90123 456t8 9 0l234567 890l + - + - 4 - 4 - - + - 4 - - + - + - 4 - + - - 4 - 1 1 一卜+ _ 1 一 卜- 卜 一+ - + - _ - 1 一 一- 卜 一- 卜- _ - 一 一卜_ + l v - - 2 i p i x i c c l i p t is 0 q u o n c 0n u m b e rl - i - - q - - - t - - + 一+ 一p 一+ 一+ 一斗一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一f 一+ 一+ 一+ 一斗一+ 一+ + 一+ 一+ 一4 - - + l。timestamp | + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ - - + 一+ 一+ 一+ + 一+ 一+ 一十一+ 一+ 一+ 一+ + 一+ 一+ 一+ 一+ 一+ 一+ 一+ + 一+ 一+ ls y n c h r o n i z a t i o ns o u r c e ( s s r c ) i d e n t i f i e rl + c 七 c + = + = c + = + = + = c = 忙 c + 仁+ = c c + = + = c + = + = c c + = + = + = + = + = + = + = + = + ic o l l t r i b u t i n gs o u r c e ( c s r c ) i d e n t i f i e r zi ii _ _ 一+ 一+ - - + 一_ - + 一1 - 1 1 一1 一- 一_ - 1 - - 1 - 1 - + - - + 一_ - + 一+ 一+ _ _ - _ - + - + 一_ - _ - _ - + 图2 4r t p 数据包结构 其中比较重要的几个域及其意义如f ： 负载类型( p a y l o a da 3 q o e ：p t ) 有效数据类型域标明r t p 负载的格式，包括所采用的编码算法、采样频率、承载通道 等，这将决定它们如何被应用程序解释。例如，类型2 表明该r i p 数据包中承载的是用1 1 u ( 3 7 2 1 算法编码的语音数据，采样频率为8 k h z ，并且采用单声道【4 2 】。 系列号( s e q u e n c e n u m b e r ：s n ) 序列号是一个1 6 b n 的正整数，每发送一个r t p 数据包，序列号就加1 。接收端可通过 序列号检测数据包到达的失序状况以对数据包重组。序列号的初始值是随机产生的。 时间戳( t i m e s t a m p ) 时间戳描述r t p 数据包中数据生成的采样时刻，主要用于同步和计算时延。为此，采 样时刻必须以一个线性单调递增的时钟为基准，且时钟精度必须满足同步精度的要求。时间 戳的初始值也是随机的。 同步源标识( s y n c h r o n i z a t i o ns o u r c ei d e n t i f i e r ：s s r c ) s s r c 用于标识同步资源。该标识符是一个随机选择的3 2 位整数，但同一个r t p 会话 中任何两个同步资源的s s r c 值都不同。 8 第二章流媒体技术概述 提供源标识( c o n t r i b u t es o u r c ei d e n t i f i e r ) 提供源标识对当前负载数据有贡献的清单，是一个混合项。 从r t p 的数据报的格式可以看出，他包含了传输媒体的类型、格式、序列号、时间戳 以及是否有附加数据信息等，这些都为实时的流媒体传输、监测及控制提供了相应的基础。 r t p 协议的目的是提供实时数据的端到端传输服务，因此在r t p 中并没有连接的概念。 在实际应用中r t p 不会在i p 中直接封装，而是r t p 在u d p 上运行，这意味着把每条r t p 报文封装到u d p 数据报中。使用u d p 的主要优点是并发性一一单个计算机可以有多个使用 r t p 的应用程序，而不会互相干扰 5 】。另外r t p 本身也不提供任何可靠性机制，这些都要 由传输协议或者应用程序自己来保证。在典型的应用场合下，r t p 一般是在传输协议之上作 为应用程序的一部分加以实现的。 2 2 2 实时传输控制协议r t c p r t p 及底层协议使得接收方得以重现内容，但实时传输的另一特定也很重要：在会话期 间监视底层网络以及提供端点之间的带外通信。在使用自适应方案的情形下这样的机制尤其 重要。例如，在底层网络变得拥挤时应用程序可以选择低带宽编码，或是在网络延迟或抖动 变化时接收方改变回放缓冲区的大小。最后，可以使用带外机制发送和实时数据并行的信息 ( 如伴随视频流的字幕) 。 r t p 的伴生协议是r t c p 控制协议( r t pc o n t r o lp r o t o c o l ，r t c p ) ，它是r t p 的一个完 整部分，提供需要的控制功能。r t c p 允许发送方和接收方互相传输一系列报告，这些报告 包含有关正在传输的数据以及网络性能的额外信息。r t c p 报文封装在u d p 中，以便进行 传输，发送时使用比它所属的r t p 流的端口号大1 的协议号 3 。 r t c p 包使用与数据包相同的分发机制，周期性地向会话的所有参与成员发送控制包。 而底层的协议必须提供对数据和控制包的多路复用的支持，例如通过u d p 协议的不同端口 来实现。r t c p 具有如下四项功能： ( 1 ) 首要的功能是，提供数据流传播质量的反馈信息。 这是r t p 作为传输层协议不可缺少的一部分，涉及到关于数据流的拥塞控制和管理。 r t c p 的反馈信息对自适应编码的控制很有用，同时i p 多播的试验也证实了其对i p 广播进 行错误分析和诊断也很有帮助。接收反馈报告( s r 、r r ) 会发送给与会的各个成员，这使 得监控端可以对问题进行分析，并确认问题是本地还是全局性的。正如i p 多播机制一样， 使得不参与会话的网络服务提供商( n e t w o r ks e r v i c ep r o v i d e r ) 也可以对反馈信息进行接收 和分析，并扮演着诊断网络问题的“第三方监控端”角色。反馈信息是通过r t c p 发送端报 告( s r ) 和接收端报告( r r ) 来实现的。 ( 2 ) 资源标识和媒体流同步 r t c p 包携带了相应r t p 源在一个会话中全局唯一的规范标识符一- - c n a m e 。因为 s s r c 值会随着冲突或者应用程序的重启而改变，这时就需要利用c n a m e 的不变性来对会 话的成员进行跟踪和识别。同时，对于从指定地址同时接收视、音频会话流的用户来说，它 可咀利用c n a m e 来考察视、音频流的相关性。 r t c p 控制包中的n t p 时间戳和r t p 时间戳可用于同步不同的媒体流。例如音频和视 频问的唇同步( 1 i p s y n c i n g ) 。从本质上来说，要同步来源于不同主机的媒体流，则必须同步 它们的绝对时间基准。 ( 3 ) 会话规模的评估和扩展 前面两个功能的实现均要求会话的所有参与者都必须发送r t c p 控制包。但需要对发送 速率进行控制，把更多的带宽资源留给r t p 会话，以便使得可以允许更多的会话参与者的 9 第二章流媒体技术概述 加入。正因为会话的每个成员都进行r t c p 控制包的发送，因此每个成员都可以知道当前会 话的成员数目。利用这个成员数目可以算出r t c p 控制包的发送时间间隔，并及时做相应的 调整。这部分我们在后面会有更详细的描述。 ( 4 ) 最小控制信息 第四个功能是个可选功能，它用来传送最小会话控制信息。例如，可以在接收端上显示 会话用户标识。这对“松弛控制”的会话应用特别有用，会话参与者加入或者离开时并不需 要与其他成员进行参数和控制协商。r t c p 只是做为会话成员进行信息交互的一个方便通道， 它对应用程序的通信参数控制需求并不是必需的。这时候，就需要更高层的会话控制协议， 如r t s p 。 前三项功能在一般的应用场合都是必须的，特别是基于i p 多播机制的网络环境。所以 当开发人员在进行r t p 的应用开发时，最好是面向多用户的多播机制，而不要仅针对单播 模式有效。 0l2 3 012 3 456t 89 01234 5 6t8901 23456t8901 + 一+ 一+ 一+ 一+ 一十一+ 一+ 一+ 一+ 卜- + 一+ 一+ 一+ 一+ 一+ 一十一十一十一卜- + 一+ 一+ 一+ 一十一十一+ 一+ 一+ 一+ 一+ 一+ h e a d e ri v - 2 i p i r c i p t = s r = 2 0 0 il e n g t hi + 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一+ 一+ 卜+ 一+ 一十一+ 一+ 一+ - + - + - + - + - + - + - + - + - + - + - + - 4 - - + 十+ i s s r co fs e n d e r i + = + = + ：+ = + = + = + = + = + = + = + = + = + = + = + = + = + = 十= 十= + = + = + = + = + = 仁+ = + = + = + = + = + = + = + s e n d e ri n i ptl i m e s t 呻ji l o s ts i g n i f i c a n tw o r d l i n f o + 一+ 一+ 一+ 卜- + 卜+ 卜一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一+ 一十一十一十一十一+ 一+ 一+ 一+ 一+ 卜+ 一+ l n t pt i m e s t a 坤，l e a s ts i g