（计算机系统结构专业论文）嵌入式网络视频服务器的研究与实现.pdf

摘要 摘要 计算机网络技术和多媒体数据压缩技术的发展，使通过网络传输实时音视频数据成为可能。如 今嵌入式视频服务器不仅仅能提供实时监控功能，同时综合了计算机网络功能，以达剑多用户分布 式监控的目的，它在安防监控领域有广泛的应用前景。所以对嵌入式视频监控系统的研究和设计具 有实际意义。 本文提出的嵌入式视频服务器方案是基于a r m 9 平台。系统对多媒体数据的编码采用了硬件视 频编码和软件音频编码，并使用了流媒体传输协议( r t p ) 传输媒体数据，依靠控制协议( r t c p ) 的反馈功能来实现实时监控。文中首先论述了视频监控系统的发展历史，接着介绍了流媒体的概念 以及与流媒体技术相关的网络协议。着重介绍了系统硬件、软件平台的设计，包含处理器的选择、 系统的引导程序和交义编译环境等。另外针对本系统和嵌入式的特点，阐述了视频m p e g 编码驱动 开发流程和音频a m r 编码在嵌入式平台上的优化方案。最后，对服务器的结构作了详细的叙述， 分别对服务器各个主要模块的处理流程和方法进行了分析和验证。 整个视频服务器的设计是在嵌入式l i n u x 环境下开发的。在服务器正常监控的时候，网络中的 客户端可以通过支持标准实时流协议( r t s p ) 的播放器和服务器连接，获取实时图像，达到监控的 效果。 关键字：视频服务器，媒体数据传输，优化，嵌入式 a b s t r a c t a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rn e t w o r ka n dm u l t i m e d i ad a t ac o m p r e s s i o nt e c h n o l o g y , i ti s p o s s i b l et od e l i v e rb o t ha u d i oa n dv i d e od a t ao v e ri n t e r n e t a tp r e s e n t ，e m b e d d e dv i d e os e v e rp r o v i d e sn o t o n l yr e a l t i m em o n i t o r i n gf u n c t i o n ，b u ta l s on e t w o r kf u n c t i o n ，t oe n a b l er e m o t ec o n t r o lf r o md i f f e r e n t c l i e n t si ni n t e m e t i th a saw i i ea p p l i c a t i o nf o r e g r o u n di nt h ef i e l do fs e c u r i t ys u p e r v i s o r y s ot h er e s e a r c h a n dd e s i g no ne m b e d d e dv i d e om o n i t o r i n gs y s t e mh a sa l la c t u a ls i g n i f i c a n c e t h i sm o n i t o r i n gs y s t e mi sr u n n i n go i lt h ep l a t f o r mo fe m b e d d e da r m 9 t h ev i d e od a t ai sc o m p r e s s e d b yd s p si ns o ca n da u d i oi sd o n eb va m rc o m p r e s s e da l g o r i t h mi ns o f t w a r e , t h e nt h em u l t i m e d i ad a t ai s p a c k e di n t or t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) p a c k e t s t h er e a lt i m ef u n c t i o ni sb a s e do nt h ef e e d b a c ko f r t c p ( r e a l - t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) p a c k e t si ni n t e r n e t f i r s t l y , t h eh i s t o r yo fv i d e om o n i t o r i n gi s d e s c r i b e d ，a n dt h e nt h ec o n c e p to fs t r e a m i n gm e d i aa n ds o m ep r o t o c o l si si n t r o d u c e d t h ed e s i g nf o r h a r d w a r ea n ds o f t w a r ei n c l u d i n gt h ec h o i c eo fs o c h o wt ob o o tt h es y s t e r na n ds o m ec r o s s - c o m p i l et o o l s a r ef o c u s e do ni nt h ef o l l o w i n gc h a p t e r s c o n s i d e r i n gt h ec h a r a c t e r i s t i c so ft h ee m b e d d e ds y s t e m t h ef l o w o fd r i v e r sf o rm p e ge n c o d i n gi sd e p i c t e d o p t i m i z a t i o ni sa l s od o n ef o rt h ec o s to fa m ra u d i oe n c o d i n g , t h ep e r f o r m a n c eo fw h i c hc a nb ei m p r o v e dal o t 1 i lt h ee n d af u us t r u c t u r eo ft h es e r v e ra n dw h a tt h e m o d u l e si ni td oi sg i v e na n dv e r i f i e d t h ev i d e om o n i t o r i n gs e r v e ri s d e v e l o p e di ne m b e d d e dl i n u x t h ep l a y e rw i t ht h ef u n c t i o no f s t a n d a r dr t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) c a nc o n n e c tt oi tw h e ni tr u n sw e l li ni n t e r n e t t h ea i mo f r e a l t i m ev i d e om o n i t o r i n ga n dc o n t r o li sa c h i e v e d k e y w o r d s ：v i d e os e r v e r ，m e d i ad a t ad e l i v e r i n g ，o p t i m i z a t i o n ，e m b e d d e d 论文插图索弓 论文插图索引 图1 1 以嵌入式视频服务器为核心的视频监控系统2 图1 2 实际网络带宽随时间变化示意图3 图1 3 网络传输中分组丢欠率随时间变化示意图4 图2 1 利用u d p 传输的r t p 数据包层次结构7 图2 2r t s p 请求消息格式1 2 图2 3r t s p 响应消息格式1 3 图3 1 系统实物图1 6 图3 2 系统示意图1 7 图3 3g a - 4 0 3 0 结构框图l8 图3 - 4g a - 4 0 3 0 的静态存储地址空间1 9 图3 5s d r a mj 奎接图1 9 图3 6s a a 7 1 11 a 外围电路连接示意图2 0 图3 - 7t l ，v 3 2 0 a i c 2 3 外围电路连接示意图2 1 图3 8 系统f l a s h 划分示意图2 4 图3 - 9u b o o t 启动流程2 5 图3 1 0 本系统用到的u - b o o t 1 d s 文件2 6 图3 1 lu b o o t 启动时的输出2 7 图3 1 2 交叉编译简单的h e l l o w o r l d 程序2 8 图4 1m p e g 视频图像组织结构2 9 图4 2 图像帧间编码3 0 图4 3m p e g 4 的语法结构3 0 图4 _ 4m p e g 4 硬件编码流程图3 2 图4 5 部分系统的m p e g - 4 编码的函数3 2 图4 6a m r 编码信号流程图3 4 图4 7 定义非3 2 位局部变量产生的汇编代码3 7 图4 8 分别采用白增和自减产生的汇编代码3 8 图4 9 采用指针代替数组后产生的汇编代码一3 9 图4 1 0 合并函数调用举例4 0 图4 1 1 汇编代码对数组下标计算的优化4 0 图4 1 2a t p c s 参数传递4 l 图4 1 3 采用专用指令优化汇编代码4 2 图4 1 4a 尉字节反转汇编4 2 图4 1 5a m r 编码代码优化前运行周期统计图4 3 图4 - 1 6a m r 编码代码优化后运行周期统计图4 3 图5 1r t p 、r t c p 包头的c 语言定义4 5 图5 - 2j r t p l i b 传输数据流程图4 6 图5 3p o l l ( ) 函数流程图4 7 图5 _ 4 系统r t p 包结构图4 8 v 论文捅图索弓 图5 5 系统r t c p 包结构图一4 9 图5 - 6 服务器系统流程图5 0 图5 - 7 系统的x m l 文什一5 l 图5 8e v e n t t h r e a d 线程的流程图5 2 图5 - 9t a s k t h r e a d 的执行流科简图5 3 图5 1 0 单播方式和组播方式发送数据流一5 4 图5 1l 服务器中r t p 子模块结构的定义5 4 图5 1 2 服务器中r t c p 子模块结构定义图5 4 图5 1 3 服务器中标准r t s p 结构定义5 5 图5 1 4 系统中的s d p 文件内容5 5 图5 1 5o p t i o n 请求数据包结构5 6 图5 16o p t i o n 请求响应数据包结构一5 6 图5 1 7d e s c r i b e 请求数据包结构5 7 图5 1 8d e s c r i b e 请求响应数据包结构5 7 图5 1 9d e s c r i b e 请求响应数据包中的s d p 文件信息5 7 图5 2 0s e t u p 请求数据包结构5 8 图5 - 2 1s e t u p 请求响应数据包结构5 8 图5 2 2p l a y 请求数据包结构5 8 图5 - 2 3p l a y 请求晌应数据包结构5 9 图5 - 2 4 服务器对p l a y 请求的处理流程5 9 图6 1q u i c k t i m e 播放器作为客户端的效果图6 l v i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 研究生签名： 蝉日 期：堕! 堇! 多 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 韭旷 第一章绪论 第1 章绪论 随着网络技术和嵌入式技术的发展，特别是视频监控领域，人们不再满足于在信息高速公路中 仅获得图像和卢音等媒体功能，而是希望同时获得更小体积和更高性价比的系统设计。嵌入式视频 服务器是一种提供网络视频传输和共享的嵌入式没备。它以面向实时处理的软件为平台，整合了视 频网络传输、视频信号采集等功能。用户只需要在远程对视频服务器的相关参数进行设置就可以轻 松获取本地图像等多媒体信息。由丁嵌入式视频服务器将视频压缩和网络功能集中到一个体积很小 的设备中，省掉了多种复杂电缆的连接，安装和使刚都很方便。本论文实现的就是一种以嵌入式技 术为核心，基于a r m 核处理器的，以嵌入式l i n u x 为平台的流媒体视频服务器。 1 1 课题背景及意义 网络多媒体技术的发展方兴未艾，这得益丁两个方面：多媒体技术促进了计算机的人性化，而 网络技术促进了计算机的普及化。嵌入式视频服务器以其性能稳定、可移植性强、性价比高等优点， 推动了网络多媒体技术质的飞跃【l 】。这种技术可以广泛应用丁高速公路无人职守远程遥视系统、现 代居民区安全管理系统、企业安全生产监控系统、矿井实时调度系统等场合的应急处理，保证监控 场所内人员和财产的安全及设备的可靠运行。 嵌入式视频监控系统包含了以下几个关键技术【2 】： 视频音频信号的编码压缩技术 不管是视频原始的r g b 信号数据还是语音模拟信号通过c o d e c 芯片得到的p c m ( p u l s ec o d e m o d u l a t i o n ，脉码调制) 编码，码流数据量较大，在网络上传输时容易产生网络拥塞现象，影响传 输的实时性。在嵌入式平台上采用适当的编码技术对多媒体数据压缩可以减少网络传输的数据量， 提高线路带宽的利用率。而且通过压缩编码技术使得数据在误码产生、网络抖动和突发传输时具有 健壮性。 视频音频信号的实时传输技术 利用网络传输实时数据，数据传输的时延会是一个很大的问题。因为互联网的初衷并不是实时 的应用，而是数据的传输，保证的是数据传输的效率。这个问题可以通过使用实时传输协议以及q o s ( q u a l i t yo fs e r v i c e ，服务质量) 机制得到解决。 标准的连接协议 标准的连接协议( 例如r t s p 协议) 有助f 软件开发商的产品之间以及产品与服务器之间的互 连。目前在实时流的连接领域有个定义完整的互连协议：r e a lt i m es t r e a m i n gp r o t o c o l 实时流协议。 它提供了对媒体流的播放、暂停、快进等控制功能。 本论文中研究并提出了基于a r m 9 e j s 微处理器的嵌入式实时监控方案。方案软件的实现主要 采用开源软件资源，减少了产品的研发费用和版权费用。而且连接方面采用的是标准的r t s p 实时 流协议，方便了对媒体流的控制。因此，本文提出的实时监控方案有着一定的研究意义和商业价值。 1 2 视频监控系统的历史和现状 视频监控系统的发展经历了三个不同的发展阶段1 3 1 ：模拟视频监控、基于微机平台的多媒体监 控和基于嵌入式网络视频服务器编解码器的网络数字化视频监控。 模拟监控系统发展较早，常被称为第一代监控系统。它具有的特点是：视频、音频信号的采集、 传输、存储都是模拟形式的，质鬣很高。而且，经过了过去几十年的发展，技术成熟稳定，系统功 能也强大完善。但是，模拟视频系统也存在自身不可避免的缺点，例如只适用于较小的地理范围、 监控只限于在监控中心，灵活性较差、不易扩展等。 随着控制技术的发展，出现了高性能的多媒体工控监控系统。它冲破了传统模拟监控系统的框 l 东南大学硕十学位论文 架，采j f j 模块化设计，将主控端的全部设备集成在一起，提供给用户友好的人机界面，并且具有基 于网络的分级分控能力。该形式的系统每一级都有自我管理和控制的功能，统一接受上一级的控制。 d v r l 4 】是这一阶段监控系统的代表。它采用微机为平台，在计算机中安装视频压缩卡和相应的软件， 不同的视频膏可以连接1 4 路视频信号，支持实时视频和音频，是第一代模拟监控系统升级实现数 字化的可选方案。多媒体：_ i ：控监控系统的特点有：视频、音频信号的采集、存储主要为数字形式； 系统的功能较为强人和完善；灵活性较好；而且可以和信息系统交换数据。该系统也存在一些缺点， 土要是要实现远距离的视频监控，需要在通信的两端安装设备，建设成本高，不易于维护。但是因 为它的可靠性，第矗二代系统，“泛应用丁银行监控系统。 基于嵌入式网络视频服务器编解码器的网络数字化视频监控是将传统的模拟信号转换为数字 信号，通过网络来传输，借助丁智能化的计算机软件来处理相关信息。系统将媒体数据以及控制系 统以i p 数据包的形式在网络上传输，实现了媒体数据的数字化、系统的网络化、管理的智能化。该 系统具有明显的优点：不需要为新建的监控系统增加设备，可以很轻松的实现远程视频监控。系统 的可扩展性强，只要有网络的地方都可以扩展成新的监控点。系统维护费用低，现场设备具有即插 即用特点。系统的功能也很强大，全数字化的录像便于存储和事后的检索。 目前一般远程视频监控系统主要还是第二代的监控系统，其视频数据的压缩和解压完全基于p c 的视频卡来完成，这样视频前端( c c d 等视频信号的采集、压缩、传输) 比较复杂，可靠性和稳定 性不高，价格也较为昂贵，所占空间也较人【5 l 。而且，市场上绝人多数的产品在客户端播放器与服 务器连接的时候，采用的是各自的私有标准。也就是说，如果用户不使用系统提供商的播放器程序 而使用标准的如w i n d o w sm e d i ap l a y e r 播放器将不能和服务器取得连接。这样在很大程度上限制了 用户的使用，尤其是在严格限制软件安装的场合。而人们对视频监控的要求却在不断的提高，从煤 矿虑急处理到生活小区的安全录像，都迫切的需要体积小、功能强大且标准、具有网络化的视频监 控设备。基丁嵌入式视频服务器技术的第三代远程视频监控，以嵌入式视频服务器为核心，成为监 控领域将米的发展趋势。以嵌入式技术为核心的视频监控系统可以装在小的盒子中，与监控中心的 连接只需要计算机网络连接。同时可以远程控制，实时采集和传输图像。在某些场合甚至可以存储 录像以便查询。同时，嵌入式视频服务器成本较之第二代的监控系统低廉，对特殊要求的应用可以 特别设计。在软件方面，可选择标准的媒体数据传输协议设计，崩户只需要通过常见的客户端就可 以和服务器连接取得视频图像，实现了智能控制。以嵌入式视频服务器为代表的第三代监控系统的 结构如图1 1 所示。 e n c o d e r l i v ep l a y e r i c l i e n t 录像服务器 后处理系统 图1 - 1 以嵌入式视频服务器为核心的视频监控系统 2 第一章绪论 在图卜1 中，嵌入式视频服务器前端接摄像头，视频经服务器编码后，通过网络传送到远程的 客户端，客户通过相应软件观看视频。视频服务器目前硬件设计基础已经成熟，采用微内核技术的 实时多任务、多用户、分布式系统可以高效的运行在系统硬件平台上，以保证抢先任务的调度算法 的快速响应。硬件时钟频率已经达到白兆赫兹的量级，完全满足了多媒体以及网络对硬件的需求。 同时，系统软硬件均可采用模块化、标准化的设计，调试和维护系统都会很方便。 1 3 论文的挑战和研究目标 为了满足日常视频监控的要求，本服务器系统必须能高可靠性的j r = 作在局域网环境中。网络参 数会给它的性能带来比较大的影响。另外嵌入式系统的性能有限，在高负载的情况下实时性能会下 降【6 j 。一卜- 面分点描述： 第一，网络带宽。网络带宽是影响媒体q o s 的重要因素。实际网络带宽随时间变化示意图如图 1 2 所示。由于媒体数据传输的平均码率较大，传输的时间也相对较艮，因而需要有足够且稳定的 网络带宽作为保障。然而，目前i n t e r n e t 尚未采用r s v p ( r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) 7 1 等资源 预留协议。而链路带宽和路由器都可能造成带宽瓶颈，从而使端剑端的有效带宽不能满足媒体传输 的要求。 耋 糌 捌 镄 坦 堪 皇 l 狮0 0 0 l o o 疆孵 8 00 0 0 翕0 蚰a 2 0 嘲 o | i。 11 1 l 岫如妇1l邢鼬撇抖嘲怖 l i l 3 0 04 9 裁如 时间，s 图卜2 实际网络带宽随时间变化示意图 第二，分组丢失率( p a c k e tl o s sr a t e ) 。分组丢失率是i n t e m e t 的一个特性。网络传输中媒体分组 丢失率随时间的变化示意图如图1 3 所示。由于i n t e m e t 的“尽力( b e s te f f o r t ) ”特性，当网络繁忙 时，路由器不能处理到达队列中的所有数据而丢弃新到达的数据，从而造成分组丢失。分组丢失会 引起媒体质量下降，甚至在严重的情况卜导致客户端无法解码播放。在现有的i n t c r n e t 条件下，降 低分组丢失率的基本策略是采用可靠的网络传输协议如t c p 协议。然而由于t c p 协议的网络负载 大，时延也大，不适合于媒体传输。因此可以在传输层采用u d p 协议的基础上，在应用层多做一层 协议来保证数据的可靠性。而r t p r t c p 协议【s j 正是利用了这个特点。传输媒体数据由r 1 r p 协议实 现。r t p 协议并不关心数据的可靠性，它只是一般的封装并传输。数据的可靠性由r t c p 协议来实 现。该协议会统计网络中的数据包的数量，以决定网络的发送和接收速率等。 3 述 得 水 械 囊 条 皇 g | _ i 。越l 。tl “l j - - - 。”i一 i - 。f 1 k 量j ( ：j- ioki 1 0 0 2 0 03 0 04 | 0 05 0 0 6 0 0 时间s 图卜3 网络传输中分组丢失率随时间变化示意图 第三，网络延迟。网络延迟是由媒体流跨越多个子网和路由器造成的【引。一种延迟是端到端的 网络延迟，它对不同流媒体应用的影响也不尽相同。端到端的网络延迟造成点播类型应用的启动延 迟，但在服务过程中用户对端剑端的延迟并不敏感。对于视频监控，用户对端剑端的网络延迟则非 常敏感。另一种延迟是突发性网络延迟。路由器接收突发流量时可导致突发性网络延迟。突发性网 络延迟可以造成抖动问题。 第四，系统的总体性能。媒体应用不仅要考虑到端到端的q o s ，还要考虑系统整体性能。视频 服务器常常用可同时支持的最大用户数米衡量系统效率，组播是提高系统效率的有效手段。除了提 高系统硬件能力的同时，还要设计高效的资源管理策略与调度算法，或利用分布式、层次结构等模 型提高系统效率。 本文中设计的系统，综合运用算法、体系结构、优化技巧等手段克服这些参数对系统性能带来 的挑战，通过合理配置服务器的通信地址后，服务器可以接受播放器的r t s p 连接请求。服务器中 采用的r t s p 状态机得到连接请求，并能够给出正确的响应。如果连接访i - j 许可，采集的媒体数据 经过标准实时传输协议传输给客户端播放器，以便播放器正确解码获取图像信息。服务器支持多个 播放器同时连接的情况。服务器监控的图像通道须达到四个通道的要求，可以设置d l 、c i f 【1 0 1 等常 用的分辨率。在出现异常的时候服务器可以通过自动重新启动来更正错误。 服务器采用的视频、音频压缩标准和使用的网络协议都是国际通用的标准，这些标准的设计和 实现对用户是完全透明的，用户可以在不用知道服务器具体细：管的前提下使用该系统来监测实时图 像。媒体压缩标准在保证媒体数据质量的基础上，尽量采取高压缩比的标准来减少网络中的数据量。 支持标准的客户端播放器包含q u i e k t i m ep l a y e d l l 】、m e d i ap l a y e r1 0 等。 1 4 论文的组织结构 本文首先描述了视频监控系统的发展，提出了目前流行的嵌入式视频服务器设计的总体方案。 本系统中视频采用m p e g - 4 压缩编码，在客户端可以达到优质画面的效果。随着嵌入式技术的发展， 嵌入式视频服务器以其自身的优点必将得到广泛的应用。 第一章绪论，阐述了视频监控系统的发展历史，说明了嵌入式视频服务器的发展趋势，同 时也论述了嵌入式视频服务器在同类产品中的优势和面临的挑战。阐明了课题的研究意义和本文的 内容安排。 第二二章嵌入式视频服务器相关技术，详细介绍了本课题相关的重要技术和协议，包含流媒 体的概念、多媒体实时流传输协议以及控制协议、实时流协议和会话描述协议等。 第三章系统开发环境设计，介绍了本系统视频服务器的总体设计原则，就硬件和系统的引 4 帕 o 第一章绪论 导程序b o o f l o a d e r 的启动以及嵌入式交叉编泽环境的构建方法进行详细的阐述。 第四章介绍了本系统中用到的视频音频压缩技术和实现。针对硬件平台的特点，本章对音 频压缩算法的实现还进行了优化设计。 第五章视频服务器主要功能模块的实现，详细描述了基1 - j r t p l i b 的r t p 库的服务器媒 体数据发送线程的实现，同时分析了j r t p l i b 的代码结构。另外，本章还针对性的介绍了视频服务 器各线程的设计和功能。最后，通过例子模拟了服务器接收请求剑事件响应的过程。 第六章总结与展望，总结了本系统的特点和优点，在已有的基础上对进一步研究提出了展 望。 5 东南大学硕上学位论文 2 1 流媒体概念 第2 章流媒体相关的网络协议 在网络上传输音频或视频等媒体信息的方式，目前主要有下载和流式传输两种方案。音视频文 件一般都较人，所以需要的存储容量也较大。同时由于网络带宽的限制，下载常常要花数分钟甚至 数小时，所以这种处理方法延迟也很人。流式传输时，声音、影像或动画等时基媒体由音视频服务 器向用户计算机的连续、实时传送，用户只需经过几秒或十几秒的启动延时即可进行观看。当声音 等时基媒体在客户机上播放时，文件的剩余部分将在后台从服务器内继续下载。流式传输不仅使启 动延时大大缩短，而且不需要过多的缓存，从而避免了用户必须等待整个文件全部从i n t e r n e t 上下 载才能观看的缺点。 流式传输的定义很广泛，现在主要指通过网络传送媒体( 如视频、音频) 技术的总称，其特定 含义为通过i n t e r n e t 将影视节目传送剑p c 机。流式传输有两种方法：顺序流式传输( p r o g r e s s i v e s t r e a m i n g ) 和实时流式传输( r e a lt i m es t r e a m i n g ) 2 1 。一般说来，顺序流式传输只能按序获得文件的信 息，不能跳跃式观看，常用的h t t p 服务器传输文件就是通过顺序流发送。实时流式传输使用如r t s p 的实时协议，可以根据用户连接调整速度。常见的视频因为支持随机访问可以看成是一种实时广播 方式。 2 1 1 j 顿序流式传输 顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给定时刻，用户只能观 看已下载的那部分，而不能跳到还未。卜载的前头部分，顺序流式传输不像实时流式传输在传输期间 根据用户连接的速度做调整。由于标准的h t t p 服务器可发送这种形式的文件，也不需要其他特殊 协议，它经常被称作h t t p 流式传输。顺序流式传输比较适合高质量的短片段，如片头、片尾和。 告，由于该文件在播放前观看的部分是无损下载的，这种方法保证电影播放的最终质量。这意味着 用户在观看前必须经历延迟，对较慢的连接尤其如此。 顺序流式文件是放在标准h n p 或f t p 服务器上，易于管理，基本上与防火墙无关。顺序流式 传输不适合长片段和有随机访问要求的视频，如：讲座、演说与演示。它也不支持现场广播，严格 说来，它是一种点播技术。 2 1 2 实时流式传输 实时流式传输指保证媒体信号带宽与网络连接匹配，使媒体可被实时观看到。实时流与h 1 限 流式传输不同，需要专用的流媒体服务器与传输协议。 实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用户可快进或后退以观看 前面或后面的内容。理论上，实时流一经播放就可不停r i ：。但实际上可能发生周期暂停。 实时流式传输必须匹配连接带宽，这意昧着在以调制解调器速度连接时图像质量较差，而且， 由于出错丢失的信息被忽略掉，网络拥挤或出现问题时，视频质量很差。如欲保证视频质量，顺序 流式传输会更好。实时流式传输需要特定服务器，如q u i c k t i m es t r e a m i n gs e r v e r , r e a ls e r v e r 或 w i n d c w sm e d i as e r v e r 。这些服务器允许对媒体发送进行更多级别的控制，因而系统设置、管理比标 准h t r p 服务器更复杂。实时流式传输还需要特殊网络协议，如r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 或m m s ( m i c r o s o f tm e d i as e r v e rp r o t o c 0 1 ) 1 1 3 】。这些协议在有防火墙时有时会出现问题，导致用户不 能看到一些地点的实时内容。 6 第二章流媒体相关的网络协议 2 2 流媒体传输的网络协议 2 2 1r t p i u c p ( 1 ) r t p r t c p 协议概述p j 现在基于i p 协议的互联网难以有效支持实时应用，对丁实时传输、服务质量等问题难以解决。 因此住这种情况下，i e t f 音视频i ：作组( i e t f a 、，1 ) 制定了一些新的协议，例如资源预留协议 ( r s v p ) 和实时传输协议实时传输控制协议( i 玎p i 玎c p ) ，它使现有的i p 网络在理论上具有提供 多媒体实时传输的能力，其中r t p r t c p 是网络多媒体应用中的核心协议之一。 r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是用t i n t e r n e t 上针对多媒体数据流的一种实时传输协议，提 供端对端的传输服务。r t p 被定义为在一对一或一对多的传输情况下t 作，其目的是提供时间信息 和实现流同步。它1 f 常适合用来传输实时性数据，例如声音、图像或者仿真数据等。r t p 通常使用 u d p 来传送数据，但r t p 也可以在t c p 或a t m 等其他协议层之上丁作。如果底层网络提供组播分配， 那么r t p 可以使用该组播分配支持多路目标文件的数据传输。r t p 不属于内核的一部分，用户需要在 应用程序中根据协议来封装数据，然后把封装后的数据交给下层的传输协议( 例如u d p ) 打包发送， 同样在接收端也需要在应用程序中解包。r t p 数据分组没有包含长度域或其它边界。冈此r t p 依赖与 下层网络提供一个长度的表示。r t p 分组的最大长度仅仅被下层网络限制。采用用户数据报协议( u s e r d a t a g r a mp r o g r a m ，u d p ) 作为r t p 传输的下层协议时数据封装情形如图2 1 。 图2 - 1 利用u d p 传输的r t p 数据包层次结构 r t p 本身并没有为及时传送提供任何机制或其它质量服务q o s 保证，但它依赖于低层服务去实 现这一过程。它并不能为按顺序传送数据包提供可靠的传送机制，也不提供流量控制或拥塞控制， 它依靠r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 提供这些服务。r t c p 与r 1 曙是一对匹配的协议。 r t c p 在r t p 提供数据传输服务期间提供流量控制和拥塞控制服务。在r t p 会话期间，各参与者周 期性地传送r t c p 包。r t c p 包中含有已发送的数据包的数量、丢失的数据包的数量等统计资料， 因此，服务器可以利用这些信息动态地改变传输速率，其至改变有效载荷类型。r t p 和r t c p 配合 使用，它们能以有效的反馈和最小的开销使传输效率最佳化，因而特别适合传送网上的实时数据， 本系统设计就是利用r t p 来传输视频监控的数据。下面简单介绍下协议结构。r t c p 主要提供四个 方面的功能： 用反馈信息的方法来提供分配数据的传送质量，这种反馈可以用来进行流量的拥塞控制， 也可以用来监视网络和用来诊断网络中的问题。 为r t p 源提供一个永久性的c n a m e ( 规范性名字) 的传送层标志，因为在发现冲突或者 程序更新重启时s s r c ( 同步源标识) 会变，需要一个运作痕迹，在一组相关的会话中接 收方也要用c n a m e 来从一个指定的与会者得到相联系的数据流( 如音频和视频) 。 7 东南大学颂l ：学位论文 根据与会者的数量来调整r t c p 包的发送率。 传送会话控制信息，如可在刚户接口上显示与会者的标识，这是可选功能。 丁作时，r r p 协议从上层接收流媒体信息码流( 如m p e g _ 4 压缩数据) ，装配成r t p 数据包发 送给下层，一卜层协议提供r t p 和r t c p 的分流。如在u d p 中，r t p 使用一个偶数号端口，则相应 的r t c p 使用其后的奇数号端口。r t p 数据包没有长度限制，它的最大包长只受一卜层协议的限 制。r t c p 的关键作用就是能让接收方同步多个r t p 流，例如：当音频与视频一起传输的时候，由 丁编码的不同，r t p 使崩两个流分别进行传输，这样两个流的时间戳以不同的速率运行，接收方必 须同步两个流，以保证声音与影像的一致。为能进行流同步，r t c p 要求发送方给每个传送分配唯 一的标识数据源的规范名( c a n o n i c a l n a m e ) ，尽管由一个数据源发出的不同的流具有不同的同步源 标识( s s r c ) ，但具有相同的规范名，这样接收方就知道哪些流是有关联的。而发送方报告报文所 包含的信息可被接收方用于协调两个流中的时间戳值。发送方报告中含有一个以网络时间协议n t p ( n e t w o r kt i m ep r o t o c 0 1 ) 格式表示的绝对时间值，接着r t c p 报告中给出一个r t p 时间戳值，产 生该值的时钟就是产生r t p 分组中的t i m e s t a m p 字段的那个时钟。由于发送方发出的所有流和发送 方报告都使用同一个绝对时钟，接收方就可以比较来自同一数据源的两个流的绝对时间，从而确定 如何将一个流中的时间戳值映射到另一个流中的时间戳值。 ( 2 ) r t p r t c p 协议结构嘲 表2 1 表示了r t p 的协议结构，在应用程序中作为一个数据包的包头( h e a d e r ) ，在头部信息中包 含r t p 的信息，包头后面才是有效视频数据。 。 表2 - 1r t p 头字段信息 vpx c cm p t 序列号 时间戳f n m es t a m p ) 3 2 b i t 同步源标识( s s r c ) 3 2 b i t 贡献源标识( c s r c ) 3 2 b i t v ：r t p 版本号( v e r s i o n ，2 b i t s ) ，通常v = 2 ，因为v = i 是r t p 的一个草稿版本。v 用来识别r n 的版本。 p ：间隙( p a d d i n g ，l b i t ) 。p = i 时，数据包包含一个或多个附加间隙位组，其中这部分不属于有 效载荷。 x ：扩展位( e x t e n s i o n ，i b i t ) 。x - - i 时，在固定头后面，根据指定格式设置一个扩展头。 c c ：c s r cc o u n t ( 4 b i t s ) 包含c s r c 标识符( 在固定头后) 的编号。 m ：标记( 1b it ) 。标记由p r o f i l e 文件定义。允许重要事件在数据包流中进行标记。标志位的功 能依赖于数据类型。例如可以用此标志位来标识m p e g 数据传输中每帧的结束。 p t ：载荷类型( p a y l o a dt y p e ，7 b i t s ) ，识别r t p 有效载荷的格式，并通过应用程序决定其解释。 p r o f i l e 文件规定了从p a y l o a d 编码至1 p a y l o a d 格式的缺省静态映射。另外的p a y l o a dt y p e 编码可能通过 非r t p 方法实现动态定义。动态定义的类型编号从9 6 开始。目前r t p 所能支持的视频和音频的有效载 荷类型 1 4 1 见表2 2 ： 表2 - 2r t p 所支持的声音有效载荷类型 有效载荷类型名称媒体类型 采样率( k h z )数据速率( k b s ) op c m ua8 、6 4 3g s ma8 3 2 8 第二章流媒体相关的网络协议 有效载荷类型名称媒体类型 采样率( k h z )数据速率( k b s ) 4 g 7 2 3a8 6 d v i a 1 6 6 4 7l p ca82 4 8 p c m a a 8 6 4 9g 7 2 2a84 8 6 4 1 0l 1 6a4 4 17 0 5 6 1 4 m p e g a u d i o a 9 0 1 5g 7 2 8a81 6 1 8g 7 2 9a 8 2 6j p e g v 9 0 3 lh 2 6 1v 9 0 3 2m p vv9 0 3 4 h 2 6 3 v 9 0 续表 s e q u e n c en u m b e r ：顺序号，| 6 b i t s ，每发送一个r t p 数据包，序列号增加l 。接收方可以以此检 测数据包的丢失并恢复数据包序列。 t i m e s t a m p ：时间戳，3 2 b i t s ，反映r t p 数据包中的第一个八位组的采样时间。采样时间必须通过 时钟及时提供线性无变化增量获