（信号与信息处理专业论文）流媒体技术在视频监控系统中的应用.pdf

南京邮电大学 硕士学位论文摘要 学科、专业：信息与通信工程信号与信息处理 研究方向：图像处理与多媒体通信 作者：田涛 指导教师：卢官明 7 j f 删舢f f jy 17 5 4 9 题目：流媒体技术在视频监控系统中的应用 英文题目：1 1 1 ea p p l i c a t i o no fs t r e a m i n gm e d i at e c h n i q u ei nv i d e o s u r v e i l l a n c es y s t e m 主题词：视频监控系统，流媒体，r t p r t c p ，多线程 k e y w o r d s ：v i d e o s u r v e i l l a n c es y s t e m , s t r e a m i n gm e d i a , r t p r t c p , m u l t i t h r e a d i n g 南京邮电大学硕士研究生学位论文 中文摘要 摘要 目前视频监控技术正向着数字化、网络化、移动化、智能化和功能综合化的方向发展， 流媒体技术作为多媒体与网络相结合的技术，其应用和研究也得到迅速发展。基于流媒体 技术的视频监控系统功能更加完善，其监控时效和监控质量都得到了提高，在各行各业已 经得到了广泛的应用和长足的发展。 本课题来源于南京邮电大学和杭州华三通信技术有限公司的合作项目。本文主要工作 集中在视频监控系统的媒体播放器软件的设计开发和流媒体技术在视频监控系统中的应 用研究，包括以下几个部分：( 1 ) 首先对流媒体技术及其传输协议做了比较深入的研究分 析，在此基础上介绍了视频监控系统的总体框架，包括系统的组成、功能和体系结构；( 2 ) 结合相关的d i r e c t d r a w 、多线程、a c t i v e x 控件等技术，设计并实现视频监控系统的媒体 播放器软件，包括视频监控系统客户端和服务器之问的交互协议，以及系统的主要功能模 块设计：( 3 ) 提出了以块文件的方式存储非实时流媒体数据，使用开源的j r t p l i b 库，分 别设计实现了非实时和实时媒体流数据的传输播放，并结合多种缓存技术，有效提高了媒 体流数据的传输播放质量。 关键词：视频监控系统，流媒体，r t p r t c p ，多线程 南京邮电大学硕士研究生学位论文 a bs t r a c t t h ec u r r e n tt r e n d so fv i d e os u r v e i l l a n c et e c h n o l o g ya l ed i g i t a l ，n e t w o r k , m o b i l e ，i n t e l l i g e n t a n di n t e g r a t i o n s t r e a m i n gm e d i at e e l m i q u e 硒t h ec o m b i n a t i o no fm u l t i m e d i aa n dn e t w o r k t e c h n i q u eh a sb e e nr a p i dd e v e l o p m e n ti ni t sa p p l i c a t i o n sa n dr e s e a r c h t h ec o m b i n a t i o no f s t r e a m i n gm e d i aa n dv i d e os u r v e i l l a n c es y s t e mm a k e st h es y s t e mh a v em o r ef u n c t i o n s ，s h o r t e r a c c e s s i n gt i m e sa n db e t t e rr e v i e w i n ge f f e c t s a sar e s u l t , v i d e os u r v e i l l a n c es y s t e mb a s e do n s t r e a m i n gm e d i at e c h n i q u e s h a sf o u n dw i d ea p p l i c a t i o n si nm a n yf i e l d s t h i s t o p i cc ：i d m c s 1 6 r 0 i nt h ec o o p e r a t i o np r o j e c to fn a n j i n gu n i v e r s i t yo fp o s t sa n d t e l e c o m m u n i c a t i o n sa n dh a n g z h o uh u a s a nc o m p a n y t h i st h e s i sm a i n l yc o n c e n t r a t e so n d e s i g n i n ga n dd e v e l o p i n gt h ev i d e os u r v e i l l a n c es y s t e m sm e d i ap l a y e rs o f t w a r ea n ds t u d y i n g t h ea p p l i c a t i o no f s t r e a m i n gm e d i at e c h n i q u ei nt h i ss y s t e m , i n c l u d i n gt h ef o l l o w i n gs e c t i o n s ：( 1 ) f i r s t l yw et a k ea l la n a l y s i so nt h ec h a r a c t e r i s t i c so fs t r e a m i n gm e d i at e c h n i q u e s ，t h e nat h o r o u g h a n a l y s i sa n dd e s i g no fv i d e os u r v e i f l a n c es y s t e mi s 珈l a 曲，w h i c hi n c l u d e st h ec o n s t n s 出o n , 雠 f u l 粥t i o n sa n dt h es t r u c t u r eo fv i d e os u r v e i l l a n c es y s t e m ；( 2 ) w a t ht h er e l e v a n tt e c h n o l o g i e s , s u c h a sd i r e e l d 魁w , m u l t i t h r e a d i n g , a c t i v e xc o n l r o l s ，d e s i g na n dr e a l i z em e d i ap l a y 露s o f t w a r e , i l u a i n gt h ei n t e r a c t i v ep r o t o c o lb e h 煳c l i e n ta n ds e l v ea n dt h ed e s i g no fs o m em a i nm o d u l e s ； o ) p r o p o s et os a v en o n - r e a l - t i m es n e a m h l gm e d i ad a t aa sb l o c kf i l e s ，u s i n go p e n - s o u r c e j r t p l i bl i b r a r y , r e s p e c t i v e l yr e a l i z et h et r a n s m i s s i o na n dp l a y b a c ko fs t r e a m i n gm e d i ad a t a , t h e nc o m b i n e dw i t ho t h e rc a c h i n gt e c h n i q u e st oi m p r o v ei t st r a n s m i s s i o na n dp l a y b a c k 删i 锣 e f f e c t i v e l y k e y w o r d s ：v i d e o s u r v e i l l a n c es y s t e m ，s t r e a m i n gm e d i a , r t p r t c p , m u l t i t h r e a d i n g h 南京邮电大学硕士研究生学位论文目录 目录 摘要i a b s t r a c t i i 目j 录i i i 第一章绪论：1 1 1 课题研究背景和意义i 1 2 视频监控发展历程l 1 2 1 模拟视频监控系统l 1 2 2 数字视频监控系统2 1 2 3 全数字化远程视频监控系统3 1 3 国内外研究现状 1 4 课题来源及主要工作 1 5 本文的章节安排 第二章流媒体技术及其协议 2 1 流媒体技术原理 2 2 流媒体传输方式 2 3 流媒体传输协议。7 2 3 1 实时传输协议r t p 7 2 3 2 实时传输控制协议r 1 p 。9 2 3 3 实时流协议r t s p 1 0 2 3 4 资源预留协议r s v p l l 2 4 本章小结1l 第三章视频监控系统简介1 2 3 1 视频监控系统各结构组件1 2 3 2 视频监控系统组网15 3 3 视频监控系统业务功能1 6 3 4 本章小结。1 7 第四章视频监控系统媒体播放器软件设计与实现。1 8 4 1 视频监控系统客户端18 4 1 1 客户端软件结构。l8 4 1 2 客户端软件业务介绍2 0 4 2 媒体播放器软件。2 0 i l l 南京邮电大学硕士研究生学位论文目录 4 2 1 关键技术的研究与分析2 2 4 2 2 视频监控系统私有协议咿2 5 4 2 3 媒体播放器的框架设计和实现“2 7 4 3 本章小结3 2 第五章媒体流传输播放业务的实现。3 3 5 1 点播回放业务3 3 5 1 1ms a n 和i s c s i 协议3 3 5 1 2 块文件私有格式介绍。3 4 5 1 - 3 点播回放业务的实现。4 0 5 1 4 点播回放加缓存技术。4 2 5 1 5 点播回放业务测试结果。4 6 5 2 实时监控业务4 7 5 2 1 实时监控业务的实现4 7 5 2 2 实时媒体流传输的研究与实现。5 0 5 2 3 实时媒体流处理策略。5 4 5 2 4 实时监控业务测试结果。5 7 5 3 本章小结。5 7 第六章总结与展望。 致谢 5 8 参考文献。 攻读硕士学位期间发表的论文 i v 6 0 南京邮电大学硕士研究生学位论文 第一章绪论 1 1 课题研究背景和意义 第一章绪论 社会在发展，财富在积累，一方面标志着社会的富足，另一方面金融证券部门、企事 业单位和家庭住宅等涉及钱、财、物的场所，面临被抢盗的危险性也随着增加。时代在进 步，技术在更新，进入信息化时代的今天，各种各样保卫公共财富和家庭安全的设备不断 推陈出新，呈现出快速发展的势头。除人工防范和实体防护外，以技术手段实现对目标的 安全防范最为有效，成为破坏者难以逾越的屏障。安全防范监控系统仍是以保障安全为目 标而建立起来的技术防范系统，以现代物理和电子技术及时发现入侵破坏行为、产生声光 报警阻吓罪犯、实时录下事发现场图像和声音提供破案凭证，以及提醒值班人员采取适当 的物理防范措施和警报，其应用面较广，涉及政府单位办公大楼、高档写字楼、星级饭店、 金融保险单位、文物博物馆、军事设施、大中型商场、机场地铁码头等各种比较重要的场 合。视频监控系统从诞生之日起，就在国民经济的发展中起到了十分重要的作用，它对确 保人民生命财产的安全，确保生产过程自动化的安全运行等方面起到了很好的作用，且对 生产管理也有重要意义【l 】。 中国将陆续主办2 0 1 0 年世博会和1 6 届亚运会等大型活动，中国的安防行业面临着如 何保证大型国际活动的参与者和大量游客的安全，确保活动顺利进行的新挑战，安防监控 系统行业随着经济和社会的发展而越发成为国民经济中不可或缺的产业之一。 1 2 视频监控发展历程 视频监控系统的发展与电子、通信的发展息息相关，就其发展的阶段看，主要经历了 模拟视频监控系统、数字视频监控系统和网络全数字视频监控系统三个阶段1 2 1 。 1 2 1 模拟视频监控系统 模拟监控系统发展较早，在2 0 世纪9 0 年代初以前，主要是以v c r ( v i d e oc a s s e t t e r e c o r d e r s ) 模拟设备为主的闭路电视监控系统【2 】，称为第一代模拟监控系统。图像信息采 用视频电缆，以模拟方式传输，一般传输距离不能太远，主要应用于小范围内的监控，监 l 南京邮电大学硕士研究生学位论文第一章绪论 控图像一般只能在控制中心查看。 模拟视频监控系统主要由摄像机、视频矩阵、监视器、录像机等组成，利用模拟视频 线将来自摄像机的视频连接到监视器上，利用视频矩阵主机，采用键盘进行切换和控制， 录像采用使用磁带的长时间录像机，远距离图像传输采用模拟光纤，利用光端机进行视频 的传输。 传统的模拟视频监控系统有很多局限性：( 1 ) 有线模拟视频信号的传输对距离十分敏 感：( 2 ) 有线模拟视频监控无法联网，只能以点对点的方式监视现场，并且使得布线工程 量极大；( 3 ) 有线模拟视频信号数据的存储会耗费大量的存储介质( 如录像带) ，查询取 证时十分烦琐；( 4 ) 维护工作繁琐、无法进行远程访问、无法与其他安防系统( 如门禁、 周界防护等) 有效集成、录像质量将会随着时间的推移下降等【3 】。 1 2 2 数字视频监控系统 所谓的数字视频监控系统 4 1 应该是半数字模式的。视频以模拟方式采用同轴电缆进行 传输由多媒体控制主机或硬盘录像主机进行数字处理与存贮。2 0 世纪9 0 年代中期，以数 字硬盘录像机( d v r , d i g i t a lv i d e o 黜i d 贸) 为代表的基于p c 的多媒体监控随着数字视 频压缩编码技术的发展而产生。d v r 采用微机和w m d o w s 平台，在计算机中安装视频压 缩卡和相应的d v r 软件，不同型号视频卡可连接1 2 4 路视频，支持实时视频和音频，是 第一代模拟监控系统升级实现数字化的可选方案，适合传统监控系统的改造，不适合新建 的监控系统、又要求实现远程视频传输( 超过l - 2 公里) 的系统。 d v r 系统从监控点到监控中心为模拟方式传输，与第一代系统相似存在许多缺陷，要 实现远距离视频传输需铺设光缆，在光缆两端安装视频光端机设备，系统建设成本高、不 易维护、且维护费用较大。随着信息处理技术的不断发展，嵌入式d v r 系统近几年异军 突起，由于其可靠性高、使用安装方便，在银行系统应用特别广泛，我们通常称嵌入式d v r 为2 5 代监控系统。 数字视频监控系统的特点是：视频、音频信号的采集、存储主要为数字形式，质量较 高；系统功能较为强大、完善；与信息系统可以交换数据，应用的灵活性较好。存在的问 题有：通常只适合于小范围的区域，监控模拟视频信号的传输工具主要是同轴电缆，而同 轴电缆传输模拟视频信号的距离不大于l k m ，双绞线的距离更短，这就决定了模拟监控只 适合于单个大楼、小的居民区以及其它小范围的场所，系统的扩展能力差，对于己经建好 的系统，如要增加新的监控点，往往是牵一发而动全身，新的设备也很难添加到原有的系 统之中，无法形成有效的报警联动，在模拟监控系统中，由于各部分独立运作，相互之间 2 南京邮电大学硕士研究生学位论文第一章绪论 的控制协议很难互通，联动只能在有限的范围内进行。 数字信号控制的模拟视频监控系统分为基于微处理器的视频切换控制加p c 机的多媒 体管理和基于p c 机实现对矩阵主机的切换控制及对系统的多媒体管理两种类型【4 】：( 1 ) 基于微处理器的视频切换控制加p c 机的多媒体管理类型。8 0 年代是微处理器的年代，视 频监控系统利用微处理器固件发展的矩阵切换器，将原来分散的全硬件视频监控系统微型 集中化，如将视频切换、对前端的控制等功能集合一起，是技术上的一个突破；( 2 ) 基于 p c 机实现对矩阵主机的切换、控制和对系统的多媒体管理。基于p c 机的视频监控系统采 用软件设计，实现摄像机到监视器的视频矩阵切换、云台和镜头的控制，通过串口连接报 警设备的报警信息，并通过程序编程自动完成视频切换、云台控制、报警联动、报警录像 等各项控制功能。 系统能充分利用p c 机的资源，使视频监控系统随电脑技术的发展而不断进步，同时 其开放性的结构特性更可使之与其它多种系统如与消防报警系统、出入口管理系统、楼宇 自控系统等实现互动集成。 1 2 3 全数字化远程视频监控系统 2 0 世纪9 0 年代末，随着网络带宽、计算机处理能力和存储容量的快速提高，以及各种 实用视频处理技术的出现，视频监控步入了全数字化的网络时代称为第三代全数化远程 视频监控系统【5 l ，它的前端图像采集设备输出时即为数字信号，并以网络为传输媒介，基于 国际通用的t c p i p 协议，采用流媒体技术实现视频在网上的多路复用传输，并通过设在网 上的网络虚拟( 数字) 矩阵控制主机来实现对整个监控系统的指挥、调度、存贮、授权控 制等功能。此外报警、门禁、巡更等前端设备输出的数字信号也可由多网合一的方式通过 网络复用进行传输并在同一平台上进行管理与控制。 现今视频监控系统已经步入了全数字时代1 6 3 。这将从根本上改变视频监控系统从信息 采集、传输处理、系统控制的方式和结构形式，也标志着监控正在走向现代“四化 1 7 j 阶 段即：( 1 ) 前端一体化：监控系统前端一体化意味着多种技术的整合、嵌入式构架、适用 和适应性更强以及不同探测设备的整合输出，为系统集成化奠定了基础：( 2 ) 传输网络化： 视频监控系统的网络化意味着系统的结构将由集总式向集散式系统发展，集散式系统采用 多层分级的结构形式，将使整个网络系统硬件和软件资源以及任务和负载得以共享，这也 是系统集成与整合的重要基础；( 3 ) 处理数字化：信息处理数字化意味着信息流的数字化、 编码压缩、开放式的协议，具有微内核技术的实时多任务、多用户、分布式操作系统，以 实现抢先任务调度算法的快速响应，硬件和软件采用标准化、模块化和系列化的设计，系 3 南京邮电大学硕士研究生学位论文第一章绪论 统设备的配置具有通用性强、开放性好、系统组态灵活、控制功能完善、数据处理方便、 人机界面友好以及系统安装、调试和维修简单化，系统运行互为热备份，容错可靠等功能； ( 4 ) 系统集成化：系统集成化正是由于构建系统的各子系统均实现了网络化和数字化， 特别是使视频监控系统与弱电系统中其它各子系统间实现无缝连接，从而实现了在统一的 操作平台上进行管理和控制。 1 3 国内外研究现状 从具体应用来看，一个完整的监控解决方案，包含规划、部署、管理、维护、扩展、 应用等多个环节，必须依托开放架构，通过高效融合创造简单化应用。实际情况是，流媒 体技术和网络技术的结合应用，确实能使视频监控系统建设和应用变得更加简单。因此， 国内外许多厂商已着手通过高品质口网络和流媒体技术，来实现视频编码传输，提供高品 质数字图像，并实现联网监控管理，扩大视频监控的应用规模和范围。 从视频监控应用趋势来看，规模化、数字化、网络化是必由之路网。对于用户来说， 目的就是希望监控系统使用起来不复杂，管理维护很简单，而且能够实现预期效果。从系 统构建、操作使用、管理维护、应用整合等角度着手，将视频监控跨领域的核心技术有机 融合，打造高效率监控系统，是满足日益增长的规模化应用需求，也是未来视频监控的发 展趋势。 1 4 课题来源及主要工作 本课题来源于南京邮电大学和杭州华三通信技术有限公司的合作项目，该项目主要是 华三公司的i v s 视频监控系统的设计开发工作，本课题的主要内容包括： ( 1 ) 分析研究流媒体技术的原理及其开发技术； ( 2 ) 介绍分析基于流媒体技术的视频监控系统的结构设计； ( 3 ) 设计实现基于a e f i v e x 控件和多线程技术的媒体播放器软件； ( 4 ) 设计实现实时和非实时媒体流的传输播放业务。 1 5 本文的章节安排 根据本课题的研究思路和设计模块划分，依据理论和实际相结合的原则，本文主要划 分为以下几个部分： 第一章绪论部分，概要性地介绍本课题的来源，研究背景和意义，国内外的研究现状， 4 塑室堕皇奎堂堡主里壅生兰垡笙奎苎二兰竺笙 以及论文结构和内容的具体安排。 第二章为流媒体相关技术的概述，主要介绍了流媒体的基本概念、技术原理与特点， 流媒体的传输协议与方式。 第三章介绍说明了视频监控系统的设计思想、系统框架以及各构成组件。 第四章设计实现了视频监控系统的媒体播放器控件。 第五章将流媒体技术应用于实践之中，在媒体播放器控件中实现实时和非实时流媒体 的传输与播放业务。 第六章为总结和展望，对本课题研究过程的工作进行总结，并对今后进一步研究本课 题提出建议。 南京邮电大学硕士研究生学位论文第二章流媒体技术及其协议 第二章流媒体技术及其协议 随着多媒体技术的不断发展和网络的不断普及，多媒体和网络的交叉课题一流媒体技术 的发展成为一个必然的结果。流媒体( s t r e a m i n gm e d i a ) 【9 】是一种可以使音频、视频和其 它多媒体在i n t e m e t 上以实时的、无需下载等待的方式进行播放的技术。 流式传输方式是将动画、音视频等多媒体文件经过特殊的压缩方式分成一个个压缩 包，由视频服务器向用户计算机连续、实时传送。在采用流式传输方式的系统中，用户不 必像非流式播放那样等到整个文件全部下载完毕后才能看到当中的内容，而是只需经过几 秒或几十秒的启动延时即可在用户的计算机上利用相应的播放器进行播放和观看，多媒体 文件的剩余部分将在后台的服务器内继续下载。 流媒体使用流传输技术，通过口网络实时传输多媒体数据。流传输技术的思路来源于 传统的f 1 甲仳p ：服务器按照一定的顺序将文件分割成若干个数据分段，封装到分组中依 次进行传输，客户端接收到分组后重新组装起来，最终形成与原来相同的完整的文件。流 式技术就是这样一种分割技术，它把数据分成适当大小的分组，然后在服务器和客户端之 间进行传输。实时多媒体数据的处理流程分解为传输、解码和播放等几个部分客户端可 以在播放一个分组的时候，解码下一个分组，同时接收后续分组，类似于流水线操作。通 过重复使用缓冲区来存储到达的分组，因此不用储存整个媒体文件，所以节省了储存空间j 只需要较少的缓存u o l 。 流媒体实现的关键技术就是流式传输【1 1 】。流式传输的定义很广泛，现在主要指通过网 络传送媒体( 如视频、音频) 的技术总称。实现流式传输有两种方法：实时流式传输( r e a l - t i m e s t r e a m i n gt r a n s p o r t ) 和顺序流式传输( p r o g r e s s i v es t r e a m i n gt r a n s p o r t ) 。一般来说，如为 实时广播，或使用流式传输媒体服务器，或应用实时流协议( i 汀s p ) 等，即为实时流式传 输。如使用超文本传输协议( h t l 甲) 服务器，文件即通过顺序流发送，采用哪种传输方 法可以根据需要进行选择。当然，流式文件也支持在播放前完全下载到硬盘。 2 1 流媒体技术原理 实现流式传输需要缓存，因为i n t e m e t 上以包传输为基础进行断续的异步传输，对一 个实时a v 源或存储的a v 文件，在传输中它们要被分解为许多包，由于网络是动态变化 6 妻室堕皇奎堂堡主堡壅生兰垡丝壅兰三兰塑堡竺垫查墨基垫坚 的，各个包选择的路由可能不尽相同，故到达客户端的时间延迟也就不等，甚至先发的数 据包还有可能后到。为此，使用缓存系统来弥补延迟和抖动的影响，并保证数据包的顺序 正确，从而使媒体数据能连续输出，而不会因为网络暂时拥塞使播放出现停顿。通常高速 缓存所需容量并不大，因为高速缓存使用环形链表结构来存储数据：通过丢弃已经播放的 内容，流可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。流式传输的实现 需要合适的传输协议。由于t c p 需要较多的开销，故不太适合传输实时数据。在流式传输 的实现方案中，一般采用t c p i p 来传输控制信息，而用r t p u d p 来传输实时音视频数据 1 2 - 1 3 】。因为压缩的方法不同，所以实现流式传输一般都需要专用服务器和播放器。 2 2 流媒体传输方式 i n t e m e t 流媒体为传播技术带来了新的挑战，很多方面都推陈出新，相继提出了 “m u l t i e a s t 一( 多播) 、智能流等概念。 单播【1 4 】就是客户端与服务器之间点对点的连接，这也是大多数网络通信的连接方式。 在流媒体播放过程中客户端与媒体服务器之间需要建立一个单独数据通道，从一台服务器 送出的每个数据包只能传送给一个客户机，这种数据的传送方式称为单播。单播很适合于 视频点播应用。 多播也称组播【1 5 1 ，多播是一种多地址广播，其发送源和接收端是一对多的关系，也就 是说服务器只向一组特定的用户发送数据包，组中的各个用户可以共享这些数据包，而组 外的用户是无法接收到的。使用多播的好处在于原来由服务器承担的数据重复分发工作转 到路由器中完成。多播更适合现场直播应用【1 6 1 。 广播【1 7 1 是客户端被动的接收媒体流，对媒体流不具有任何的控制操作。广播是多播的 一个特例。广播又分为两类，即广播单播与广播多播，两者都是被动的接收媒体流。 点播是指客户端主动连接到服务器端的单播连接，也就是用户通过主动选取播放内容 来初始化的连接方式称为点播。点播中客户端占有主动权，对媒体流可以做开始、停滞、 后退、快进等操作。实际上点播就是一种形式的单播【l 刀。 2 3 流媒体传输协议 2 3 1 实时传输协议r t p r t p 协议是用于互联网上的针对多媒体数据流的一种传输协议【1 8 1 。r t p 被定义为在一 7 堕塞坚皇奎兰堡主塑壅竺兰垡丝壅茎三兰堕堡竺垫查墨茎堡望 对一或一对多的传输情况下工作，其目的是提供时间信息和实现流同步，因此非常适合传 输音视频数据流。r t p 协议采用应用层组帧原理，只提供了基本的协议框架，使用者可以 针对具体的应用对它进行扩展。协议包括数据传输( r t p ) 和控制( i 淝p ) 两个部分。r t p 协议一般运行于u d p 层之上，这样可以直接利用u d p 提供的多点投递和数据校验等功能， 图2 1 为i m 的功能示意图。 l数据流数据块1数据块2 l 00 i r 1 1 p 头数据块1数据块2 l 。 iu i ) p 头r t p 头 数据块l数据块2 i q im 头u d p 头r t p 头数据块1 图2 - 1r t p 的功能示意图 r t p 使用的报文格式如表2 1 所示。其中版本( v ) 字段表明所用r t p 的版本，p 是 填充位，x 为扩展标记用于以后定义和添加基本头部的扩展部分。 表2 - 1r t p 报文格式 l - 2345 891 0 - 1 6 l 1 7 - 3 2 vpxc cm 净荷类型l 序列号 l 时间戳 嗣步源( s s r c ) 杯不符 贡献源( c s r c ) 杯不符【1 】 贡献源( c s r c ) 标示符【n 】 数据 1 - n 音频，视频】 在多播会话中，每个对会话起作用的参与者被称为是贡献源( 简记c s i ) ，由一个 3 2 位的标识符唯一确定。通常这个标识符是源的口地址。在多播会话过程中，为了传送 的需要，来自多个源的报文流将通过混合器进行复接。因此复用的r t p 报文可能包括来自 不同源的数字化信息块( 或帧) ，为了使接收端能够正确地将每个块与参与者相对应，在 新报文的头部就必须设置一个c s r c 标识符。而报文中这个标识符的个数则存储在c s r c 计数( c c ) 字段中。由于这是一个4 位字段，所以在r t p 报文头部最多可以存储1 5 个贡 献源。 由不同类型的音频视频编解码器产生的比特流是由一个数据块序列构成的，每一块 都有唯一的一个起始和终止分界符。与m a r k e r ( m ) 位相关的是一个轮廓文件，这个文件 8 塑室坚皇奎兰堡主堡窒生堂垡笙苎蔓三兰亟堡竺垫查墨茎垫望 使接收端能够在正确的块边界上对报文数据进行解释。而且由于有不同的编解码器，所以 在净荷类型字段要标明用于对报文数据进行编码的编码器类型。此外，因为每个报文都包 含这个字段，所以如果网络服务质量改变，那么在一次通话中所用的编码器类型也可以发 生改变。每个报文都具有用于检测丢失或无序报文的序号字段。在检测到有报文丢失的情 况下，通常将最近正确接收到的报文内容替补到这个位置上。对于收到无序报文的情况， 则采取缓存先到的报文这种方法加以克服。 时间戳字段中的值则表明生成报文的时间参考，用于判断当前的平均传输延时及延时 抖动。这个信息连同丢失的报文数构成了当前网络路径的服务质量。我们将看到，通过相 关的实时传输控制协议( r t c p ) ，这一信息被周期性的返回给发送r t p 。如果服务质量发 生变化，那么发送r t p 也会随之改变所用压缩算法的分辨率。而且，抖动水平也用来决定 所需播放缓冲区的大小。同步源( s s r c ) 标识符字段指明产生报文内容的源设备。例如， 在一次视频会议中，每个贡献源产生的数据可能来自于不同的设备( 如许多的话筒、摄像 机、计算机等) ，这时就需要用s s r c 来表明源信息来自于哪个设备。然后接收r t p 使用 这个s s r c 将重建的比特流转发给相应的输出设备接口。每收到一个p 报文，目的主机就 利用这个u d p 数据报头部中的各个字段向接收r t p 实体传送r t p 报文。而r t p 报文头部 的各个字段则可以使接收r t p 为每个与会话相关的译码设备重新构建比特流n 争矧。r t p 主 要关心与多媒体会话相关的各个数字化数据流的传输问题。 2 3 2 实时传输控制协议r t c p r t c p 协议是r t p 协议的控制部分，负责管理传输质量，在当前应用进程之间交换控 制信息。在r t p 会话期间，各参与者周期性地传送r t c p 包，包中含有已发送的数据包的 数量、丢失的数据包的数量等统计资料，因此，服务器可以利用这些信息动态地改变传输 速率，甚至改变有效载荷类型。r t p 和r t c p 配合使用，能以有效的反馈和最小的开销使 传输效率最佳化，故特别适合传送网上的实时数据 2 0 3 。r t p 主要关心与多媒体会话相关的 各个数字化数据流的传输问题。而实时传输控制协议( r t c p ) 则是在r t p 基础上添加了 一层系统层功能，例如，接收r t p 用于集成和同步各个独立的报文流的方法；通知发送 r t p 当前主要的网络服务质量的方法。因此，r t c p 与r t p 同时工作并且与其共享信息。 然而，每个r t c p 都有与之相关的不同的u d p 端口号，以使其能够独立于r t p 之外进行 工作。 在一次会话中涉及的所有系统的r t c p 互相之间周期性地交换信息。r t c p 报文中的 每一个消息被发送给与r t p 相同的网络地址，但要对应于r t c p 的端口号。其交换的消息 9 南京邮电 包括以 ( 用中， 或会议 统中的 ( 计算丢 地发送 缩算法 ( 者向其它参与者表明它要推出这个会话。而且，这种应用通过参与者系统中的r t c p 来完 成。一个参与者输入相应的信息，该信息通过其r t c p 发送给各个其它系统中的r t c p 。 通常相关信息会输出在其它系统的屏幕上； ( 4 ) 参与者详细情况( p a r t i c i p a t i o nd e t a i l s ) ：每个参与者的资料( 如名字、电话等) 以r t c p 消息的形式被发送给其它参与者。这样各个参与者就可以知道其它参与者的身份 及联系方式。 因此，通过以上介绍和分析，可以看出r t p 协议的数据报文和控制报文使用相邻的不 同端口，从而实现了数据流和控制流的分离，使协议的实现更加灵活和简单 2 3 3 实时流协议r t s p r t s p ( r e a lt u n es t r e a m i n gp r o t o c 0 1 ) 是一个多媒体流化表示控制协议，由r e a l n e t w o r k s 和n e t s c a p e 共同提出的，定义了一对多应用程序如何有效地通过i p 网络传输多媒体数据 幽】。它提供对媒体流的类似于录像机的控制功能，如播放、暂停、快进等。 实时流协议( 1 玎s p ) 有以下的主要特点： ( 1 ) 实行完全的双向实时流的控制； ( 2 ) 对时间的同步要求不高，因而可以忍受网络上的偶尔的延迟； ( 3 ) 易于支持和兼容新的传输协议及技术，例如i pm u l t i c a s t 、r t p 等： ( 4 ) 考虑了网络的安全，并能对传输内容进行智能保护。 r t s p 支持以下操作1 2 9 ： ( 1 ) 从媒体服务器上检索数据：客户机可以通过h t t p 或其它方法请求一个演示描 述。如果演示是组播，则演示描述包含用于该连续媒体流的组播地址和端口。如果演示是 1 0 塑塞坚皇奎兰堡主里壅竺堂竺笙茎蔓三兰亟堡竺茎查丝茎堡坚 单播方式，客户机为了安全应提供目的地址； ( 2 ) 邀请媒体服务器加入会议：一个媒体服务器可以被邀请加入一个已经存在的会 议，或回放媒体，或记录其中一部分或者全部： ( 3 ) 在一个存在的演示中加入新的媒体流：特别对于现场演示而言，如果服务器可 以通知客户机新加入的可利用媒体流，这将是非常有用的。 2 3 4 资源预留协议r s v p r s v p ( r e s o u r c er e s e r v a t i o np r o t o c 0 1 ) 【2 9 】是当前i n t e m e t 的资源预留协议，使用r s v p 预留一部分网络资源( 即带宽) ，能在一定程度上为流媒体的传输提供q o s 。它和口v 6 是 一个伙伴协议，它是面向接收方的。r s v p 支持i p 多播通信，这个多播通信是由接收方驱 动的，接收方决定了需要为给定数据流预留的资源。通信时，发送方首先发送一个p a t h 消息，支持r s v p 的路由器识别此包，并将其前几跳的p 地址p h o p 存放在内部一个被称 为“路径状态一的数据结构中，然后用自己的i p 地址代替这个包中的p h o p 值，最后将这 个包发向目的地址。接收方收到此包后，生成r e s v 消息，并将它沿原路径反向发送。r s v p 系统知道p a t h 消息包的前一跳，因此，r s v p 消息在传送时总是携带有p a t h 包前一跳 的m 地址作为自己下一跳的目的地。r e s v 消息也带有需要预留资源的数据流特性在一 个多播数据流中，多个接收者可能生成不同的流特性，路由器收到这些特性值后，必须能 将它们汇合成一个流特性返回给发送方。在某些实验性的网络视频工具中已经集成了 r s v p 。 2 4 本章小结 本章着重对流媒体的技术原理进行了分析，详细介绍了流媒体的传输方式和传输协议， 对更好理解和分析视频监控系统奠定了良好的理论基础。 南京邮电大学硕士研究生学位论文第三章视频监控系统简介 第三章视频监控系统简介 杭州华三公司的i v s 视频监控系统是针对各种应用规模较大、要求高可靠海量存储、 定制与集成需求繁多的行业市场推出的网络视频监控系统。它通过网络监控各组件的高度 融和和统一架构，可以有效的解决传统监控方案面临的问题。 视频监控系统的核心是标准、开放、高质和高度融合的基础网络视频监控平台，包括 编解码器、存储系统、网络系统和管理平台四大基础组件。整个视频监控系统管理平台最 大可以管理前端3 0 0 0 台编码器、1 0 0 0 0 路摄像机的能力，同时最大管理1 2 8 台基于口 s a n ( s t o r a g ea r e an e t w o r k ，存储区域网络) 技术的n v r 网络视频录像机，单机支持1 6 个 盘位( 1 2 t b ) 的存储空间，这样整个视频监控系统管理平台可以为前端编码器提供1 5 3 6 t b 的网络存储空间。视频监控系统的核心是管理平台，该平台可以实现m 视频监控系统的统 一管理、统一控制、统一存储、统一媒体转发调度。软件系统各部件之间采用标准的信令、 媒体、存储和视频编解码协议，可以实现各功能部件的灵活部署，系统容量可弹性扩展。 软件平台各部件通过双机热备和负载均衡设计，实现电信级的高可靠性保证，满足高端行 业应用的可靠性要求。 3 1 视频监控系统各结构组件 视频监控系统结构组件包括：视频编朋挥码器e c d c 、视频管理服务器、数据管理服务 器、媒体交换服务器、视频监控客户端、i ps a n 存储设备、d v r a g e n td e v i c e 代理服务器 和带存储编码器e c r 设备等。图3 1 为视频监控系统的组成图。 1 2 南京邮电大学硕士研究生学位论文第三章视频监控系统简介 图3 - 1 视频监控系统的组成图 视频监控系统的结构组件可以分为以下几个部分： ( 1 ) 前端系统：包括摄像机、监听头、对讲设备、报警探头和编解码器组成。当前 端到中心大带宽足够，允许中心存储时，前端配置e c 编码器；当带宽有限无法中心存储 时，采用支持前端存储的e c r 系列编码器；当前端需要解码还原图像时配置解码器。所有 编解码器都可以被监控中心的视频管理服务器主机统一配置、认证和网管，维护使用方便 ( 2 ) 网络系统：所有前端编解码器通过网络系统和监控中心相连，实现各种信息的 传递。网络设备包括接入交换机、汇聚交换机、核心交换机和路由器，这些设备内嵌了丰 富的安全特性并针对监控的需求对组播等应用进行了优化，同时还可以为广域网组网提供 完善的v p n 解决方案，从而为监控系统提供了一个安全、可靠、灵活和高性能的基础网 络平台。 ( 3 ) 监控中心：其核心是视频监控系统管理平台，包括视频管理服务器、数据管理 服务器、媒体交换服务器和客户端等。除此之外，监控中心还可以分布式部署基于i ps a n 技术的n v r 网络视频录像系统和电视墙控制设备。 编码器e c 是将模拟的视频、音频信号( 如摄像机、麦克风等视音频源信号) 转换成 数字信号并进行编码压缩的设备，它采用t c p i p 技术，支持单播、组播传送方式。 带存储的编码器e c r 又称e c r 3 0 0 0 。e c r 3 0 0 0 系列视频编码器是支持可堆叠高密度 视频接入和专业存储的新一代网络视音频编码终端。它内置支持基