（计算机软件与理论专业论文）基于p2p流媒体的远程视频监控系统的实现研究.pdf

华北电力人学硕十学位论文摘要 摘要 分析了视频监控系统的发展过。呈及现状，研究了流媒体传输技术和 p 2 p 组播通讯协议，将p 2 p 流媒体技术应用到视频监控系统领域，设计了一 个大规模的、集中管理、分布监控、可扩展性强的城市级安防系统一 r m s p m s 。在r m s p m s 中设立了基于自治域的代理服务器，充分利用了原 i n t e r n e t 的网络拓扑节点；引入n i c e 和i 3 应用层组播协议，解决了视频分 发问题和客户端的高度异构问题。最后对组播进行了系统仿真，对r m s p m s 作了可行性描述。 关键词：视频监控系统，流媒体，应用层组播，p 2 p a b s t r a c t i 。h ed l s s e r t a t i o na n a l y z e st h eh i s t o r ya n da c t u a l i t y0 ft h em o n i t o rs y s t e m i t a d o p t sp 2 ps t r e a m i n gm e d i at ot h e6 e l do fm o n i t o rs y s t e ma n dd e s i g n sal a r g e s c a l e ，c e n t r a lm a n a g e m e n t ，d i s t r i b u t em o n i t o r ，a n ds c a l a b l em o n i t o rs y s t e m r m s p m s ， b a s e do nt h er e s e a r c ho fs t r e a m i n gm e d i aa n dp 2 pm u l t i c a s t t e c h n o l o g i e s i nr m s p m s ，s e t su pa g e n ts e r v e ri ne a c ha d ( a d m i n i s t r a t i v e d o m a i n ) t om a k eg o o du s eo ft h ei n t e r n e tn a t u r a lt o p o l o g y ；a d o p t sn i c ea n di 3 a p p li c a t i o nl a y e rm u l t i c a s tm e c h a n i s m st or e s o l v et h ev i d e od a t at r a n s i t i o n p r o b l e ma n dt h eh i g hh e t e r o g e n e i t yo ft h ec l i e n t s ， a tl a s t ， t h r o u g ht h e s i m u l a t i v ee x p e r i m e n tp r o v e st h ef e a s i b i l i t yo fr m s p m s 7 r e n g1 y a n z h i ( c o m p u t es o f t w a r ea n dt h e o r y ) d i r e c t e db yp r o f s o n gy u k e yw o r d s ：v i d e om o n i t o rs y s t e m ，s t r e a m i n gm e d i a ，a p p l i c a t i o nl a y e r mu l t i c a s t p 2 p 华北电力人学硕十学位论文摘要 摘要 分析了视频监控系统的发展过。呈及现状，研究了流媒体传输技术和 p 2 p 组播通讯协议，将p 2 p 流媒体技术应用到视频监控系统领域，设计了一 个大规模的、集中管理、分布监控、可扩展性强的城市级安防系统一 r m s p m s 。在r m s p m s 中设立了基于自治域的代理服务器，充分利用了原 i n t e r n e t 的网络拓扑节点；引入n i c e 和i 3 应用层组播协议，解决了视频分 发问题和客户端的高度异构问题。最后对组播进行了系统仿真，对r m s p m s 作了可行性描述。 关键词：视频监控系统，流媒体，应用层组播，p 2 p a b s t r a c t t h ed i s s e r t a t i o na n a l y z e st h eh i s t o r ya n da c t u a li t yo ft h em o n i t o rs y s t e m i t a d o p t sp 2 ps t r e a m i n gm e d i at ot h e1 1 e l do fm o n i t o rs y s t e ma n dd e s i g n sal a r g e s c a l e ，c e n t r a lm a n a g e m e n t ，d i s t r i b u t em o n i t o r ，a n ds c a l a b l em o n i t o rs y s t e m r m s p m s ， b a s e do nt h er e s e a r c ho fs t r e a m i n gm e d i aa n dp 2 pm u l t i c a s t t e c h n o l o g i e s i nr m s p m s ，s e t su pa g e n ts e r v e r i ne a c ha d ( a d m i n i s t r a t i v e d o m a i n ) t om a k eg o o du s eo ft h ei n t e r n e tn a t u r a lt o p o l o g y ；a d o p t sn i c ea n di 3 a p p l i c a t i o nl a y e rm u l t i c a s tm e c h a n i s m st or e s o i v et h ev i d e od a t at r a n s i t i o n p r o b l e ma n dt h eh i g hh e t e r o g e n e i t y o ft h ec l i e n t s ，a tl a s t ， t h r o u g ht h e s i m u l a t i v ee x p e r i m e n tp r o v e st h ef e a s i b i l i t yo fr m s p m s t i e n g1 y a n z h i ( c o m p u t es o f t w a r ea n dt h e o r y ) d i r e c t e db yp r o f s o n gy u k e yw o r d s ：v i d e om o n i t o rs y s t e m ，s t r e a m i n gm e d i a ，a p p l i c a t i o nl a y e r mu l t i c a s t p 2 p 声明尸明 本人郑重声明：此处所提交的硕士学位论文基于p 2 p 流媒体的远程视频监 控系统的实现研究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进 行的研究工作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之 处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北 电力大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名： 麟抱垒 日 期：垒尊、! 兰c 兰孓 关于学位论文使用授权的说明 本入完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有权 保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或 其它复制手段复制并保存学位论文：学校可允许学位论文被查阅或借阅：学校 可以学术交流为目的，复制赠送和交换学位论文；同意学校可以用不同方式在不同 媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定_ ) 作者签名：隧堑j 垫 日 期：垒丑f 兰12 多 导师签 日 华北电力火学硕士学位论文 1 1本文的研究背景与意义 第一章绪论 远程视频监控对于某些特定的行业如消防、电力作用特别突出。因其监控的对 象所处的地域比较分散，无法对其铺设专用的网络进行连接，所以用户需要通过 i n t e m e t 得到各个监控点的视频信息。 流媒体技术是将多媒体的影像和声音信息经过特殊的压缩方式分成一个个压 缩包，向用户计算机连续地、实时地传送。用户可以一边下载一边观看，而不需要 等待整个文件完全下载到本地计算机硬盘中。这样就会加快多媒体数据的传送，满 足了远程视频监控系统的实时性要求i lj 。 但是目前流媒体服务广泛采用的服务器客户机模型还不能提供高可扩展能力 和高可用的服务。为了解决这些问题，许多研究都提出了相应的解决办法，目前国 内外的解决方案基本上有如下几种：( 1 ) 使用服务器集群技术，提高整个流媒体服务 系统的性能；( 2 ) 使用内容分发网络技术c d n ，通过把服务和内容“推向网络的 “边缘”从而减轻服务器和网络负载；( 3 ) 使用i p 多播技术，将原来由服务器承担 的数据重复分发工作转移到路由器中完成。这三种方法都从一定程度上增大了流媒 体服务系统的容量，但是仍然不能满足目前庞大的用户群。而且，这三种方式都以 昂贵的硬件成本和系统的复杂度为基础，使得流媒体的成本太高。 近年来，p 2 p 技术由于能利用i n t e m e t 中的各个节点进行对等计算，充分挖掘 i n t e r n e t 上的空闲资源，受到了广泛关注，并在文件共享、协同工作等领域取得了良 好效果。如果把p 2 p 技术引入到流媒体服务中，就可以充分发挥以往被忽略的众多 客户机的作用。让客户机缓存一部分信息，充当一部分服务器的功能，使服务分散 化，从而减轻服务器的负载和网络带宽占用，具有潜在的应用前景。因此将p 2 p 技 术与流媒体技术结合起来，能很好的解决流媒体成本太高的问题。 p 2 p 模式的核心思想是通过参与系统节点之间的直接交互来实现信息资源和服 务的共享。一方面突破了传统的客户端服务器模式，强调了结点之间的“对等性” ( 即系统中每一个参与结点兼有服务器和客户端两种身份，在利用其他结点上的资 源同时也为其他结点提供服务) 。这就使系统的服务能力能够随需求的增长而自然 增长，具有“与生俱来”的可扩展性，能够解决传统客户端服务器结构中服务器过 载和资源瓶颈的问题。另一方面，系统采用结点自组织的方式工作，强调无中心的 结构，很好地适应了结点随机加入和退出的动态性，因而在容错性、数据高可用性 华北电力大学硕士学位论文 和抵抗攻击方面具有不可替代的优势【2 j 。在p 2 p 模型中对等节点不是稳定不变的， 它们可以在网络中随意地出现或消失并且不会对整个系统造成影响。因此在视频监 控系统中，可以很容易的对监控系统增加、删除监控节点，而且p 2 p 使得网络上许 多闲散的资源利用起来。通过p 2 p 技术的引用，不止解决了在远程视频监控系统中 动态i p 的问题，而且简化了视频服务节点增减的算法和过程1 3 j ，使得远程视频监控 系统焕发生机。 1 2p 2 p 流媒体的国内外研究动态 目前绝大多数的p 2 p 应用只停留在文件共享的基础应用水平上，没有充分发 掘p 2 p 应用模式强大的对等计算能力，如何把p 2 p 技术应用到更多的领域是当前 业界研究的热点问题。日本和欧美等一些公司已经开始了把p 2 p 应用模式引入到 流媒体系统中的研究，构建了基于p 2 p 的视频直播系统。国内采用p 2 p 流媒体技 术的软件有p p l i v e ，p p s t r e 锄等软件，获得了巨大成功，目前国内p p l i v e 和 p p s t r e a m 的客户已经上百万个。p 2 p 流媒体主要成就集中在视频点播和直播领域。 而且各家实现的方法、技术均不一样，基本都处于保密阶段。 目前，基于p 2 p 技术的流媒体服务体系已经引起了国外许多大学( 如s t a n f o r d u n i v e r s i t y 【4 】、p u r d u eu n i v e r s i t y l 5 1 、m a r y i a n du n i v e r s i t y l 6 】、c e n t r a lf l o r i d au n i v e r s i t y 【7 】 等) 、研究机构( 如m i c r o s o rr e s e a r c h 等) 以及公司( 如v t r a i l s 、a i l c a s t 等) 的 重视并纷纷展开了研究。 1 3 本文的主要内容 本文将p 2 p 流媒体技术应用到远程视频监控系统中，使远程视频监控系统更加 方便，快捷。本文的主要工作有： ( 1 ) 研究视频监控系统中的图像压缩技术。重点讨论m p e g 4 的算法原理和 实现过程。 ( 2 ) 研究流媒体的原理以及传输协议，给出流媒体技术在视频监控系统应用的 体系结构和传输过程。 ( 3 ) 提出对城市级安防系统r m s p m s ( r e m o t em o n i t o rs y s t e mb a s e do np 2 p m e d i as t r e a m i n g ) 的总体设计和系统架构。 ( 4 ) 研究典型的应用层组播协议以及r m s p m s 对应用层组播协议的需求。 ( 5 ) 针对r m s p m s 中选择的i 3 ( i n t e m e ti n d i r e c t i o ni n f r a s t r u c t u r e ) 组播协议、 n i c e 组播协议的实现做进一步的研究。 2 华北电力大学硕士学位论文 1 4 本文的组织结构 第一章：介绍了研究背景与意义以及本文的工作和组织结构。 第二章：在分析了图像压缩技术和流媒体传输技术的基础之上，给出了流媒体 应用在视频监控系统的系统结构和传输过程。 第三章：研究了解决视频监控系统中视频分发的组播方法，讨论了几种典型的 应用层组播协议，并对其进行分析比较，结合视频监控系统的特点，选择了合适的 应用层组播协议。 第四章：设计了r m s p m s 的系统构架并对每一个模块作了详细设计。 第五章：研究了i 蝴s p m s 中采用的两种应用层组播协议( i 3 和n i c e 协议) 的具体实现。对组播进行系统仿真，验证r m s p m s 的可行性。 第六章：总结本论文的工作，并对以后的研究方向做了展望。 华北电力大学硕士学位论文 2 1 图像压缩技术 第二章图像压缩技术和流媒体 随着i n t e m e t 带宽的不断增长，在i n t e m e t 上传输视频的相关技术也成为研究 和开发的热点。目前，许多实验性的高速宽带网络都把视频传输的技术和应用作为 研究的重点课题。 为了在i n t e m e t 上有效的、高质量的传输视频流，需要多种技术的支持，其中 数字视频的压缩编码技术是i n t e m e t 视频传输中的关键技术之一。目前视频流传输 中重要的编解码标准有国际电联的h 2 6 1 、h 2 6 3 、运动静止图像专家组的m j p e g 和国际标准化组织运动图像专家组的m p e g 系列标准等。 2 1 1几种常见的图像压缩技术 ( 1 ) h 2 6 l h 2 6 l 又称为p 6 4 。最初是针对在i s d n 上实现电信会议应用特别是面对面的 可视电话和视频会议而设计的。实际的编码算法类似于m p e g 算法，但不能与后者 兼容。h 2 6 1 在实时编码时比m p e g 所占用的c p u 运算量少得多，此算法引进了图 像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像比相对静止的 图像质量要差。因此这种方法是属于恒定码流可变质量编码。 ( 2 ) h 2 6 3 h 2 6 3 是国际电联i t u t 的一个标准草案，是为低码流通信而设计的。h 2 6 3 的编码算法与h 2 6 l 一样，但做了一些改善，以提高性能和纠错能力。1 9 9 8 年i u t t 推出的h 2 6 3 + 是h 2 6 3 建议的第2 版，进一步提高了压缩编码性能。目前，h 2 6 3 己经基本上取代了h 2 6 1 。 ( 3 ) m j p e g m - j p e g ( m o t i o n j o i np h o t o g r a p h i ce x p e r t sg r o u p ) 技术即运动静止图像( 或逐帧) 压缩技术。它广泛应用于非线性编辑领域，可精确到帧编辑和多层图像处理。m j p e g 技术是把运动的视频序列作为连续的静止图像来处理，这种压缩方式单独完整地压 缩每一帧，在编辑过程中可随机存储每一帧，可进行精确到帧的编辑，但压缩效率 不高。j p e g 标准所根据的算法是基于d c t ( 离散余弦变换) 和可变长编码。 ( 4 ) m p e g 系列标准 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p o n sg r o u p ) 的缩写，于1 9 8 8 年成 立。他是专门为数字视音频制定压缩标准的专家组，现在成为了制定“活动图像和 4 华北电力大学硕士学位论文 音频编码 标准的组织。m p e g 组织制定的各个标准都有不同的目标和应用，目前 己提出了m p e g 1 ，m p e g 2 ，m p e g 一4 ，m p e g 一7 等标准。 总体来说，m p e g 在三方面优于其他压缩解压缩方案。( 1 ) 由于在一开始它就是 作为一个国际化的标准来研究制定，所以，m p e g 具有很好的兼容性；( 2 ) m p e g 能 够比其他算法提供更好的压缩比，最高可达2 0 0 ：l ；( 3 ) 更重要的是，m p e g 在提供 高压缩比的同时，对数据的损失很小【8 】【9 1 。 m p e g 1 标准：1 9 9 3 年8 月公布，用于传输1 5 m b p s 数据传输率的数字存储媒 体运动图像及其伴音的编码。该标准从颁布的那一刻起，m p e g 1 就取得一连串的 成功，如v c d 和m p 3 的大量使用，w i n d o w s 9 5 以后的版本都带有一个m p e g 1 软 件解码器，可携式m p e g 1 摄像机等等。 m p e g 2 标准：是针对标准数字电视和高清晰度电视在各种应用下的压缩方案 和系统层的详细规定。m p e g 一2 图像压缩的原理是利用了图像中的两种特性：空间 相关性和时间相关性。这两种相关性使得图像中存在大量的冗余信息。一个好的压 缩编码方案就是能够最大限度地去除图像中的冗余信息。m p e g 2 标准在广播电视 领域中的主要应用如：视音频资料的保存；电视节目的非线性编辑系统以及网络、 卫星传输等。 m p e g 4 标准：m p e g 4 不止是具体的压缩算法，它也是针对数字电视、交互 式绘图应用( 影音合成内容) 、交互式多媒体等整合及压缩技术的需求而制定的国际 标准。m p e g - 4 的编码理念是：它是采用基于对象的编码理念，即在编码时将一幅 景物分成若干在时间和空间上相互联系的视频音频对象，分别编码后，再经过复用 传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。 m p e g - 4 的应用领域有：因特网多媒体应用、远程视频监控、广播电视、交互式视 频游戏、实时可视通信、交互式存储媒体应用等。 m p e g 一7 标准：m p e g 一7 标准被称为“多媒体内容描述接口。它为各类多媒体 信息提供一种标准化的描述，这种描述将与内容本身有关，允许快速和有效的查询 用户感兴趣的资料。m p e g 7 的目标是支持多种音频和视觉的描述，包括自由文本、 n 维时空结构、统计信息、客观属性、主观属性、生产属性积组合信息。m p e g 7 标准可以支持非常广泛的应用，比如：音视数据库的存储和检索、广播媒体的选择 ( 广播、电视节目) 、因特网上的个性化新闻服务、智能多媒体、多媒体编辑、教育 领域的应用( 如数字多媒体图书馆等) 等。 2 1 2 r m s p m s 中图像压缩编码的选择 服务器端需要向客户端发送视频图像信息，那么视频图像信息的压缩技术选择 无疑是视频监控系统设计的一个重点。选择的压缩技术要兼顾到数据量与用户质 5 华北电力人学硕士学位论文 量、文件格式的兼容性、文件存储的海量性等几个因素。在r m s p m s 中，既要注 意到远程视频监控系统中普通p c 用户的需求与条件，又需要注意手持移动设备终 端用户的条件，即g p r s 网络的传输速率与移动设备有限的存储、处理能力两个条 件。 在以上的几个标准中，m p e g 系列压缩编码比起其它的标准来更适用于远程视 频监控系统的客户端。但在m p e g 系列标准中，m p e g 1 和m p e g 2 的数据流量要 求很高，要求有稳定的传输媒体，所以不适合在i n t e m e t 上远程传输，更不适合向 手机客户端传输时采用。而m p e g 4 支持分级视频编码，码流可分为一个基本层和 几个增强层，基本层表示基本的图像信息，加强层反映高质量的图像。在一个带宽 受限的数据网络中，可以只传送一个低速率的数据流，优先传输对错误敏感的基本 层信息。增强层的传输和解码可以不断得改进接收图像的分辨率，而且增强层的传 输可与移动网络的传输性能配合，比起其他的压缩编码在传输效率和传输质量上更 胜一筹。 综上分析，本文选择m p e g 4 为r m s p m s 的图像压缩标准。在下面一节中将 详细分析和讨论m p e g 4 标准。 2 1 3m p e g - 4 标准 ( 1 ) m p e g 4 1 9 1 标准的主要特点和功能 m p e g 4 视频编码标准支持m p e g 1 、m p e g 2 中的大多数功能，同时也支持 基于内容的图像编码，但是提供不同的视频标准源格式、码率、帧频下矩形图像的 有效编码。 v l b v ( v e r yl o wb i t r a t ev i d e o ) 核心是为码率在5 6 4 k b p s 范围内的视频操作与 应用提供算法与工具，支持较低的空间分辨率( 低于3 5 2 x 2 8 8 像素) 和较低的帧频( 低 于1 5 h z ) 。v l b v 核心支持的专用功能包括：矩形图像序列的有效编码、多媒体数 据库的搜索和随机存取。m p e g 一4 的h b v ( h i 曲b i t r a t ev i d e o ) 同样支持上述功能， 其码率范围在6 4 k b p s 一1 0 m b p s 之间，它与v l b v 核心采用相同或相似的算法，但它 支持更高的空间与时间分辨率，允许传输和存储适用于演播室的高质量视频信号， 其输入可以是i t u r r e c 6 0 1 的标准信号，典型应用为数字电视广播与交互式检索。 m p e g - 4 最终支持的码率将高于m p e g 2 。m p e g 4 提出了基于内容 ( c o n t e n t b a s e d ) 的存取概念，使用户可与场景进行交互。它对运动图像中的内容进 行编码，其具体的编码对象就是图像中的音频和视频，称为a v 对象( a v o ：a u d i o v i d e oo b j e c t ) 。a v 对象可以组成a v 场景( a y o s ：a u d i ov i d e oo b ! i e c ti nas c e n e ) 。因 此，m p e g 一4 标准的基本内容就是高效率地编码、组织、存储、传输a ：v 对象。 6 华北电力人学硕士学位论文 ( 2 ) m p e g 4 标准的视频编码技术 为了支持基于内容的交互性，即支持对内容的独立编、解码，m p e g - 4 视频检 验模型引入了视频对象面( v o p ：v i d e oo b j e c tp l a n e ) 的概念。假设输入视频序列的每 一帧都被分割成多个任意形状的图像区域( 视频对象面) ，每个区域可能覆盖场景中 特定的感兴趣的图像或视频内容。输入进行编码的v o p 可以是任意形状的，且形状 和位置可随帧而变。属于场景中同一物理对象的连续v o p 序列称为视频对象。同一 视频对象的v o p 序列的形状、运动和纹理信息被编码传输，或者编码为一个隔离的 视频对象层( v o l ：v i d e oo b j e c tl a y e r ) 。m p e g 4 视频编码器的基本结构包括形状编 码( 对于任意形状的v o p ) 、运动补偿和基于d c t ( d i s c r e t ec o s i n et r a n s f 0 皿) 的纹理 编码( 采用标准的8 x 8d c t 或根据形状的自适应d c t ) 。 具体的编码方法为：首先对输入的原图像序列进行场景分析和对象分割，以划 分不同的v o p 并得到各个v o p 的形状和位置信息，它可以用a l p h a 平面来表示。 发送端只需传送a l p h a 平面，接收端就可以确定v o p 的形状和位置。a l p h a 平面所 需的比特数较多，需要进行压缩编码。显然，只要对v o p 的轮廓进行编码和传送， 接收端就可以恢复a l p h a 平面，轮廓信息在轮廓编码器中进行编码。提取的形状和 位置信息又用来控制v o p 的运动和纹理编码。对运动和纹理信息编码仍然采用经典 的类似m p e g 一1 2 标准的运动预测补偿法。输入第n 帧的v o p 与帧存储器中存储 的n 1 帧的v o p 进行比较，找到运动矢量，然后对两帧v o p 的差值进行量化、编 码。对不同对象的运动和纹理信息的编码可因地制宜地采用不同的方法，以提高编 码效率。编码后得到的纹理信息，与运动编码器和形状编码器输出的运动信息和形 状信息复接形成该v o p 的比特流层。对不同视频对象的v o p 序列分别进行编码， 形成各自的比特流层，经复接后在信道上传送。传送的顺序依次为形状信息、运动 信息和纹理信息。接收端的解码过程是编码过程的逆操作。 ( 3 ) m p e g 4 终端体系结构 m p e g 一4 终端体系结构主要分成三层：压缩层( c o m p r e s s i o nl a y e r ) 、同步层 ( s y n c l a y e r ) 和传输层( d e l i v e r y1 a y e r ) 。压缩层把基本码流划分成多个访问单元( a u ) ， 它是基本码流中具有时间属性的最小实体。a u 定义了特定的媒体处理和发送处理 之间的边界，使传输只取决于a u 的属性，与媒体数据的性质无关。对象描述符 ( o b j e c t d e s c r i p t o r s o d s ) 是一个或多个基本码流描述符( e sd e s c r i p t o r ) 的集合，一个 场景中的各个基本码流的层次关系、位置以及属性由一组动态的对象描述符来描 述，而0 d s 本身也放在一个或多个基本码流中传输。 基本码流描述符用来把场景中单个的内容项( 如：视频、音频对象等) 与其对应的 基本码流建立联系，一个内容项可以有多个不同质量档次的基本码流，从而有多个 对应的基本码流描述符。基本码流描述符以个唯一的识别符或一个指向流发端的 7 华北电力大学硕士学位论文 u r l 来表示码流数据的来源，另外，该描述符还包含编码格式、解码程序的配置、 同步层打包、服务质量等信息。组完整的o d s 可以看作是对一个m p e g 一4 资源或 会话在码流层次的描述。资源描述本身可能也是分层次的，即一个传输o d s 的基本 码流可以描述传输其它o d s 的基本码流。 ( 4 ) m p e g 一4 视频编码帧类型 理解m p e g 4 视频编码帧的类型对于视频播放及其重要，当用户拖动定位影片 时，对流媒体服务器发出的是一个时间上的随机请求，如果服务器发送的第一个视 频帧不是i 帧，则解码播回后就会花屏。因此在拖动定位影片后就须先判断帧类型， 对i 帧前面的b 帧或者p 帧进行过滤。 帧内编码图( i 帧) i 图为利用图像自身的相关性压缩的图像，称为帧内编码( i c p i n t r a c o d e d p i c t u r e s ) 。i 图的特点是：数据量最大；帧内中等程度压缩；无运动预测，采用自相 关性，即帧内相邻像素、相邻行的亮度、色度信号都具有渐变的空间相关性，可作 静止图像处理，无条件传送；图像可随机进入压缩图像数据序列，进行编码。 预测编码图( p 帧) p 图是以最近的上一个工图或p 图为基准进行运动补偿预测所产生的图像，称 为预测编码图( p c p p r e d i c t i v ec o d e dp i c t u r e s ) 。p 图的特点是：本身是前i 图或p 图的前向预测( ( f p f o n v a r dp r e d i c t i o n ) 结果，也是产生下一个p 图的基准图像；高编 码效率，与i 图相比较，可提供更大的压缩比；前一个p 图是下一个p 图补偿预测 的基准，如果前者存在误码，则后者会将编码误差积累起来、传播下去。 双向预测编码图( b 帧) b 图是同时以前面的i 图或p 图和后面的p 图或i 图为基准进行运动补偿预测 所产生的图像，称为双向预测编码图( b p c p b i d i r e c t i o n a lp r e d i c t i v ec o d e dp i c t u r e l 。 前面的i 图或p 图代表“过去信息 ，后面的p 图或i 图代表“未来信息 ，由于同 时使用了“过去和“未来 两种信息，所以称为双向预测。只需要用前面最近时 刻的i 图或p 图及代表运动的位移信息，便可预测出当前图像，称为前向预测( f p ) 。 根据某时刻的图像及反映位移信息的运动矢量，以便预测出前帧中没有显露而现 在出现的信息，称为后向预测( b p b a c k w a r dp r e d i c t i o n ) 。b 图是将前向预测( f p ) 与后 向预测( b p ) 同时使用并取其平均值后所产生的图像，称为双向预测图或平均值预测 图。 ( 5 ) m p e g 4 视频编解码的实现方法 根据压缩的实现不同可以分为硬件的方法和软件的方法。随着微处理器技术的 8 华北电力大学硕士学位论文 不断发展，尤其是i n t e l 公司为提高p c 机上软件处理多媒体和通信的性能而推出的 m m x 指令技术，使得利用软件对视频实时编解码成为现实。但由于运算量大，软 件实现压缩的关键是压缩算法的速度。压缩算法有人专门进行研究，不断有新的算 法出现。根据不同的工程背景，也提出不同改进的方法，推动视频软件压缩的发展。 虽然采用软件压缩可降低开发系统的成本，但软件实现的算法比较复杂，压缩 速度慢。采用硬件实现压缩的芯片有很多，技术也比较成熟，例如j p e g ，m p e g 一1 ， m p e g 2 ，m p e g 4 ，h 2 6 3 ，h 3 2 4 等等标准的芯片都已有产品。国内外许多公司 也都推出专用的芯片来实现视频编解码，如l s i 和g c a 公司分别用7 片组和1 2 片 组实现了h 2 6 l 标准。l s i 的产品包括四个处理器和3 个编解码芯片( 如用于运动估 计、d c t 变换、量化、帧内帧间决策、h 2 6 1 变长编码等) 。此外，a t & t 、c c u b e 、 日志、富士通、先锋视频、索尼等国外公司己经开发出了m p e g 的编解码芯片。因 此，目前视频监控系统大部分都采用硬件芯片来实现压缩。 2 2 流媒体 所谓流媒体( s t r e a m i n gm e d i a ) ，是指用户通过网络或者特定数字信道边下载边 播放多媒体数据的一种工作方式。以前，多媒体文件需要从服务器上下载后才能播 放，由于多媒体文件一般都比较大，需要的存储容量也较大，而且由于网络带宽的 限制，下载常常要花数分钟甚至数小时，所以这种处理方法延迟也很大。而流媒体 在播放前不必下载整个文件，只将开始部分内容存入内存，在计算机中对数据包进 行缓存并使媒体数据正确地输出。流媒体的数据流随时传送随时播放，只是在开始 时有些延迟。与单纯的下载方式相比，这种对多媒体文件边下载边播放的流式传输 方式的最大的好处是用户不需要花费很长时间将多媒体数据全部下载到本地后才 能播放，而仅需将起始几秒的数据先下载到本地的缓冲区中就可以开始播放。流媒 体不仅使启动延时成十倍、百倍地缩短，而且不需要太大的缓存容量。 流媒体实现的关键技术就是流媒体传输。实现流媒体传输有两种方法：实时流 式传输( r e a l t i m es t r e a m i n g ) 和顺序流式传输( p r o g r e s s i v es t r e a m i n g ) 。一般说来，如果 视频为实时广播，或使用流式传输媒体服务器，或应用如i u s p 的实时协议，即为 实时流式传输。如使用h t t p 服务器，文件即通过顺序流发送。 2 2 1 流媒体传输协议 如图2 1 所示，根据功能传输协议可以分为三类： ( 1 ) 网络层协议( i p ) ：提供最基本的网络服务，它的功能大家都熟悉不必细讲。 ( 2 ) 传输层协议：提供端到端的传输服务，包括t c p u d p 【1 0 】和i h p r t c p 【l l 】【1 2 1 。 9 华北电力大学硕士学位论文 _ _ _ _ - _ _ 一一 其中t c p u d p 更加底层一些，i 玎p i 玎c p 实现在t c p 或u d p 之上，有时也被划为 应用层协议。 ( 3 ) 应用层协议：定义多媒体会话过程中的消息控制及处理。包括r t s p l l 3 】 等。 图2 1 流媒体应用技术框架 2 2 1 1r c p 八j d p t c p ，u d p 是最基本的传输协议，它提供复用、错误控制、拥塞控制、流量控制 等功能。第一，t c p d p 都可以复用不同应用程序的数据到同一个机器的同一个i p 地址；第二，t c p u d p 都提供错误控制，t c p 和绝大多数的u d p 实现都采用校验 和( c h e c k s u m ) 检验包的正确性，如果校验和不正确，t c p 巾d p 都将丢弃这个包，上 层的应用( 比如i 汀p ) 将不会接收到有误码的数据包，与u d p 不同的，t c p 会重传丢 失的数掘包和错误的数据包，所以t c p 提供可靠的数据传输，而u d p 不保证任何 可靠传输；第三，t c p 中有拥塞控制机制来避免网络拥塞，u d p 没有；第四，t c p 拥有流量控制机制来避免接收端的缓存的溢出，u d p 没有流量控制。 由于t c p 提供可靠的数据传输，机制比u d p 复杂的多，所以t c p 的时延也要 比u d p 大的多，在对时间要求的严格的流媒体系统中，t c p 不一定适用。在流媒 体的传输中，更多的是使用u d p 协议，然而，u d p 本身不保证包的可靠传输，包 的丢失监测需要依赖于上层协议，比如r t p 。 在远程视频监控系统中，一般都把视频信号架在i p 网络上，i p 协议之上有t c p 1 0 华北电力大学硕士学位论文 和u d p 传输层协议。t c p 协议是可靠的传输协议，有信息反馈和错误重传机制， 用于视频监控系统中控制信息的发送。而u d p 是不可靠的传输协议，是“尽力传送 ( b e s t e f f o n ) 的传输协议，它不考虑传输质量，网络开销相对较小，用于视频流的发 送。视频流的服务质量( q o s ) 由流媒体的传输和控制协议完成。 2 2 1 2r t p ，r t c p i 汀p 是一种多媒体数据流的传输协议，它被定义为在一对一或一对多的传输情 况下工作，其主要目的是提供顺序标识和时间戳信息以实现视频流的连贯和同步。 r t p 不提供q o s 保证，由r t c p 协议来保证。r t c p 协议根据发送的数据包和丢失 的数据包数量等统计资料来实时动态改变服务器的传输速率，也就是改变增强层的 传输量，以提供流量控制和拥塞控制服务。即r t p 是数据传输协议，而l 玎c p 是控 制协议。 但是i 盯p 提供时间戳( t i m es t 锄p ) 、序列号( s e q u e n c en u m b e r ) 、数据包类型标 识( p a y l o a dt y p ei d e n t i f i c a t i o n ) 、数据源标识( s o u r c ei d e n t i f i c a t i o n ) 来同步不同的媒体 流，保证包的有序性、检测丢包、指定i 汀p 包的负载类型( m p e g 1 ，m p e g 2 ，h 2 3 1 ) 、 使数据的接收端可以判断数据的来源等。 在r t p 会话中，各个参与者周期性向其它所有参与者发送i 玎c p 控制信息包， r t c p 用来监视数据传输质量和传送与会成员的信息，i 玎c p 包含以下服务。 ( 1 ) q o s 反馈：这是i h c p 最主要的功能。r t c p 向应用程序提供数据传送的 质量的反馈，反馈形式包括发送者报告( s e n d e rr e p o r t s ，由数据源发送) 和接收者报 告( r e c e i v e r r e p o r t s ，由接收者发送) 。报告可以包含如下信息：自上一个报告起， r t p 包的丢失率；自开始接收数据起，累计丢失的r t p 包的数量；包接收的抖 动( i i t t e r ) 情况；自上一个发送者报告后，接收端的接收延迟。 这些信息对发送端、接收端以及第三方监视都是有用的。根据这些反馈信息， 发送端可以调整发送的比特率；接收端可以判断拥塞是本地的、局部的或者是全局 的；第三方的网络管理软件可以评估i 汀p 组播的性能等。 ( 2 ) 参与者标识( p a n i c i p a n ti d e n t i f i c a t i o n ) ：虽然接收端可以通过r t p 中的s s r c 判断数据的来源，然而s s r c 是r t p 随机分配的一个号码，对于人眼来说，并不容 易识别。i 汀c p 提供了更易于人识别的标识r t c ps d e s ( s o u r c ed e s c r i p t i o n ) ，如内涵 标志名、用户名、电话号码、e m a i l 等信息，这些附加信息都可以用于用户管理。 ( 3 ) 控制包的扩展性( c o n t r o lp a c k e ts c a l i n g ) ：由于过多的l 盯c p 控制包会占用 太多的带宽，处于传输效率的考虑，r t c p 控制包占用整个会话带宽的比率控制在 5 以内，控制包的带宽中，2 5 用于发送者报告，剩下的7 5 用于接收者报告。为 了防止控制包饿死，接收端或发送端在5 秒钟之内至少要发送一个控制包。 1 l 华北电力火学硕士学位论文 ( 4 ) 媒体同步( i n t e r m e d i as y n c h r o n i z a t i o n ) ：l 盯c p 发送报告内的时间戳可以 用来同步不同的媒体流。 ( 5 ) 最小会话控制信息( m i n i m a ls e s s i o nc o n t r o li n f o m a t i o n ) 。 2 2 1 3r t s p r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 是一个应用层文本协议，其采用u t f 8 编 码，以c r l f 终止。通过协商建立1 个或多个时间同步的连续流媒体，选择媒体流 底层采用的传输方式：如u d p 、组播u d p 、或是t c p 等，以及具体的传输协议如 r t p 、r d t 等：并充当多媒体服务器的网络远程控制，对流媒体播放进程v c r 1 i k e 控制，比如播放、停止、暂停、快进、及定位等。 如图2 2 所示。流媒体的传输和控制协议主要有实时传输协议r t p 、实时传输控制 协议i 玎c p 、实时流协议l 玎s p 和资源预留协议r s v p 协议。视频流传输期间，流媒体 的传输控制协议关系。 图2 2 流媒体传输和控制协议 2 2 1 4 缓存去抖动技术 在q o s 上还有要解决的是视频流的抖动问题，流媒体技术中采用的是客户端缓 存技术。在i p 网络中，数据都是以i p 包的形式封装后，依据网络的拥塞状况自动 选择路由以达到网络负载均衡。视频数据流在i p 网上传输时，就会出现先发出的数 据包由于路径选择的不同可能会延迟到达，而出现视频流的等待和抖动。缓存技术 是在丌始连接视频流时先在接受端暂存一定量的数据，播放时读取缓存中的视频流 数据。缓存技术能很好地抑制视频流的抖动，但同时也在播放开始有了等待的时间， 影响了实时性。这在实时视频监控系统中是个矛盾的策略，要综合考虑后使用。 华北电力大学硕士学位论文 2 2 2 流媒体和视频监控技术的技术融合 远程视频监控系统在其发展过