（通信与信息系统专业论文）网络视频监控系统实现与编码码率调整研究.pdf

摘要 随着计算机技术的飞速发展，日益增加的社会治安保障的需求，网络视频监 控系统越来越多应用于家庭、企业、政府等众多领域中，具有广阔的发展空间 和市场前景。通过互联网，用户可以浏览千里之外监控点的视频画面，达到亲 临现场的真实效果。视频监控系统在经历模拟系统、数字系统、网络系统三次 蜕变之后，正朝着高清化、智能化的方向发展。网络视频监控系统是一个庞大 的、技术含量高的工程，如何构建可扩展的视频监控系统是一个富有挑战性的 难题。网络视频监控系统中视频传输属于实时流媒体传输的一种应用方式，如 何从丢包和实时性方面来保证流媒体服务质量依然是严峻的问题。 本文主要工作有： ( 1 ) 本文首先提出了一种网络视频监控系统构架，将系统分为四个层次， 把各种编码器放在设备编码层，把具体的转发服务、录像服务放在媒体服务层， 把接入服务、中心服务、网管服务放在业务管理层，把客户端和管理端软件放 在用户使用层。同时采用分布式系统构架，使得各个服务模块在软件上独立， 便于管理和维护。基于分层和分布思想的系统架构，本文将实时视频传输的通 信流程设计为三个步骤：注册到业务管理层、请求媒体服务层路由、请求监控 视频数据，详细介绍了这个三个步骤的细节。然后根据通信流程分析前端编码 器接入模块和转发服务器的需求分析，设计它们的数据结构，并实现了前端编 码器接入模块和流媒体转发服务器模块。 ( 2 ) 实时流媒体自适应传输的控制方法按照技术特点分三种：基于网络设 备、基于可用带宽估计、基于终端。其中基于网络的方法需要修改现有的网络 传输设备，而难于部署；基于可用带宽估计的方法将会引入额外网络负载，或 者修改标准网络通信协议；基于终端的方法拥有实施简单、不依赖外部环境的 优点。本文提出了基于终端的q a s m 模型，在发送端上设计应用层发送缓冲区， 根据缓冲区中的数据变化量调整编码码率，定义了三种调整状态：下降状态、 稳定状态、上升状态，详细介绍了三种状态的转化条件和编码码率调整策略。 ( 3 ) 最后在网络视频监控系统下进行测试，q a s m 模型在自适应速度、丢 包率方面表现良好。 关键词：视频监控系统；流媒体；转发服务器；编码码率 a b s t r a c t a l o n gw i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , v i d e om o n i t o r i n g s y s t e mi sg e t t i n gm o r ea n dm o r ew i d e l yu s e di nd o m e s t i c ，e n t e r p r i s e ，g o v e r n m e n ta n d m a n yo t h e rf i e l d sf o rs o c i a ls e c u r i t yg u a r a n t e ed e m a n d i n g i th a sw i d es p a c e a n d p r o m i s i n gm a r k e t t h r o u g ht h en e t w o r kt r a n s m i s s i o n , u s e r s c a l lb r o w s et h ev i d e o i m a g e sm i l e sa w a y , b u tf e e lt h e yw e r ea c t u a l l yt h e r e v i d e om o n i t o r i n gs y s t e ma f t e r e x p e r i e n c e ds i m u l a t i o ns y s t e m ，d i g i t a ls y s t e m ，a n dn e t w o r ks y s t e m ，n o w i ss t e p p i n g i n t oh i g hd e f i n i t i o n ，a n di n t e l l i g e n te r a v i d e om o n i t o r i n gs y s t e m ( v m s ) i sal a r g e a n dh i g h t e c hp r o j e c t ，w h i l eh o wt ob u i l ds c a l a b l ev m s i sac h a l l e n g i n gp r o b l e m v m si sa l la p p l i c a t i o nf o r m o fr e a l - t i m es t r e a m i n gm e d i at r a n s m i s s i o n , h o wt oe n s u r e t h eq u a l i t yo fs t r e a m i n gm e d i as e r v i c eo np a c k e tl o s s ，r e a l - t i m e ，i ss t i l las e r i o u s p r o b l e m t h em a i nc o n t e n t so ft h i sp a p e ra r eo r g a n i z e da sf o l l o w s ： ( 1 ) t h i sp a p e rp r e s e n t sas t r u c t u r eo fv m s ，w h i c hi s d i v i d e di n t of o u rl e v e l s ： 1 p l a c et h ea l lk i n d so fe n c o d e ro ne q u i p m e n tc o d i n gl a y e r 2 p l a c et h es p e c i f i c f o r w a r d i n gs e r v i c e ，v i d e os e r v i c eo nm e d i as e r v i c el a y e r 3 p l a c et h ea c c e s ss e r v i c e ， c e n t e r , n e t w o r km a n a g e m e n ts e r v i c e so nb u s i n e s sm a n a g e m e n tl a y e r 4 p l a c et h e c l i e n t s i d ea n dt h em a n a g e m e n t e n ds o f t w a r eo nu s e rm a n a g e m e n tl a y e r a tt h es a m e t i m eb a s e do nt h ed i s t r i b u t e ds y s t e m ，m a k es e r v i c em o d u l ei n d e p e n d e n c ei ns o f t w a r e ， e a s vt om a n a g ea n dm a i n t a i n b a s e do nt h es t r u c t u r eo fs t r a t i f i c a t i o na n dd i s t r i b u t i o n ， t h i sp a p e rm a k ev i d e ot r a n s m i s s i o no fr e a l t i m ec o m m u n i c a t i o ni n t ot h r e es t e p sa n d m a d ead e t a i l e dd e m o n s t r a t i o nf o re a c hs t e p ：f i r s t l yr e g i s t e rb u s i n e s sm a n a g e m e n t s e c o n d l ya s k i n gt h em e d i as e r v i c el a y e r s r o u t ei n f o r m a t i o n t h r i d l y , r e q u e s tf o r m o n i t o rt h ed a t a a n dt h e nd e s i g nt h e i rd a t as t r u c t u r eb a s e do nt h ec o m m u n i c a t i o n p r o c e s sa n a l y s i sf r o n t - e n de n c o d e rm o d u l e sa n df o r w a r d i n gt h es e r v e ra c c e s sn e e d s a n a l y s i s ，t or e a l i z et h ef r o n t e n de n c o d e ra c c e s sm o d u l ea n d s t r e a m i n gm e d i ad e l i v e r y s e r v e rm o d u l e ( 2 、a c c o r d i n gt ot h e t e c h n i c a lc h a r a c t e r i s t i co fr e a l t i m es t r e a m i n gm e d i a a d a p t i v et r a n s m i s s i o nc o n t r o lm e t h o d ，t h e r ea r et h r e ew a y so ft r a n s m i s s i o n ：b a s e do n n e t w o r ke q u i p m e n t ，b a s e do na v a i l a b l eb a n d w i d t he s t i m a t e ，b a s e do nt h et e r m i n a l b a s e do nt h em e m o do fn e t w o r kn e e dt om o d i f yt h ee x i s t i n gn e t w o r kt r a n s m i s s i o n d e v i c e ，a n dd i f f i c u l tt od e p l o y b a s e do nt h em e t h o do fa v a i l a b l eb a n d w i d t he s t i m a t e w i l li n t r o d u c ea d d i t i o n a ln e t w o r kl o a d ，o r m o d i f yt h es t a n d a r dn e t w o r k c o m m u n i c a t i o np r o t o c o l s w h i l e ，b a s e do nt h et e r m i n a lh a si t sa d v a n t a g e si n i m p l e m e n t i n ga n dn o tr e l yo ne n v i r o n m e n t t h i sp a p e ri n t r o d u c e st h eq a s mm o d e l ， d e s i g n st h es e n d - b u f f e ro nt h ea p p l i c a t i o nl a y e r ，a c c o r d i n gt ot h ed a t ao fb u f f e rt o a d j u s tt h ec o d i n gr a t e ，w h i c hh a st h r e ea d j u s t m e n ts t a t e ：d e c l i n es t a t e ，s t a b l es t a t e ，a n d i n c r e a s i n gs t a t e w ee x p l a i nt h ec o n v e r t i n gc o n d i t i o n sa n dc o d i n gr a t ea d j u s t m e n t s t r a t e g y ( 3 ) f i n a l l y , q a s mp r o v e dt ob eag r e a tp e r f o r m a n c eb yt e s t i n gi na d a p t i v es p e e d ， p a c k e tl o s sr a t eu n d e rt h en e t w o r kv i d e om o n i t o r i n gs y s t e m s k e yw o r d s ：v i d e om o n i t o rs y s t e m ；s t r e a m i n gm e d i a ；d i s p t a c hs e r v e r ；c o d i n gr a t e 武汉理工大学硕士学位论文 第1 章绪论 1 1 课题研究背景和意义 随着计算机软硬件、图像编解码、网络传输等技术的飞速发展，视频监控系 统经历了多次变革，如今，以网络化、高清化、智能化为宗旨的第四代智能视 频监控系统已经融入到人类生活的方方面面，无论是家庭、企业、政府等机构， 都可以看到视频监控产品。 ( 1 ) 在家庭方面，用户在外工作或者旅游时，可以使用互联网登录到视频 监控系统，随时随地查看家中物品财产安全和亲人生活情况。当智能视频分析 系统检测异常情况时，通过短信、彩信、邮件等多媒体的方式，将现场的报警 图像或者视频传输给用户； ( 2 ) 在企业方面，经济全球化使得各个企业在世界范围内建立分支机构， 企业管理部门可用使用视频监控系统，实时查看远在千里之外的其他部门的生 产、工作情况； ( 3 ) 在政府方面，警察使用视频监控系统获取刑事案件的有力证据，交通 部门使用视频监控系统实时查看城市交通的路况信息和车流状态，监狱部门使 用视频监控系统管理服役的罪犯。 流媒体传输是指通过网络传输媒体( 视频、音频) 的技术总称。传输方式有 两种：顺序流式传输和实时流式传剃。顺序流式传输是指流媒体数据按照顺序 传输，在前面部分数据传输完毕之前不能传输后面部分数据，通常采用h t t p 协 议或者f t p 协议，多用于音视频的点播服务；实时流式传输是指传输实时数据， 在前面部分数据传输完毕之前可以传输后面部分数据，通常使用r t s p 协议和 r t p 协议。视频监控系统的应用属于实时流式传输，本文的研究也是围绕实时流 媒体传输开展的。 1 2 本课题面临的问题 基于视频监控系统的实时流媒体传输面临着下列问题： ( 1 ) 丢包是实时流媒体传输最严重的问题。在网络传输过程中，丢包现象 武汉理工大学硕士学位论文 是无法避免，而且会随着网络的拥塞程度而剧增。发送端在传输流媒体数据时， 按照协议规则将若干小包进行打包、对大包进行分包，接收端在收到流媒体数 据后，按照相应的规则解析各个消息包。如果丢失某个数据包，将会影响流媒 体数据的解码效果。当出现大面积丢包现象时，容易导致视频跳跃和马赛克【2 】、 音频噪音和抖动、音视频不同步等现象，严重降低用户体验质量。如果针对丢 包现象使用重传机制，必然增加流媒体数据的延时，与实时传输的宗旨背道而 驰。 ( 2 ) 网络带宽的稳定性是影响实时流媒体传输的关键因素。当前的网络传 输机制采用尽力服务的方式，当网络可用带宽上下波动时，可能出现视频数据 的码率大于网络可用带宽的情况，从而导致网络拥塞，造成流媒体数据的不规 则达到，最终影响接收端的视频播放的流畅性。例如，3 g 网络容易受到外部环 境影响，带宽波动比有线传输大，这将导致移动视频监控设备的流媒体传输问 题更加严峻。 ( 3 ) 延时是实时流媒体传输不可忽略的重要特性。实时流媒体数据对延时 大小要求很高，例如，当语音对讲数据延时大于2 5 0 毫秒时，用户能够察觉延时 现象，当视频图像数据超过1 0 0 0 m s 时，开始影响用户体验质量【3 】。而编码器的编 码时间和发送时间、网络中的排队时间和转发时间、解码端的接收时间和解码 时间都将增加整个传输过程的延时大小。如何减少流媒体数据在这些细小过程 中的停留时间也是一个巨大的挑战。 1 3 国内外研究现状 目前国内外关于实时流媒体自适应传输方面的研究按照技术特点大致可以 归纳为以下三种方法【4 】： ( 1 ) 基于网络设备的方法 基于网络设备的方法即使用路由器或者交换机的q o s 服务，使用有效的拥 塞控制和管理机制，保证流媒体传输的对实时性、流畅性、丢包率的要求。除 了传统的尽力服务模型之外，目前的q o s 服务模型主要有两种：集成服务模型 ( i n t s e r v ) 【5 1 、区分服务模型( d i f f - s e r v ) 【6 1 。 1 ) i n t s e r v 模型使用资源预留协议( r v s p ) 【7 】监视每条流服务，防止其占用 过多网络带宽，从而保证整体服务质量，这种模型的缺点是它需要网络中所有 2 武汉理工大学硕士学位论文 的传输设备都支持r v s p 协议，如果任何一个路由器不满足该条件，那么服务质 量难以保证，而且过度分配网络资源的r v s p 有可能降低网络资源的利用率； 2 ) d i f f - s e r v 模型将每条流服务分类，根据不同类别做出相应优先级的处理 方式，关于如何为每个服务设定优先级以及该方法带来的效果还需要进一步考 量。 ( 2 ) 基于可用带宽估计的方法 基于可用带宽估计的方式即使用传输过程中的实时网络状态信息，估计出当 前可用带宽大小。带宽估计技术按照使用的技术特点可分为两类：探测包技术 和跨层估计技术。 1 ) 探测包技术是指在发送端和接收端之间，周期性的发送网络探测包，估 算出当前网络的可用带宽。例如：w b e s t t 8 】算法，向流媒体数据中加入一对探测 数据包，根据两个数据包往返时间的平均值和标准差来估计可用带宽； d i e t t o p p l 9 算法动态的改变探测流量的码率，根据流量变化点的状态信息来获得 可用带宽；a d h o c p r o b e 【1 0 】算法使用固定大小的探测包，在每个探测包写入发送 时间，在接收端计算传输能力。在国内，r c c 算法f 1 1 1 使用t c p 吞吐率公式来计 算当前可用带宽，为了保证流媒体服务质量，使用加权的平滑算法修改编码码 率；有学者1 1 2 】提出了自主的可用带宽大小和丢包率的延迟估计方法，根据具体 的网络传输环境，选择适当的编码码率；还有学者【l3 】在r c c 算法基础上进行改 进，得到了更稳定、平滑的视频服务质量。 2 ) 跨层估计技术的思想是使用流媒体数据本身来代替探测包，减小估计算 法的网络带宽开销。例如i b e t l 4 】算法，在物理层记录分组数据的负载大小和单路 延时来估计可用带宽，然后上报给应用层；i d l e g a p 1 5 】算法在链路层和网络层之 间加入一个模块计算网络空闲速率，并将其上报给应用层，应用层将空闲速率 加上发送能力得到可用带宽值；w e r a y u t 1 6 】等人提出在m a c 层测量的信道吞吐 率和丢包率，并以此来估解码视频帧的平均p s n r ( 峰值信噪比) ，调节e d c a ( e n h a n c e dd i s t r i b u t e dc h a n n e la c c e s s ) 参数。 ( 3 ) 基于终端的方法 基于终端的方法即在终端主机上实施控制算法，使得发送速率和播放速率适 应网络带宽能力。例如，有文献提出了m b s m 模型1 。刀，该方法在发送端建立一 个拥有三个延时级别的应用层发送缓冲区，根据延时级别对视频帧数据进行选 3 武汉理工大学硕士学位论文 择性丢失，通过统计视频帧数据的丢弃率，然后动态调整模型参数，最终优化 传输效率和播放效果。、 其中基于网络设备的方法需要修改当前的网络传输设备，并且复杂度高，难 于部署【l8 1 。基于可用带宽估计的探测包技术引入了大量的额外网络负载，对多 媒体应用造成负面影响，基于可用带宽估计的跨层技术则需要修改标准网络通 信协议，所以很难被广泛采用【1 9 1 。而基于终端的方法不要求网络传输设备具有 q o s 功能，具有实现简单、应用范围广等特点。 1 4 主要工作和内容安排 本文主要工作有两个：第一个是实现了网络视频监控系统，第二个提出了基 于终端的q a s m 动态编码码率调整模型。各章内容安排如下： 第一章介绍了网络视频监控系统的研究背景和意义，然后分析了本课题面临 的问题，介绍了国内外关于流媒体传输的研究现状，接着说明本课题的主要工 作和内容安排。 第二章介绍了视频压缩编码算法的基本原理，然后突出介绍了h 2 6 4 压缩编 码算法的结构、帧类型、主要技术，然后介绍了实时传输和控制协议r t p r t c p 、 实时流协议r t s p ，着重讲解了r t s p 协议中方法的含义。 第三章介绍了网络视频监控系统的结构，并阐述了系统中各个模块和服务器 的功能，然后以实时视频为例，详细介绍了注册、请求录像、请求流媒体数据 的详细通信流程，接着实现了前端编码器的接入模块和媒体业务层中转发服务 器。 第四章首先说明了现有方法m b s m 模型的不足，提出了几点问题，接着提 出了基于终端的q a s m 模型。然后，详细设计了应用层发送缓冲区，并定了缓 冲区的三种状态及各自状态下的动态码率调整策略。 第五章在网络视频监控系统环境下，测试m b s m 模型和q a s m 模型，从编 码码率调整速度、累计丢包率、端到端延时三个方面分析这两个模型的性能。 然后测试了转发服务器的性能。 第六章总结本文关于网络视频监控系统和编码码率调整的研究，并展望未 来。 4 武汉理工大学硕士学位论文 第2 章流媒体传输关键技术 流媒体就是使用连续的、不间断的方式通过网络传输音频、视频、多媒 体等文件的形式【2 0 l ，流媒体实际上是一种新的媒体传输方式，而不是一种 媒体，本文中的流媒体传输研究针对视频监控系统。监控视频在传输之前， 需要经过编码压缩。 2 1 视频压缩编码技术 没有经过压缩编码的数字视频数据占用空间非常大，以高清电视1 0 8 0 p 为例 子，分辨率为1 9 2 0 1 0 8 0 ，每个像素点占用一个字节，为保证高清视频的显示效 果，视频的帧率为3 0 f p s ，一秒钟的高清视频需要要占用6 0 m b 的存储空间，而 且它所需要的传输速率将近5 0 0 m b p s ，这些数字大大超过了当前存储介质和网 络带宽的承受能力。通过视频压缩算法，在保证视觉效果的前提下，减少视频 数据大小。压缩率是指压缩前的数据大小和压缩后的数据大小比值，它是衡量 压缩算法的一个重要指标，压缩率越小，需要的存储空间和传输速度越低，而 压缩算法也就越复杂。 2 1 1 视频压缩编码基本原理 从数据的完整性角度来看，视频压缩编码算法分为：无损压缩和有损压缩。 无损压缩指视频经过压缩和解压后，视频数据没有发生变化；相反，有损压缩 指视频经过压缩和解压后，视频数据发生了变化，这些变化不会影响视频的显 示效果，即人的肉眼分辨不出来。无损压缩的压缩率通常在1 0 倍以下，主要用 于对精度要求比较高的应用环境，例如：医学上的图像分析。有损压缩的压缩 率在1 0 1 0 0 倍之吲2 1 】，相对于无损压缩而言，其应用范围更为广泛。对视频数 据进行编码压缩，通常使用以下两个原理： ( 1 ) 视频数据中冗余信息分为三类：空间上冗余、时间上冗余以及统计冗 余。空间上冗余是指在单幅视频图像中，大部分区域的颜色和亮度相同或者接 近；时间上冗余是指连续两幅视频图像的变化不大，只有细微部分区别；数字 视频图像是用数字来表示的，其中每个数字出现的概率都不相同，不平均的概 5 武汉理工大学硕士学位论文 率分布构成了统计冗余。只要消除上述三种冗余信息，就可以使用很小的数据 量来表达同样多的视频信息，最终达到视频压缩编码的目的。 ( 2 ) 肉眼对视频中的高频细节信息和色度信息相对不太敏感。利用这一特 性，对不敏感的信息进行适当地丢弃，保留低频和亮度等信息，进一步压缩视 频数据。 结合上述两个原理，当前的压缩编码技术可以分为三种：是第一种是基于图 像数据的统计特性，主要方法有预测编码( 例如帧内预测和帧间预测) 、变化编 码( 例如傅里叶变换和离散余弦变化) 、量化、熵编码( 例如算术编码和霍夫曼 编码) ；第二种基于肉眼特性，包括方向滤波编码、面向轮廓纹理特征的编码； 第三种是面向对象的编码，在m p e g 4 中提出。其中第一种方法发展成熟，后 面两种方法还有待进一步研究。 2 1 2h 2 6 4 压缩编码算法 在视频压缩编码算法领域，最权威的机构有：i s o i e c 的动态图像专家组 制定的m p e g 系列算法；i t u t 的视频编码编码专家组制定了的h 2 6 x 系列算 法。这两家机构于2 0 0 1 联手成立j v t ( j o i n tv i d e ot e a m ) 组织，致力于制定更先 进、更完善的压缩编码算法。该组织以现有的m p e g 4 技术为基础，于2 0 0 3 年 发布了最新的压缩编码算法，v c e g 小组称它为h 2 6 4 ，m p e g 小组称它为 a v c l 2 2 1 。 ( 1 ) h 2 6 4 视频压缩编码的结构 h 2 6 4 视频压缩编码的结构分为两层【2 3 】：视频编码层( v c l ) 和网络提取层 ( n a l ) 。视频编码层的作用是对宏块数据进行编码，使用各种先进的视频压缩 编码技术，达到高效的压缩率；网络提取层是对编码压缩后的数据进行封装， 它定义了编码器和传输环境之间的接口，以适应不同网络传输环境。 ( 2 ) h 2 6 4 压缩编码的帧类型 h 2 6 4 压缩编码算法除了沿袭以往的i 帧、p 帧和b 帧外，还引入了s i 帧 和s p 帧2 4 】： 1 ) i 帧：帧内的宏块单位只使用帧内编码。只使用单帧图像内空间相关性， 不使用帧间的时间相关性，所以i 帧的压缩比例低。i 帧数据按一定周期出现在 视频帧序列中，出现的频率由编码参数中的i 帧间隔决定； 6 武汉理工大学硕士学位论文 2 ) p 帧：帧内的宏块不仅可以使用帧内编码，还可以使用基于运动补偿的 帧间预测的编码方式，但是只能够使用前向运动矢量，即依赖最近的一个i 帧数 据或者p 帧数据。由于同时使用空间相关性和时间相关性，所以p 帧数据的压 缩比高； 3 ) b 帧：使用双向预测的编码方式。即可以参考前面帧数据，又可以参考 后面帧帧数据； 4 ) s i 帧：切换( s w i t c h ) 码流时的i 帧，即同一信源编码参数的码流发生编 码时产生的i 帧； 5 ) s p 帧：切换码流时的p 帧。它的目的是在切换码流时，不引入新的i 帧， 在一定程度上保障传输码率的稳定性。切换码流前后，虽然比特率发生变化， 但是切换前后的两个帧数据有着很大的相关性，s p 帧参考前一帧使用帧间预测 的编码方式； ( 3 ) h 2 6 4 视频压缩编码的关键技术 h 2 6 4 的m p e g 系列压缩编码算法一样，采用运动补偿和变换编码技术。但 是在为了进一步提高压缩编码效率和增加视频图像质量，它在做出了以下几个 改进： 1 ) 帧内预测【2 5 】：以前的编码压缩算法只利用宏块内部数据的相关性，h 2 6 4 进一步利用宏块之间的空间相关性，使用帧内预测，进一步提高了压缩率。阵 内预测的原理就是利用周围的像素点对当期像素点进行预测。 2 ) 帧间预测的宏块大小可变：在阵间预测编码时，是以宏块为来单位来计 算运动补偿的，使用较大的宏块会提高压缩率，但是当视频图像剧烈变化时， 较大的宏块会导致预测误差增大口6 1 ，使用较小的宏块会降低块效应。h 2 6 4 使用 多种方式对宏块进行分割，使得编码器可能图像的编码程度选择恰当的预测模 式。相对单一的宏块大小而言，可变形状和大小的宏块会降低1 5 的码率【2 7 】。 3 ) 1 4 像素精度运动估计 h 2 6 4 算法中，亮度分量的运动矢量为1 4 像素精度，更加准确的预测精度 会进一步降低视频图像的码率。 4 ) 多帧参考运动估计 h 2 6 4 的缓存会保存1 到5 个之间的解码帧，当前帧计算运动估计时，会选 择最好的解码帧。与只使用一个参考帧相比，多个参考帧将会降低5 1 0 的码 率； 7 武汉理工大学硕士学位论文 5 ) 4 * 4 整数变换 在帧内预测或者帧间预测得到残差后，使用离散余弦变换进行编码。计算过 程中，由于浮点运算的计算量大，而且小数的舍入误差可能造成编码过程和解 码过程的不匹配。h 2 6 4 修改了离线余弦变换过程，只使用整数的加法、减法以 及移位操作，在牺牲少许压缩率的前提下，保证解码过程的准确性，并且挺高 了运行速度。另外，采用4 * 4 块大小的变化过程有利于降低块效应。 6 ) 改进的熵编码 基于上下文的自适应变长码( c a v l c ) 和基于上下文的自适应二进制算术 编码( c a b a c ) 。 7 ) 引入了s p 帧和s i 帧 2 2 流媒体传输协议 流媒体数据传输方式大致可以分为两种：顺序流媒体传输和实时流传输。其 中，实时流传输对数据的实时性要求很高，通常使用三个比较重要的传输协议： 实时传输协议r t p 2 8 2 9 1 ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 、实时传输控制协议r t c p ( r t pc o n t r o lp r o t o c 0 1 ) 和实时流协议r t s p t 3 0 1 ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 。 它们的分布结构如图2 1 所示： ， 流媒体数据 、厂 信令消息 、 应用程序接口 r t p r t c pr t s p u d pt c pt c p i p v 4 i p v 6 图2 1 流媒体传输协议的层次图 流媒体传输通常建立两个连接：流媒体数据连接和信令消息连接。使用应用 程序接口将编码压缩后的流媒体数据送到r t p 层，构造成r t p 数据包，然后选 择传输层协议( t c p 或者u d p ) ，最后送往网络层。信令消息使用r t s p 协议构 造成r t s p 消息包，由于信令消息极其重要，部分数据包的丢失将导致整个回话 中断，所以采用面向连接的t c p 传输层协议。 8 武汉理工大学硕士学位论文 2 2 1 实时传输及控制协议r t p r t c p r t p 协议是用于互联网上针对流媒体数据的一种传输协议，位于网络通信模 型的应用层。r t p 协议被设计为点对点或者一对多的音视频会议的流媒体传输 服务，它通过提供数据时间戳和序列号的方式来实现流同步。 一般情况下，r t p 协议使用u d p 网络层协议来传送流媒体数据，但在某些 环境下，也可以使用t c p 协议。基于u d p 协议的r t p 应用程序在建立会话时， 会另外分配一个端口对，一个端口用来传输r t p 数据包，一个用来传输r t c p 消息包；基于t c p 协议的r t p 应用程序在建立会话时，将r t p 数据包、r t c p 消息包、r t s p 信令包在同一个端口上传输，使用“$ + 标识+ 长度”的方式来区 别不同类型数据。r t p 协议即不能保障流媒体数据的传输，也不能提供q o s ， 它依靠底层协议的前向纠错和超时重传机制来保证数据完整性，依靠r t c p 协议 来保证服务质量。 r t c p 协议和r t p 协议一起使用，达到流量计算和拥塞控制目的。在流媒体 传输期间，参与者按照一定周期定时向其它人传送r t c p 消息包。r f c 文档建 议r t c p 消息包占用的带宽小于整个会话带宽的5 ，其中发送方占用r t c p 带 宽的2 5 。r t c p 消息包中包含有丢包率、往返时间、发送速率等信息。根据这 些实时状态信息，发送方可以动态地调整发送速率，接收方可以调整播放速率， 使传输效率和用户服务质量达到最佳，所以比较适合传输实时流媒体数据。 2 2 2 实时流协议r t s p r t s p 协议也是一个应用层协议，它是双向的，客户端和服务器双方都可以 发送请求命令，它本身不传输任何流媒体数据或者状态信息，只负责建立流媒 体传输的会话过程，在传输过程中充当“遥控器”的作用，实现的功能有：建 立会话、开始播放、暂时播放、停止播放等功能，r t s p 协议中定义的方法如 表2 1 所示。其中，传输方向一列中，c 表示客户端，s 表示服务器。方法的描 述如下： d e s c r i b e ：客户端向服务器请求指定u r i 的媒体对象的描述信息，回复消 息体中必须附带s d p 形式的文本信息； a n n o u n c e ：如果是客户端发送给服务器，则表示告知指定u r l 的媒体对 象的描述信息；如果是服务器发送给客户端，则表示更新会话描述； o p t i o n s ：告知对方可以使用的方法； 9 武汉理工大学硕士学位论文 s e t u p ：客户端请求与服务器建立流媒体连接，服务器会回复监听端口； p l a y ：客户端向服务器请求开始传输流媒体数据，注：在p l a y 之前，必 须要见使用s e t u p 建立连接； 表2 1r t s p 中定义的方法 方法传输方向要求等级 o p t i o n sc 一 s推荐的 s c可选的 d e s c r i b ec s推荐的 a n n o u n c e c s ，s c可选的 。s e t u pc s必须的 p l a yc - s必须的 p a u s ec s可选的 t e a r d o w nc - s必须的 g e tp a r a m e t e rc s ，s c可选的 s e tp a r a m e t e rc s ，s c可选的 r e d i r e c t s c可选的 r e c o r dc 。 s可选的 p a u s e ：客户端请求服务器暂时中流媒体数据传输，资源被服务器暂时保持； t e a r d o w n ：客户端请求服务器终止指定的u r i 媒体流，并且释放该媒体 资源； g e tp a r a m e t e r ：查询指定u r i 媒体流的参数，具体参数内容由用户指 定； s e tp a r a m e t e r ：设置指定u r i 媒体流的参数，具体参数内容由用户指 定，此方法通常当做心跳包使用； r e d i r e c t ：服务器通知客户端连接到另一个服务地址，此方法通常被负载 均衡机制使用； r e c o r d ：客户端请求服务器开始记录流媒体数据。 r t s p 协议还可以扩展其他功能，例如：快进、快退等操作，这样就使得用 户可以更大程度上控制流媒体数据的发送方式。 与t c p 和u d p 不同，r t s p 协议中不存在“连接”的概念，只存在“会话” 1 0 武汉理工大学硕士学位论文 的概念，通常使用服务器端保存一个会话唯一标识( s e s s i o n i d ) 。在一个会话期 间，用户可以同时请求或者停止多个流媒体服务。r t s p 协议与r t p 协议紧密关 联，r t p 协议是r t s p 协议默认的实时流媒体数据的传输方式，而且r t s p 协议 帮助r t p 协议控制通信过程。r t s p 协议被众多播放器广泛的使用，例如 r e a l p l a y e r 、q u i c k t i m ep l a y e r 、v l cm e d i ap l a y e r 。 2 3 本章小结 本章首先介绍了视频压缩编码技术，视频压缩编码的两个原理，第一个原理 是从数据上消除空间冗余、时间冗余、统计冗余，第二个原理是针对肉眼的不 敏感区域对视频数据适当的丢弃。然后从组成结构、帧类型、关键技术等方面 详细介绍了h 2 6 4 压缩编码算法。关于流媒体传输协议，本文章简单介绍了实时 流传输与控制协议族r t p r t c p ，它们通常配套使用，提供实时流传输服务，然 后介绍了负责建立会话过程的是实时流协议r t s p ，并详细列出了该协议定义了 标准方法。 武汉理工大学硕士学位论文 第3 章网络视频监控系统的设计与实现 3 1 网络视频监控系统结构 视频监控系统结构按照其功能特点可以分为四层3 1 】：用户使用层、业务管理 层、媒体服务层、设备编码层。如图3 1 所示： 网 限务器)f 存储服务器1 r “ 图3 1 视频监控系统的层次图 ( 1 ) 设备编码层 数字视频录像机d v r 、数字视频服务器d v s 、网络摄像机i p c 统称为前端 设备，负责采集监控现场的声音、视频图像、报警信号等。每个前端设备拥有 全局唯一标识g u i d ，向业务管理层的接入服务器注册并且保持心跳，向媒体服 务层的转发服务器上传流媒体数据，构建起视频监控系统的基石。 ( 2 ) 媒体服务层 媒体服务层包括转发服务器和存储服务器。 1 ) 转发服务器 转发服务器的主要功能是将前端设备的编码的流媒体帧数据流进行复制，然 后转发给若干个不同的请求用户。前端编码设备的通常使用a r m 芯片和百兆网 卡，c p u 处理能力和网络带宽有限，不能支持多个用户同时浏览。转发服务器 固习习习 武汉理工大学硕士学位论文 能够有效的解决这一个难题。另外，一个视频监控系统中可以扩展多个转发服 务器，有效的解决单服务器的服务能力和网络带宽的瓶颈。 2 ) 存储服务器 存储服务器的主要作用有两个：存储实时录像、检索回复录像。它的工作原 理是使用网络接收实时流媒体数据，然后写入到文件系统中，并且按照一定规 则生成索引信息。其核心技术在于i o 速度和数据安全性，由于单块硬盘的i o 能力和存储大小有限，存储服务器通常使用磁盘阵列技术r a i d ( r e d u n d a n t a r r a y o fl n d e p e n d e n td i s k s ) 来满足日益增长的存储需求。 ( 3 ) 业务管理层 业务管理层包括中心服务器、接入服务器、网络服务器。 1 ) 中心服务器 中心服务器负责管理中心数据库，主要功能有：设备信息管理、用户信息管 理、操作日志管理三个。设备信息管理包括对设备的运行状态和业务参数，例 如设备在线时间、网络地址、编码器标识e n c o d e d d 、通道数、设备类型、报警 信息等等；用户信息管理包括用户认证和用户权限；操作日志管理则记录用户 和管理员的所有操作。 2 ) 接入服务器 接入服务器负责接受外围终端设备和使用者的接入，具体功能有：注册服务、 心跳保活服务、信令中转服务等。注册服务首先验证注册消息中的唯一标识 g u i d ，然后允许合法的编码设备接入到视频监控系统中，如果是用户注册消息， 则验证用户名和密码和合法性；心跳保活服务实时的检测前端编码设备的运行 状态；信令中转服务将用户的控制消息转发给设备，或者将设备的报警消息上 报给中心服务器。 3 ) 网管服务器 网管服务器负责监听管理端的连接，接受管理端的注册，对管理员鉴权，屏 蔽错误操作。它向中心服务器注册，并保持长连接。它是管理端与中心服务器 之间的桥梁。 ( 4 ) 用户使用层 用户使用层包括监控客户端和网管客户端。 1 ) 监控客户端 1 3 武汉理工大学硕士学位论文 监控客户端实现用户操作：登陆平台，浏览监控点实时视频、查看平台和编 码器存储的历史录像，查询、设置编码器和解码器参数。用户端软件的硬件环 境可能是个人电脑、手机和平板电脑等，所以应用程序需要在w i n d o w s 、a n d r o i d 、 i o s 等操作系统上开发。 2 ) 网管客户端 网管客户端实现对平台数据库的插入、删除和更新。管理员可以使用管理 端软件，管理平台的数据库信息，给编码器和解码器分配设备唯一标识，给用 户分配账号和密码，赋予浏览视频权限。由于管理端软件的使用频率远低于用 户端软件，为了减少统一软件在多系统下的开发和维护工作，所以只用开发最 常用的w i n d o w s 系统下应用程序即可。 3 2 视频传输的通信流程设计 每个项目中的每个角色，例如：客户端、中心服务器、转发服务器等，拥有 全球唯一标识。g u i d 的长度为3 l 位，十六迸制数，长度分配如图3 2 所示： x x x x x x x x x x x xx xx x x xx x x x x x x x x xx x x 图3 2 视频监控系统中的g u i d ( 1 ) 项目i d ：占8 位，用以区别不同项目，例如深圳地铁项目、武汉市公 安局项目、家乐福连锁超市项目等； ( 2 ) 域i d ：占4 位，在多域系统中标识项目中的唯一域，域代表独立的行 政管理单位，一个域内只有一个中心服务器； ( 3 ) 角色i d ：占2 位，标识域中的角色，0 1 代表中心服务器，0 2 代表接 入服务器，以此类推。 ( 4 ) 硬件i d ：占4 位，标识角色使用的硬件版本，例如：芯片类型、设备 型号； ( 5 ) 软件i d ：占4 位，标识软件版本号。 ( 6 ) 数量i d