（计算机应用技术专业论文）移动视频监控系统的研究与实现.pdf

浙江人学硕：卜学位论文 摘要 摘要 移动视频监控技术是视频监控技术在移动网络和移动终端上的应用，其目的 是为移动终端提供实时的视频监控服务。它是无线网络技术、流媒体技术以及视 频监控技术等多种技术融合的产物。由于移动视频监控不受空间限制、易于部署 和使用等优势，移动视频监控技术已经成为监控领域研究和应用的热点。 相比有线网络监控，移动视频监控技术面临着多方面的挑战：移动视频监 控并发访问量大移动网络的多样性移动网络的不完善移动终端的异构性 移动终端性能不足，极大地增加了移动视频监控系统设计与实现的难度。本文 根据移动视频监控的实际需求，针对移动视频监控的技术难点展开研究，主要研 究点概括如下： 为解决大量用户并发处理和流媒体应用对服务器带宽的巨大需求等问题，通 过分饰式的服务端架构，使得视频采集、流媒体传输、用户会话控制等功能在物 理服务器上分离，有效提升了服务端整体性能；以移动网络的特殊性和视频监控 实时需求为基础，对传统流媒体应用服务质量控制策略做了研究和改进；设计了 低耦合度、高可扩展性的客户端软件整体架构；为了降低在型号和操作系统不同 的移动终端上，客户端的丌发和维护难度，提出了可以方便在移动平台上移植的 通用跨平台客户端架构；阐述了客户端接收流媒体数据的相关技术和策略；讨论 了在低性能手机上客户端的特殊处理和优化策略。 本文在l i n u x 服务器和w i n d o w sm o b i l e 、b r e w 两种手机平台上，对移动视 频监控系统做了应用和测试。测试结果，系统可以在大量用户并发下为用户提供 实时监控视频。 关键词：视频监控，移动流媒体，移动软件丌发，分布式系统，服务质龟 浙江大学硕上学位论文 a b s t r a c t a bs t r a c t m o b i l ev i d e os u r v e i l l a n c et e c h n o l o g yi st h ev i d e os u r v e i l l a n c et e c h n o l o g yu s e d o nt h em o b i l en e t w o r ka n dd e v i c e s ，w h o s ep u r p o s ei st op r o v i d er e a l t i m ev i d e o m o n i t o r i n gs e r v i c e sf o rm o b i l et e r m i n a l s i ti st h ec o m b i n a t i o no ft h ew i r e l e s sn e t w o r k t e c h n o l o g y , s t r e a m i n gm e d i at e c h n o l o g ya n dv i d e os u r v e i l l a n c et e c h n o l o g y a si ti sn o t r e s t r i c t e db ys p a c ea n de a s yt od e p l o ya n du s e ，m o b i l ev i d e os u r v e i l l a n c et e c h n o l o g y h a sb e c o m et ob et h er e s e a r c ha n d a p p l i c a t i o nh o t s p o t so f t h es u r v e i l l a n c ef i e l d c o m p a r e dt ow i r e dn e t w o r ks u r v e i l l a n c e ，m o b i l ev i d e os u r v e i l l a n c et e c h n o l o g y f a c e sm a n yc h a l l e n g e s ：a ) t h el a r g ea m o u n to fc o n c u r r e n ta c c e s s ；b ) t h ed i v e r s i t yo f m o b i l en e t w o r k s ；c ) d e f i c i e n c i e so ft h em o b i l en e t w o r k s ；d ) h e t e r o g e n e i t yo fm o b i l e t e r m i n a l s ；e ) t h ei n a d e q u a t ep e r f o r m a n c eo fm o b i l et e r m i n a l t h e s ec h a l l e n g e sg r e a t l y i n c r e a s et h ed i f f i c u l t yo ft h ed e s i g na n di m p l e m e n t a t i o no ft h em o b i l ev i d e o s u r v e i l l a n c es y s t e m t h i sp a p e rs t u d i e dt h et e c h n i c a ld i f f i c u l t i e so ft h em o b i l e s u r v e i l l a n c et e c h n o l o g yf r o mt h ep o i n to fv i e wt h ep r a c t i c a lr e q u i r e m e n t sa sf o l l o w i n g t h i sp a p e rd e s i g n e dad i s t r i b u t e ds t r e a m i n g m e d i ad e l i v e r ya r c h i t e c t u r et os o l v e t h el a r g e s c a l ec o n c u r r e n ta c c e s sa n dt h es h o r t a g eo ft h es e r v e r sn e t w o r kb a n d w i d t h ； r e s e a r c h e da n di m p r o v e dq u a l i t yo fs e r v i c ec o n t r o ls t r a t e g yf o rt h es t r e a m i n g - m e d i a a p p l i c a t i o nt oi n c r e a s et h er e a l - t i m ep e r f o r m a n c eo ft h em o b i l es u r v e i l l a n c e ；d e s i g n e d t h ec l i e n ta r c h i t e c t u r ew i t hh i g hs c a l a b i l i t ya n dl o wc o u p l i n g ；t od e c r e a s et h ed i f f i c u l t y o ft h ec l i e n td e v e l o p m e n ta n dm a i n t e n a n c eo v e rt e r m i n a l sw i t hd i f f e r e n to p e r a t i n g s y s t e m s ，p r o p o s e dac o m m o nc r o s s - p l a t f o r mc l i e n ta r c h i t e c t u r ew i t hh i g hp o r t a b i l i t y ； d e s c r i b e dr e l a t e dt e c h n o l o g i e sa n ds t r a t e g i e so ft h es t r e a m i n g m e d i ad a t ar e c e p t i o nb y t h ec l i e n t ；d i s c u s s e dt h es p e c i a la p p r o a c ha n do p t i m i z a t i o ns t r a t e g yf o rt h em o b i l e p h o n e sw i t hl o wp e r f o r m a n c e w eu s e dl i n u xs e r v e ra n dm o b i l ep h o n e sw i t hb r e wa n dw i n d o w sm o b i l e p l a t f o r m sf o rt h ea p p l i c a t i o na n dt e s t i n go ft h ed e s i g n e dm o b i l ev i d e os u r v e i l l a n c e t e s tr e s u l t ss h o wt h es y s t e mi sa b l et op r o v i d er e a l - t i m ev i d e os u r v e i l l a n c ef o r 浙江人学硕上学位论文 a b s t r a c t l a r g e - s c a l ec o n c u r r e n tu s e r s k e y w o r d s ：v i d e os u r v e i l l a n c e ，m o b i l es t r e a m i n g - m e d i a ，m o b i l es o f t w a r e d e v e l o p m e n t ，d i s t r i b u t e ds y s t e m ，q o s 浙江火学硕士学位论文 图目录 图目录 图1 1 论文组织结构4 图2 1 流媒体协议栈9 图3 1 移动视频监控系统总体数据流图1 5 图3 2 分布式视频监控服务端架构1 9 图3 3 用户登录u m l 序列图2 2 图3 4 并发处理底层框架2 5 图3 5 任务线程处理流程2 7 图3 6 移动视频监控端到端q o s 控制策略架构图2 9 图3 7 改进后的a r q 算法模型3l 图4 1 流媒体客户端总体流程图3 3 图4 2 流媒体播放器整体结构图3 4 图4 3 系统线程模型3 6 图4 4a p i 处理流程图3 7 图4 5 跨平台架构4 0 图4 6r t p 包排序示意图( 图中s n 指r t p 报的序列号) 4 2 图4 7 分片封包模式的r t p 负载格式4 3 图4 8f ui n d i c a t o r 4 4 图4 9f uh e a d e r 4 4 图4 10 分片模式下r t p 丢包处理状态机4 4 图5 1 测试网络拓扑图4 9 图5 2 客户端演示效果图5 2 图5 3 服务端测试方案5 2 图5 4 服务端性能上限测试5 3 图5 5 服务端性能极限测试5 4 浙江大学硕上学位论文 表日录 表目录 表5 1 服务器参数5 0 表5 2w i n d o w sm o b i l e 版本客户端测试手机参数5 0 表5 3b r e w 版本客户端测试手机参数5 0 表5 4 系统功能列表5 l 表5 5 测试视频参数5 4 表5 6 客户端h 2 6 4 解码性能5 5 表5 7 显示性能测试结果5 5 表5 8 整体性能测试结果5 6 l v 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝至三盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：签字日期：年月同 学位论文版权使用授权书 本学位论文作者完全了解逝鎏盘堂有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝鎏盘堂可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：导师签名： 签字h 期：年 月同签字h 期：年月同 浙江大学硕上学位论文第1 章绪论 第1 章绪论 1 1 研究背景 视频监控业务具有悠久的历史，在传统上广泛应用于安防、交通事故处理等 行业应用领域。近年来，随着计算机和网络的普及，视频监控正越来越广泛地渗 透到教育、政府、娱乐、医疗、酒店、运动等其它各种领域。同时视频监控作为 一种传统视频技术和现代通信技术等多种信息技术相结合的应用【l 】，是计算机应 用领域的长期热点研究方向之一。随着人们对信息技术的深入研究，图像处理、 视频压缩、网络通信等计算机技术得到了迅速发展，以这些技术为基础的视频监 控技术不断成熟并且得到了广泛应用。视频监控系统是由视频采集、视频压缩、 视频传输、视频管理和系统控制等电子设备和计算机系统组成的有机整体。 随着手机功能的增强、性能的提升，以及移动网络带宽的提高，手机的定位 已经从原来的传统语音通信设备逐渐转变成智能化的移动网络终端。随之而来的 是，一系列以数据通信为基础的移动应用得到了快速发展。视频监控技术和移动 网络技术的发展与融合促使了移动视频监控的产生与发展。随着2 0 0 9 年中国工 信部3 g 牌照的发放，中国移动网络正式进入3 g 时代。这引起了传统互联网应用 向移动互联网应用的转变，越来越多的互联网应用丌始提供移动版本。原有移动 网络的局限性对移动视频监控发展的束缚逐渐减弱，移动视频监控的应用前景更 加明朗。 移动视频监控与传统网络视频监控相比，具有网络覆盖面广、没有空间限制、 使用方便、实时性高等优点，因此有非常广阔的应用前景。使用移动视频监控系 统，用户出行时可以方便快捷的看到重要交通路口的实时通行情况；在安装采集 设备的家庭环境中，用户可以观察家中需要照顾的老人或儿章的当前状况。当目 标监控点j 监控管理中心地理位置相距较远时，或者目标监控点本身处于移动状 念时( 比如列牟车厢监控) ，使用传统网络监控会面临布线成本过高或者无法布 线的问题，具有移动采集端的移动视频豁控系统可以充分发挥其移动优势。移动 浙江大学硕士学位论文第1 章绪论 视频监控突破了原有视频监控的空间局限性，必将成为国内3 g 应用中的热点。 1 2 研究意义与目的 随着网络技术和以视频编解码为基础的流媒体技术的发展，传统的网络视频 监控技术已经非常成熟，并在各个行业得到了广泛应用。但由于移动网络带宽和 移动终端性能等多方面的限制，移动视频监控技术仍然不够成熟，存在大量的问 题等待研究和解决。作为新兴行业的移动视频监控系统却仍处于不断完善与发展 之中。与有线网络上的视频监控系统相比，移动视频监控主要面临以下如下挑战： 移动视频监控并发访问量大 移动视频监控相比固网视频监控，监控终端的使用空间和时间不再受限制， 使用范围和用户数量得到极大增长。由之而来的并发请求大幅度增加，移动监控 服务端如何处理大规模并发请求，同时为大量用户提供实时的流媒体数据，成为 移动视频监控必须首要解决的问题。 移动网络的多样性 国内几大移动运营商正同时运营多个移动数据网络，中国移动的g p r s 、 e d g e 和t d s c d m a ，中国联通的w c d m a ，中国电信的c d m a1 x 和 c d m a e v d o 。这些众多的移动网络在带宽、稳定性、网络覆盖率等多个方面存 在不小的差异。移动视频监控系统需要根据用户使用的移动网络的不同，在移动 网络本身性能允许范围之内为用户提供尽可能高的响应速度、画面质量和稳定性 等移动监控的服务质量。 现有移动网络依然不完善 移动网络由于网络特殊性，相比有线网络，主要存在以下问题：带宽不足， 即使是最新的3 g 网络在用户使用量过大时也会表现出信道带宽严重不足的问 题；彳i 稳定、波动性大，移动网络往往会由于高速运动、遮挡、基站切换等原 因，导致网络带宽和时延等参数发生剧烈变化；网络误码率和丢包率更高。移 动视频监控系统必须研究针对 ：述f q 题的服务质量保证策略。在网络状况不佳 浙江大学硕j ：学位论文第l 章绪论 时，能利用动态调整码率等方法保证视频的实时性和流畅度。 移动终端设备性能不足 作为嵌入式设备的移动终端，在移动性、成本和功耗等因素的制约下，其处 理能力、内存容量、屏幕分别率等各种硬件参数必然收到极大限制。在低性能的 设备上实现实时流媒体应用对于移动视频监控是巨大挑战。另外，系统还必须在 为用户提供高质量监控的前提下，减少对设备资源的利用率，降低计算复杂度以 降低能耗。 移动终端的异构性2 】 现有的市场上手机型号不计其数，他们使用的c p u 体系架构、处理能力、内 存容量和屏幕分别率都各不相同。移动终端使用的操作系统不仅种类繁多，而且 存在很大的差异性。移动终端的异构性大大增加了移动视频监控客户端的开发难 度。为了减少重复劳动和降低维护难度，客户端必须屏蔽移动终端之问的各种差 异，设计一个可以在尽可能多的终端上运行的通用架构。 移动视频监控面临的上述挑战，使得现有的网络视频监控技术不再完全适 用。我们必须在网络视频监控技术的基础上，针对移动视频监控的特点和挑战， 研究移动视频监控的系统架构、服务端技术和客户端技术，为移动视频监控系统 的应用提供完整的解决方案以及系统设计和实现方案。 1 3 论文组织 本文在接下来的章节将详细阐述研究内容。本文的组织结构如图1 1 所示， 全文共分为六章，各章内容分别安排如下： 第1 章介绍了课题背景和研究的意义与目的，并提出本文的工作。 第2 章简要介绍了视频监控系统的发展现状和相关技术，并详细阐述了作为 视频监控系统技术基础的视频编解码技术和流媒体技术。 第3 章描述了移动视频监控系统服务端的设计，其中主要阐述了移动视频监 浙江人学硕十学位论文第1 章绪论 控服务端的架构以及针对移动视频应用的q o s 策略等关键技术。 第4 章描述了移动视频监控系统客户端的设计，其中主要阐述了移动视频监 控客户端的架构、针对多种移动设备的可平台方案、音视频同步技术等关键技术。 第5 章介绍在上文的基础上实现的移动视频监控系统，主要描述系统的搭建、 开发和测试的工作。 第6 章将总结本文所做的工作，并对下一步的工作方向做出展望。 、总结与展望： 一一 ， 图1 1 论文细织结构 浙江大学硕上学位论文第2 章视频监控技术综述 第2 章视频监控技术综述 移动视频监控系统是在移动平台和嵌入式平台上，运用流媒体技术，实现监 控视频在移动终端的实时显示。流媒体技术作为移动监控技术的基础，融合了视 频采集，视频编解码以及流媒体传输和控制等相关技术。本章将介绍移动视频监 控系统的相关概念和技术，并详细阐述流媒体技术在移动视频监控中的应用前 景。 2 1 视频监控的发展历程 随着监控需求的不断提高以及各种相关监控技术的不断发展，监控系统也经 过了第一代模拟视频监控系统、第二代数字视频监控系统，发展到了第三代网络 视频监控系统1 1 ，监控系统管理也经过了从人防到人防技防相结合、从单点到集 中联网管理的过程。无线视频监控技术依托当今无处不在的无线网络，成为当前 主流的视频监控解决方案。 作为第一代视频监控技术的模拟监控，由于在图像质量、监控范围上具有较 大的局限性，市场份额有较大程度的萎缩。然而，由于其易于部署、易于应用以 及突出的价格优势等诸多特点，模拟监控仍然广泛部署于特定的行业应用以及地 区。 数字监控作为继模拟监控之后的第二代监控技术，无论在图像质量、保存时 间以及可靠性上均有大幅度的提升，为用户提供了高性价比的监控解决方案。当 前，数字监控己牢牢地成为主导整体视频临控市场的视频监控解决方案，并成熟 部署于会融、商业等行业之中。 随着网络技术的成熟，融合了网络技术和数字监控技术的网络视频监控作为 第三代视频监控面世。使用局域网或者广域网传输视频，极大地增加了视频的传 输距离，实现了远程监控。作为石：联网应用，网络视频监控也实现了多用户并发 访问。 浙江大学硕十学位论文第2 章视频监控技术综述 2 2 流媒体技术 流媒体是在数据网络上按时间先后次序传输和播放的连续音视频数据流。流 媒体数据流具有连续性、实时性、时序性三大特点，具有严格的前后时序关系。 广义上的流媒体技术是指使音频和视频形成稳定和连续的传输流和回放流的一 系列技术、方法和协议的总称【3 1 。 流媒体技术融合了视频编解码、流媒体传输与控制、计算机网络等多种计算 机技术。一个完整的流媒体系统应必须解决如下关键问题： 媒体数据的采集：媒体数据一般是现有的音视频文件，在监控系统中是通过 摄像机进行实时采集。 视频编解码：采集的原始媒体数据的数据量非常大，必须经过压缩后才能在 网络中传输；压缩后的视频数据传输到客户端后必须解码后在终端显示。 媒体数据的传输与控制：服务端把媒体数据通过通用的流媒体协议传输到客 户端；客户端接受流媒体数据，同时向服务端汇报丢包情况、解码效率等客户端 参数，以便服务端实时控制和调整流媒体的传输。 流媒体播放：流媒体数据在终端的播放，其中涉及图像显示、音频播放、音 视频同步等各种多媒体技术。 2 2 1 视频编解码技术 2 2 1 1 视频压缩原理简介 视频编码的主要目的就是在保证一定重构质量的前提下，以尽量少的比特数 来表征视频信息。视频编码的原理是：由于表示图像和视频信息所需的大量的数 据往往是高度相关的，这些相关性会引起信息的冗余，因此可以通过去除这些冗 余信息来实现对视频数据的压缩【4 1 。 图像信息能进行压缩足冈为信息本身通常存在较大的冗余量，对于一个连续 画面来说，每一帧图像都是由若干像素组成的，而动念图像通常反映的是一个连 6 浙江大学硕上学位论文第2 章视频监控技术综述 续的过程，它的相邻的帧之间必然存在着很大的相关性，这些相似的信息( 冗余信 息) 为数据的压缩提供了基础。同时，由于人的视觉和听觉对某些信号不那么敏感 的生理特性，致使信息被压缩之后还不会发现，也不至于对压缩后的信息产生误 解【5 1 。 编码技术可以看作是对数据进行压缩的方法，每一种编码技术都是实现数据 压缩的具体操作。数据压缩技术可以分成两大类：有损压缩和无损压缩。有损压 缩允许一定精度的损失以换取大大增强的压缩比。无损压缩保证压缩数据在解压 后同原始数据保持完全一致，因此无损压缩后的数据保留原始数据中的所有信 息，压缩比一般比较小。 2 2 1 2n 2 6 4 视频压缩标准 h 2 6 4 标准视屏标准是由j v t ( j o i n tv i d e ot e a m ，视频联合工作组) 制定的 新一代视频编码标准。h 2 6 4 不仅比h 2 6 3 和m p e g 4 节约了5 0 的码率，而且 对网络传输具有更好的支持功能。它引入了面向i p 包的编码机制，有利于网络中 的分组传输，支持网络中视频的流媒体传输。h 2 6 4 具有较强的抗误码特性，可 适应丢包率高、干扰严重的无线信道中的视频传输。h 2 6 4 支持不同网络资源下 的分级编码传输，从而获得平稳的图像质量。h 2 6 4 能适应于不同网络中的视频 传输，网络亲和性好1 6 j 。 h 2 6 4 标准压缩系统由视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络提取 层( n e t w o r ka b s t r a c t i o nl a y e r ，n a l ) 两部分组成i 。v c l 由v c l 编码器与v c l 解码器构成，主要功能是视频数据压缩编解码，包括熵编码、变换编码、运动补 偿等单元。n a l 的作用是为v c l 提供与网络无关的统一接口，它负责使用统一 的数据格式对视频数据进行封装打包，以便视频数据在网络中的传输。n a l 包括 单字节的包头信息、多字节的视频数据流、逻辑信道信令和序列结束信号等信息。 包头信息中包含类型标志和存储标志，类型标志用于表示图像数据的类型，存储 标志用于表明当6 仃数据不属于被参考的帧。v c l 可以传输根据当i ，j 网络情况调整 的编码参数，以便解码端凋整解码参数。和h 2 6 3 标准相比，h 2 6 4 标准的主要特 7 浙江大学硕士学位论文第2 章视频监控技术综述 点如下： 更高的编码效率：同h 2 6 3 等标准的特率效率相比，能够平均节省大于 5 0 的码率。 较高的计算复杂度：h 2 6 4 压缩性能的改进是以增加编解码复杂性为代 价而获得的。据估计，h 2 6 4 的编码复杂度大约相当于h 2 6 3 的3 倍，而 解码复杂度大约相当于h 2 6 3 的2 倍。 更好的网络适应能力：h 2 6 4 可以用于低延时的视频会议等实时通信应 用，也可以用于没有延时的视频存储或视频流服务器上。 高质量的视频画面：h 2 6 4 能够使用低码率提供清晰度较高的视频图像， 因此h 2 6 4 可以在低带宽的网络上传输高质量的图像。 混合编码结构：h 2 6 4 除了采用和h 2 6 3 相同的d c t 变换编码加d p c m 的差分编码的混合编码结构，还通过多帧预测、帧内预测、多模式运动 估计、基于内容的变长编码、4 x 4 二维整数变换等新的编码方式，提升 了编码效率。 较少的编码选项：h 2 6 3 中编码时过多的设置选项增加了编码的难度， 而h 2 6 4 通过采用简介的编码选项降低了编码时复杂度。 错误恢复功能：h 2 6 4 标准规定了网络视频包丢失时的解决方法，因此 在误码率高的移动网络中，适合采用h 2 6 4 传输视频数据。 2 2 2 流媒体传输技术 2 2 2 1 流媒体协议栈 流媒体技术是使用一系列的通用流媒体协议来实现的。流媒体协议栈定义了 流媒体会话、流媒体传输与控制、视频数据负载方式等相关标准，来规范流媒体 应用的各个方面。流媒体服务端和客户端只要遵循流媒体协议标准，便可以与所 有的流媒体应用交互。流媒体协议栈的构成如图2 1 所示。 浙江大学硕士学位论文第2 章视频监控技术综述 2 2 2 2r t s p 图2 1 流媒体协议栈 实时流协议r t s p ( r e a l t i m es t r e a m i n gp r o t o c 0 1 ) 是由r e a l n e t w o r k s 和 n e t s c a p e 共同提出的，定义了一对多应用程序如何通过i p 网络有效地传输多媒体 数据的应用层协议【引。r t s p 在协议栈逻辑结构上位于r t p r t c p 之上，它使用 t c p 或u d p 传输数据。r t s p 与h t t p 类似，都是基于请求应答机制的文本协 议，但与h t t p 的无状态不同，r t s p 维护每一个连接的当前状态。另外，h t t p 在协议中直接传输h t m l ，而r t s p 通过传输控制信息操控r t p 完成媒体数据流 的传输。r t s p 是应用层协议，控制实时数据的发送。r t s p 提供了一个可扩展框 架，使实时数据( 如音频与视频) 的直播、点播成为可能。数据源包括实时直播数 据和存储在媒体文件中的数据。r t s p 还用于控制多个流媒体传输连接，并为选 择使用不同的传输通道( 如u d p 单播、u d p 组播和t c p 等) 提供途径。 r t s p 建立并控制一个或多个时问同步的媒体流。尽管媒体流与r t s p 控制流 之间可能存在交叉，但通常r t s p 控制流本身并不是连续的，r t s p 只是充当多媒 浙江大学硕士学位论文第2 章视频监控技术综述 体服务器和客户端之间的网络远程控制工具。r t s p 连接没有与t c p 连接绑定， r t s p 甚至可以使用无连接传输协议u d p ，r t s p 连接的维护由r t s p 协议本身规 定。r t s p 流控制的媒体流可能使用r t p ，但r t s p 操作本身并不依赖媒体流的传 输机制，r t s p 甚至可以控制r t p 以外的流传输协议。实时流协议在语法和操作 上与h t t p 1 1 类似，因此h t t p 的扩展机制大多可以j j 口kr t s p 中。 2 2 2 3s d p 会话描述协议s d p ( s e s s i o nd e s c r i p t i o np r o t o c 0 1 ) 并不是传输协议，而只是描述 流媒体初始化参数的文本协议，其主要目的是解决多媒体会话通知、邀请和媒体 会话的其他初始化工作【l o 】。s d p 主要传递以下信息：会话名称和意图、会话持续 时间、构成会话的媒体、有关接收媒体的信息( 地址等) 。s d p 完全是一种会话 描述格式，它不局限于r t s p 协议栈中，它可以使用不同的适当的传输协议，包 括会话通知协议( s a p ) 、会话初始协议( s i p ) 、实时流协议( r t s p ) 、m i m e 扩 展协议的电子邮件以及超文本传输协议( h t t p ) 。 2 2 2 4r t p r t c p 实时传输协议r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是用于在i n t e m e t 上传输多媒 体数据流的一种应用层协测9 1 。r t p 被定义在一对一或一对多的传输情况下工作， 其目的是提供时间信息和实现流同步。一般情况下，r t p 使用u d p 来传送数据， 但在网络带宽足够的情况下，r t p 也可以使用t c p 或a t m 等其他面向连接的协 议进行传输。初始化r t p 会话时，应用程序会分配两个端口：一个给r t p ，另一 个给r t c p 。当使用u d p 传输时，r t p 本身并不能为按顺序传送数据包提供可靠 的传送机制，也不提供流量控制或搠塞控制，它依靠r t c p 提供这些服务。由于 r t p r t c p 属于应用层协议，所以r t p 算法并不作为一个独立的网络层来实现， r t p r t c p 协议制定的算法需要由应用程序本身来实现。 实时传输控制协议r t c p ( r e a l t i m et r a n s p o r tc o n t r o lp r o t o c 0 1 ) 平dr t p 共同合 作提供流量控制和拥塞控制服务f 9 】。在r t p 会话期i 日j ，所有的r t p 会话参与方周 1 0 浙江大学硕士学位论文第2 章视频监控技术综述 期性地发送r t c p 包。r t c p 包中含有已发送的数据包的数量、已接收的数据包 数量和丢失的数据包的数量等统计资料。因此，服务器可以利用这些信息动态地 改变传输速率、视频码率和帧率等参数。r t p 和r t c p 配合使用，它们能以有效 的反馈和最小的开销使传输效率最佳化，因此非常适合需要传输流媒体等实时数 据的应用。r t c p 主要有如下4 个功能【9 】： 1 ) 通过反馈信息的方法来提升数据的传输质量。该反馈可以用于实现流量 的拥塞控制服务，同时也可以用来监控网络状况以及发现和诊断网络中 的问题； 2 ) 为r t p 源提供一个永久性的c n a m e ( 规范性名字) 的传输层标志，因为 在s s r c ( 同步源标识) 发生冲突或者程序重启时，s s r c 会发生改变。在 一组相关的会话中接收方也需要用c n a m e 来指定获取音视频等数据流 的会话参与者； 3 ) 根据r t p 会话参与者的数量来调整r t c p 包的发送率； 4 ) 可选功能：传送会话控制信息，如在用户界面显示参与者的身份标识等。 虽然组播可以节省服务器资源和网络主干的带宽资源，但大多数流媒体应用 并不直接使用组播，而是采用基于组播的应用层协议，r t p r t c p 就是属于这种 应用层协议。r t c p 包周期性地在会话成员之问组播。r t c p 包的主要类型包； ( 1 ) s r 源报告包，用于发送和接收源的统计信息；( 2 ) r r ：接收者报告包，用于 发送和接收非活动站的统计信息；( 3 ) s d e s 源描述包，用于报告与站点相关的 信息；( 4 ) b y e ：站点离丌系统报告包，会话参与者会话结束标志；( 5 ) a p p ：特殊 应用包 2 2 。 2 3 移动软件开发平台 智能手机是指拥有丌放式操作系统的手机，智能手机与普通手机的根本区别 在于是否对外提供软件丌发套件1 1 2 】。拥有丌放式操作系统的手机可以对外丌放应 用程序编 呈接口，手机软件商可以在丌发平台匕丌发第= 三方应用软件，并且用户 浙江大学硕上学位论文第2 章视频监控技术综述 可以在系统基础上通过下载安装第三方软件以获得功能扩展。 智能手机功能的强大是通过第三方应用软件来体现的，丰富的第三方应用使 得手机功能不再局限于手机自带功能。类似于p c 机，操作系统只提供了基础的 系统平台，用户对p c 的功能需求只能通过安装软件来满足。非智能手机虽然也 有操作系统提供底层功能，但系统是封闭的，除了手机生产商之外，第三方软件 开发商无法为手机开发新功能，用户也就无法对手机功能进行扩展。 2 3 1w i n d o w sm o b i l e w i n d o w sm o b i l e 是微软为p o c k e tp c 和s m a r t p h o n e 手机设备开发的应用软件 开发平台。w i n d o w sm o b i l e 是w i n d o w sc e 的一个重要分支，它采用和w i n d o w s c e 完全相同的底层二进制代码，开发流程和开发环境也w i n d o w sc e 大致相同 【1 3 】。s m a r t p h o n e 主要是为单手智能手机提供操作系统，常见于低端手机产品。而 p o c k e tp c 主要用于高端手机或者掌上电脑等高端移动设备的操作系统，相对于 s m a r t p h o n e ，p o c k e tp c 需要更高的硬件性能支持。 w i n d o w sm o b i l e 是开放的实时多线程操作系统，开发者可以利用w i n d o w s m o b i l e 提供的开发套件开发移动应用程序。它的底层操作系统是w i n d o w sc e ， 该系统是为小内存、3 2 位移动智能连接设备而丌发的模块化实时嵌入式操作系 统。w i n d o w sm o b i l e 系统将熟悉的w i n d o w s 体验扩展到了移动设备上。w i n d o w s m o b i l e 为移动设备提供了与w i n d o w s 类似的操作界面，将强大的办公处理软件 o f f i c e ，娱乐软件w i n d o w sm e d i ap l a y e r 等w i n d o w s 应用软件移植到了移动设备 匕。 2 3 2b r e w b r e w ( b i n a r yr u n t i m ee n v i r o n m e n tf o rw i r e l e s s ，无线二进制运行环境) 是美 国高通公司推出的基于c d m a 无线网络的增值业务运行平台，b r e w 提供了无 线数据应用的通用接i s l 平刽14 1 。程序员可以通过b r e w 接1 5 消除对手机底层嵌 入式系统技术细节的依赖，快速丌发各种高效、复杂的手机应用软件。高通官方 浙江大学硕士学位论文第2 章视频监控技术综述 提供的最新的b r e w 版本是b r e w 3 1 5 。目前市场上的大多数的c d m a 手机支 持2 0 以上版本的b r e w ，一些高端的c d m a 手机能支持3 o 以上版本的b r e w 。 相对于使用j 2 m e 等跨平台的开发工具，使用c c + + 开发的b r e w 程序能够 获得很高的运行效率。但使用c c + + 开发b r e w 程序存在一些限制，其中最主要 的是b r e w 没有提供多线程机制【l5 1 。在拥有多线程机制的系统中开发流媒体应 用软件，一般采用多线程的方式来控制多个并发任务的运行。采用多线程模式实 现流媒体播放器可以使程序的整体架构更清晰合理，并且可以降低程序员的工作 量，提高开发效率。但b r e w 缺乏对多线程的支持，只能使用定时器来模拟多任 务的并行，通过控制定时器的运行来协调各个任务之间的同步。当系统中同时运 行多个定时器时，每个定时器的定时间隔设置成为一个重要问题：如果定时问隔 过小，可能造成各个模块相互争夺c p u 资源，反而造成资源浪费；如果定时间隔 设置过大，可能会造成某些任务得不到及时运行，造成系统迟滞。 2 4 本章小结 本章对移动视频监控的相关技术进行了综述。流媒体技术是视频监控技术的 基础，而流媒体技术的两大技术核心分别是视频编解码技术和流媒体传输技术。 本章介绍了本系统所采用的h 2 6 4 标准的特点和优势，详细阐述了和流媒体传输 相关的各个协议。本章末尾还简要介绍了智能手机平台的相关技术背景。 浙江大学硕士学位论文第3 章移动视频监控系统服务端 第3 章移动视频监控系统服务端 移动视频监控作为一种大规模并发的网络服务，高效的系统架构设计是首要 解决的问题。和传统的固网视频监控相比，移动视频监控面对的网络情况更加复 杂，因此针对移动流媒体应用的q o s 策略同样是移动视频监控服务端必须解决的 关键问题。本章将围绕上述问题展开，详细阐述移动视频监控服务端的各项关键 技术。 3 1 移动视频监控系统主要组成部分 整个移动视频监控系统由3 个部分构成：网络摄像机、监控服务器、移动流 媒体客户端。网络摄像机和监控服务器可以通过广域网或者局域网连接，采用广 域网连接时，必须注意网络延迟和带宽限制对音视频传输的影响；监控服务器和 移动流媒体客户端之间采用w i f i 或者移动网络连接。 网络摄像机的作用是实时采集音频和视频数据并分别编码，打上时间戳后传 输给监控服务器。同时，带云台的网络摄像机必须对外提供云台控制功能。网络 摄像机通常采用u c l i n u x 嵌入式系统作为底层平台，其核心模块是视频编码。由 于网络摄像机系统性能一般比较低，而视频编码计算复杂度比较高，必须对视频 编码过程进行优化。 监控服务器是移动视频监控系统的核心，主要负责完成以下功能： 1 ) 用户验证和登录：验证用户个人信息，登录流媒体服务器，即时和计费 等功能。 2 ) 流媒体会话控制：包括流媒体s e s s i o n 的建立，播放的启动、暂停、停 止等功能。 3 ) 视频转码：由于网络摄像机的性能不足以支持h 2 6 4 等高压缩率的视频 编码，一般的网络摄像机把原始的视频数据压缩成m p e g 4 、h 2 6 3 等压 浙江大学硕七学位论文第3 章移动视频监控系统服务端 缩较低的码流，传输至监控服务器后，需要在监控服务器上重新转码成 h 2 6 4 码流。 4 ) 流媒体传输和控制：视频数据压缩后，根据r t p 协议针对h 2 6 4 负载格 式要求，打包成r t p 包并通过u d p 传输至客户端；在传输过程中，需 要根据客户端反馈的r t c p 包，动态调整视频码率、帧率等视频参数， 以适应客户端所在的移动网络环境。 客户端负责主要完成如下功能：播放控制，开始、暂停、停止、定点播放、 快进、快退等功能的实现；接收服务端发送的流媒体数据，并通过r t c p 协议 实时反馈r t p 接收情况；分别对音频码流和视频码流进行解码，再通过音频时 戳和视频时间戳，对音视频进行同步和播放。 3 2 移动视频监控主要数据流 移动视频监控系统中的核心数据流，可以分为四类：会话控制数据流、视频 数据流、音频数据流和云台控制数据流，图3 1 是具体数据流图。 幽3 1 移动视哆贞峪控系统总体数据流图 1 5 浙江大学硕士学位论文第3 章移动视频豁控系统服