（通信与信息系统专业论文）移动视频监控系统中流媒体传输控制的设计与实现.pdf

浙江工业大学硕士学位论文 移动视频监控系统中流媒体传输 控制的设计与实现 摘要 i i l li i i i i ii i i i i ii i i i l ul l u l li i iiiii y 2 14 3 0 0 3 目前，视频监控系统在安防领域越来越受用户的欢迎，与此同时用户对于视频监控系 统的要求也越来越高。随着无线网络技术的普遍应用和监控终端性能的不断提高，移动视 频监控系统逐渐成为了安防领域的热点和主流。此外，流媒体技术也在不断发展，实时流 媒体传输被广泛采用并成为视频监控系统关键技术之一。在移动视频监控系统中，由于无 线网络的多异性和不稳定性，实时流媒体传输控制问题显得更加突出。因此，移动视频监 控系统中流媒体传输控制的研究具有重要的意义。 本文旨在设计流媒体传输控制方法和移动视频监控系统客户端软件。流媒体传输控制 方法的设计主要是为了提高流媒体传输的服务质量，而客户端软件的设计主要是实现监控 系统的视频播放。 本文从移动视频监控系统及相关技术入手，为研究和设计提供了重要的系统框架和理 论依据。利用实时流媒体传输协议r t p r t c p 及其传输功能，通过不可靠的u d p 传输实 现实时监控。同时，根据网络传输反馈和网络参数分析，计算网络延迟和丢包率，从而判 定网络状态。最后提出了流媒体传输控制算法。在移动视频监控系统客户端，利用a c t i v e x 控件方法实现了监控系统的b s 设计。另外，通过d i r e c t s h o w 技术以推模式实现了流媒体 数据包在各个f i l t e r 中传递，并采用m f c 对话框技术设计了客户端监控界面播放流媒体视 频。 测试结果表明移动视频监控系统的设计基本能达到用户的需求，而流媒体传输控制算 法能够提高流媒体的服务质量，具有应用价值。 关键字：视频监控，丢包率，q o s ，r t p ，a c t i v e x 控件 t h ed e s i g na n di m p l e m e n t a t i o no f s t r e a m m e d i at r a n s m i s s i o nc o n t r o l i nm o b i l ev i d e o s u r v e i l l a n c es y s t e m a b s t r a c t c u r r e n t l y , t h ev i d e os u r v e i l l a n c es y s t e mi nt h ef i e l do fs e c u r i t yh a sb e c o m em o r ea n dm o r e w e l c o m e a tt h es a m et i m e ，t h er e q u i r e m e n t sf o rb e t t e rq u a l i t yo fv i d e os u r v e i l l a n c es y s t e m s g e t i n c r e a s i n g l yh i g h w i t ht h eu n i v e r s a la p p l i c a t i o no fw i r e l e s sn e t w o r kt e c h n o l o g ya n dt h e c o n t i n u o u si m p r o v e m e n to fm o n i t o r i n gt e r m i n a lp e r f o r m a n c e ，m o b i l ev i d e os u r v e i l l a n c es y s t e m h a sg r a d u a l l yb e c o m et h eh o ts p o t sa n dt h em a i n s t r e a mo ft h ef i e l do fs e c u r i t y i na d d i t i o n ，t h e s t r e a m i n gm e d i at e c h n o l o g yw a sd e v e l o p e dc o n s t a n t l y t h er e a l - t i m es t r e a mm e d i at r a n s m i s s i o n h a sb e e nw i d e l ya d o p t e da n db e c o m eo n eo ft h ek e yt e c h n o l o g i e so fv i d e os u r v e i l l a n c es y s t e m s t h u s ，b e c a u s et h ev a r i e da n di n s t a b i l i t yo fw i r e l e s sn e t w o r ki nm o b i l ev i d e os u r v e i l l a n c es y s t e m ， t h ep r o b l eo fr e a l - t i m es t r e a mm e d i at r a n s m i s s i o nc o n t r o li se v e nm o r ep r o m i n e n t t h e r e f o r e ，t h e s t u d yo fs t r e a mm e d i at r a n s m i s s i o nc o n t r o li nm o b i l ev i d e os u r v e i l l a n c es y s t e mw i l lb eo fg r e a t s i g n i f i c a n c e t h i sp a p e ra i m st od e s i g ns t r e a mm e d i at r a n s m i s s i o nc o n t r o lm e t h o d sa n dm o b i l ev i d e o s u r v e i l l a n c es y s t e mc l i e n ts o f t w a r e t h es t r e a mt r a n s m i s s i o nc o n t r o lm e t h o d sa r ep r i m a r i l y d e s i g n e dt oi m p r o v et h eq u a l i t yo fs t r e a ms e r v i c e s ，t h ec l i e n ts o f t w a r ei sp r i m a r i l yd e s i g n e dt o p l a yv i d e oo fs u r v e i l l a n c es y s t e m t h i ss t a r t sf r o mt h em o b i l ev i d e os u r v e i l l a n c es y s t e ma n di t sr e l a t e dt e c h n o l o g i e s ，w h i c h p r o v i d e sa ni m p o r t a n tf r a m e w o r ka n dt h e o r e l i c a lb a s i sf o rr e s e a r c ha n dd e s i g n b yr e a l t i m e s t r e a mm e d i at r a n s m i s s i o np r o t o c o lr t p r t c pa n di t st r a n s m i s s i o nf u n c t i o n ，t h i sd e s i g n a c h i e v e dt h ep u r p o s eo fr e a l t i m em o n i t o r i n gw i t hu d pt r a n s p o r t m e a n w h i l e ，a c c o r d i n gt ot h e f e e d b a c ko fn e t w o r kt r a n s m i s s i o na n dt h ea n a l y s iso fn e t w o r kp a r a m e t e r s ，i tc a nc a l c u l a t et h e n e t w o r kl a t e n c ya n dp a c k e tl o s sr a t e a n di tc a na l s od e t e r m i n et h es t a t u st h ec u r r e n tn e t w o r k 浙江工业大学硕士学位论文 f i n a l l y , t h es t r e a mm e d i at r a n s m i s s i o nc o m r o la l g o r i t h mw a sb e e np u tf o r w a r d t h em o b i l e v i d e os u r v e i l l a n c es y s t e mc l i e n tw a sd e s i g n e db ya c t i v e xc o n t r o li nb s i na d d i t i o n ，t h es t r e a m m e d i ap a c k e t sw e r ep a s s e dt h r o u g he a c hf i l t e rb yp u s hm o d ew h i c hw a sd e s c r i b e di nd i r e c t s h o w t e c h n o l o g y t h ed e s i g no ft h ec l i e n ti n t e r f a c ec a np l a yt h es t r e a mm e d i av i d e ob yt h et e c h n o l o g y o fm f c d i a l o g t h et e s tr e s u l t ss h o wt h a tt h ed e s i g no fm o b i l ev i d e os u r v e i l l a n c es y s t e mc o u l dm e e tt h e n e e d so fu s e r s ，a n ds t r e a mm e d i at r a n s m i s s i o nc o n t r o la l g o r i t h mc a ni m p r o v et h eq u a l i t yo f s t r e a mm e d i as e r v i c e s i tw i l lb ev a l u ei na p p l i c a t i o n k e yw o r d s ：s u r v e i l l a n c es y s t e m ，p a c k e tl o s sr a t e ，q o s ，r t p , a c t i v e xc o n t r o l 1 n 浙江工业大学硕士学位论文 第1 章绪论 1 1 课题研究的背景 现代科技的蓬勃发展和人们对于生活需求的不断提高，视频监控系统对人们的安全生 活越来越重要。现代互联网和网络技术突飞猛进，从个人终端到手机终端，网络正在逐步 改变着世界。近年来，伴随着网络技术的飞快发展，视频监控行业正在进行一系列系统升 级和产品更新，基于智能设备终端和移动网络的移动视频监控也将作为安防行业新的增长 点，引领着安防行业走向新的未来【1 1 。移动视频监控系统的市场大有可为，随着3 g 技术 的普遍应用和用户对网络视频监控的逐步认可，移动网络视频监控在监控市场上的份额也 占据越来越大的比例。据统计，2 0 0 8 年网络视频监控路数大约在4 7 0 万路左右，占据了总 网络监控视频路数的4 0 以上，0 8 年以后，网络视频监控路数占据了5 0 以上的市场份额， 总体超过了d v r 市场，从产值预计看，2 0 1 2 年视频监控整体市场产值规模将达到4 9 1 6 亿元【2 1 。 视频监控系统经历了三个阶段的发展，从第一代模拟视频系统( v c r ) 到第二代的数 字视频系统( d v r ) 再到第三代的网络化数字视频系统，只短短2 0 多年的时间。 模拟视频监控系统( v c r ) 模拟视频监控系统发展最早，完全采用模拟技术，主要由摄像头，监视器，录像机等 组成。它利用前端的摄像头进行视频采集，然后通过射频线路或者视频线把视频信号传输 到监视器，再由录像机把模拟视频存储文档。模拟视频监控系统采用磁带长时间存储视频 数据，视频信息采用视频电缆，同时以模拟的方式进行传输。模拟视频监控系统有很多的 缺点：( 1 ) 视频传输距离有限，只适合小范围的视频监控，视频监控信息也只能在视频 控制室才能观看；( 2 ) 视频图像质量差，容易受到外面因素的干扰；( 3 ) 存储麻烦，需 要大量的磁带进行存储，而且数据质量容易随时间的推移而变差；( 4 ) 资料查询繁杂， 不易取证；( 5 ) 不易大规模推广等。 数字视频监控系统( d v r ) 所谓第二代视频监控系统( 数字视频监控系统) 其实是半数字化的。9 0 年代初，随着 计算机处理技术和彩色视频技术的发展与普及，视频监控系统形成了以p c 机和数字硬盘 浙江工业大学硕士学位论文 录像机( d l ) 为基础，多媒体技术和视频压缩编码技术为核心的数字化本地视频监控系 统。该系统的主要设备是d v r ，d v r 主要基于w i n d o w s 和微型计算机系统平台，在计算 机中安装相应的d v r 软件和视频压缩卡后，不同型号视频卡可连接1 2 4 路视频，同时支 持实时音频和视频 3 1 1 3 1 。第二代视频监控系统没有摆脱第一代的影子，图像信号从视频源 传输到视频中心采用模拟方式，要实现远距离传输需铺设光缆，这样做设备成本高，不易 维护，而且维修费用大。第二代视频监控系统的特点：视频、音频采用数字化存储，提高 存储的质量；整个系统的功能比较完善和强大；实际应用的灵活性增强；可以与信息系统 交换数据。但也存在不少问题：传输需要用到同轴电缆，适合范围有很大的局限性，覆盖 小；系统建成之后不易改动，扩展能力差；系统独立，不能形成有效的联动报警机制；网 络带宽和视频压缩编码等技术相对滞后，无法建立大规模的视频监控系统。 网络化数字视频监控系统 9 0 年代末期，随着网络带宽和计算机处理能力的不断提高，音视频压缩技术的不断先 进，视频监控系统进入全数字化时代，称为第三代数字视频监控系统【4 】。第三代数字视频 监控系统主要由网络摄像机和视频服务器组成，此系统是以网络为基础，以数字视频的压 缩，传输，存储和播放为内容，以快速、智能为特色的多媒体视频监控系统。其前端视频 采集设备输出数字信号，采用国际通用协议t c p i p ，并通过网络( 有线或者无线) 传输， 以流媒体技术实现数字视频的传输和播放。第三代数字视频监控系统采用了网络视频服务 器，实现了d v r 设备无法做到的音视频压缩，存储和处理，为大规模实现视频监控创造 了条件。完全数字视频监控系统的优点：音视频同步，视频清晰流畅；系统建立后，不需 要为了增加新的监控点重新搭设网络，可以利用现有的网络资源；扩展性强，哪里有网路 就可以在哪里增加监控点；维护方便，费用低；功能强大，软件操作性强等。 网络化数字监控系统融合了多种新型技术，有多媒体技术，网络技术，视频编解码技 术，这些技术的应用，对音视频监控系统的发展具有深远的现实意义。同时在3 g 无线网 络的推动下，移动数字视频监控系统给监控行业带来了翻天覆地的变化，使得监控行业向 更多的领域发展。 1 2 课题的研究意义 3 g 无线网络的出现，解决了移动视频监控系统“最后一公里”的难题，而数字视频监 控系统成熟的技术是移动视频监控系统强有力的技术保障。在一些复杂和不易部署有线视 频监控的场所，比如汽车，隧道，地铁，轮船等区域，移动视频监控系统可以有效地保证 2 浙江工业大学硕士学位论文 该区域的实时监控，通过此系统可以对突发事件预示和补救有良好的掌控。 在移动视频监控系统中，流媒体技术是视频监控系统最为关键的技术之一。何为流媒 体，流媒体是流式媒体，它起源于美国，是互联网音视频发展到一定阶段的产物，是解决 音视频传输和播放的关键技术，是一种解决多媒体播放时网络带宽问题的“软技术”【5 】。 随着网络带宽技术和视频编解码等媒体技术的发展，媒体信息传输的不在是简单的文字和 图片，传输的方式也不再是先下载再播放。现代媒体技术讲究的是实时性，边下载边播放 模式已经成为流媒体传输的主流。除了监控安防行业外，流媒体技术有了更多的应用，比 如电子商务，现场直播，远程教育，卫星监控等。 移动网络在中国的发展已经远远超越了固定电话，目前，3 g 用户正在以飞快的速度增 加，特别是联通的w c d m a 和电信的c d m a 2 0 0 0 。限制无线流媒体带宽的瓶颈正在被逐 步解决，3 g 使得流媒体技术在网络传输速率问题上已经得到大大的提升。流媒体是数据在 网络上按时间先后次序传输和播放的连续音视频数据流。流媒体数据流具有实时性、时序 性、连续性三大特点，同时具有严格的前后时序关系【6 。鉴于流媒体的这些特点，流媒体 在加工技术方面、发布方面、播放方面、传输方面还存在许多急需解决的问题。流媒体传 输和控制是两个非常重要的环节，传输需要选择合适稳定的协议，控制需要采用合理的音 视频解压技术和客户端控制软件，使视频实时、稳定、清晰。 流媒体传输有其独特的优点，比如实时性强，支持边边下载边播放，媒体文件保存在 服务器，客户端可随时删除文件等。但是流媒体技术很大程度上要依赖网络带宽和音视频 处理技术，目前流媒体传输服务质量( q o s ) 还需要进一步的提高【7 】。实时流媒体传输的 实时性和视频的清晰度是影响q o s 的主要因素，所以流媒体传输控制研究在移动视频监控 系统中有着比较重要的意义。 目前，开发流媒体新技术、新应用已成必然。随着流式媒体日趋丰富、用户对流媒体 需求的增加、再加上流媒体技术的日趋完善，其应用市场必将更加广阔。与此同时随着3 g 移动流媒体技术的逐渐成熟以及3 g 网络设备和终端设备的不断完善，移动流媒体技术将 成为3 g 时代的代表技术，移动流媒体业务能大大提高用户通信体验并推动3 g 的不断发展。 1 3国内外研究现状及趋势 在世界范围内，美国、日本、欧盟、韩国、中国等都已经进入到了移动3 g 时代，部 分国家和地区4 g 也正在试用中。在技术和工程建设方面，国家政府为支持移动宽带业务， 许多项目建设都应用3 g 技术，3 g 技术已经引领全球移动技术潮流。目前全球3 g 用户已经 3 浙江工业大学硕士学位论文 占到全球移动用户总数约1 6 ，达到1 5 6 虽然比重不是非常大，但其增长率较高，在新 增用户中，约3 4 用户是3 g 用户，全世界每发展3 个用户就有一个用户是3 g 用户【8 1 。3 g 用户群体的迅速发展和其无限的潜力，使得移动线视频监控系统具有潜在的巨大发展前 景。 在移动视频监控方面，安防被越来越受到各国政府的重视，特别是美国经过“9 1 1 ”事 件后，移动视频监控系统业务在美国等国家迅猛发展，从而使得全球刮起了反恐的安全危 机潮。美国巴顿公司最近公布了v i s u a l i t y 现场直播3 g 和4 g 移动视频监控系统，v i s u a l i t y 具有独特的能力，能够记录和存储来自多个领域的高清晰视频，而且同时利用3 g 和4 g 无 线宽带网络进行现场直播视频、音频和全球定位。v i s u a l i t y 同时支持车载、个人携带、航 空和地面设施【引。 韩国电信大量采用基于无线传感器网络中的普适计算技术，该技术使用z i g b e e 无线传 输协议，主要用于家庭智能监控设备的管理和监控，而且该技术同时支持利用p c 机或手 机获取家庭数字设备的远程监控信息和点播基于p 的监控视频，用户点播系统的视频处理 直接由家庭数字网关提供支持。韩国电信的家庭数字监控系统以及关联的报警系统称为 n e s p o t 系统，此系统的宗旨是“控制与防止 ，它将无线网络与互联网结合在一起，提供 一整套家庭移动监控系统的服务。用户使用n e s p o t 系统，可以利用门上的人体传感器、家 中的微小型监视摄像机、煤气泄漏控制传感器等，利用移动设备实时接收家庭的安全状况， 这种系统充分体现了移动视频监控业务的价值1 1 0 】。 2 0 0 9 年，国内开启移动3 g 时代，从而移动视频监控系统进入了一个崭新的历史时期。 国内著名的大华、海康威视等厂家抓住移动3 g 的契机，结合自身d v r 技术和视频监控软 件客户端的优势，不断推出移动视频监控系统解决方案。 2 0 11 年，中国移动无线城市“千里眼”新业务在广东省汕头市悄然现身，这种移动视 频监控业务给予手机移动网络，主要为用户提供视频图像和各种报警信号的远程采集、传 输、存储、和处理。这充分显示移动视频监控领域旺盛的生命力，除了海康威视、大华、 华为、中兴等大型企业外，还有许多新的生力军都想在这领域分到一杯羹。 日前，江西省高速集团宜春管理中心在全省率先启用高速公路移动监控系统【1 1 1 。该系 统主要充分利用网路、3 g 通信、g p s 等技术，对高速公路日常养护巡查工作进行实时监 控和调度。通过此系统，调度人员只需在养护中心监控室就可以通过移动视频监控系统清 楚的看见公路巡查车的行驶速度、所在位置、路面情况等信息。此系统还可以单兵携带3 g 设备，对边沟、隧道配电房等不便地方进行视频监控；此外，该系统还可以通过手机进行 4 浙江工业大学硕士学位论文 视频监控。 目前，在流媒体技术方面主要有三大流派，一是微软的a s f ( a d v a n c e ds t r e a mf o r m a t ) ； 二是r e a l n e t w o r k s 公司的r e a l m e d i a ；三是苹果公司的q u i c k t i m e 。国外流媒体技术起步 相对比较早，技术也比较成熟。苹果公司的a i r p l a y 技术，该技术允许i o s 设备( i p h o n e ， i p o dt o u c h ，i p o d ) 用户在播放视频、音频时，将正在播放的内容以流媒体的形式，通过无 线网络输出到a p p l e ，r v 机项盒，在电视大屏幕上播放。 最近，微软发起“w i n d o w s 媒体宽带启动动议 企业联盟，希望w i n d o w sm e d i a 媒体 播放器软件在流媒体企业竞争中争霸，现已有4 0 多家龙头企业选择w i n d o w sm e d i a 媒体 播放器软件作为自己的客户端流媒体播放软件。而属于同行业竞争的r e a l n e t w o r k s 公司近 期也推出了与i n t e l 合作开发的r e a l p r e s e n t e rg 2 的流媒体软件。可谓，各大流媒体公司为 了同行业产品的竞争不断进行技术革新，从而在流媒体领域推陈出新。 在国内流媒体技术的应用是相当广泛的，但是在流媒体核心技术的发展方面还是处于 一种落后的状态。移动流媒体技术在广播电视直播中的应用，江苏省广电通过3 g 技术实 现了旗下七大新闻栏目( 江苏新时空、早安江苏、公共新闻网、新闻夜宴、有 一说一、零距离、绝对现场) 的3 g 直播。流媒体技术在航空探测中的应用，2 0 0 7 年1 1 月2 7 日，运用v i e w g o o dw e b t a b l e 系统的“远望5 号”测量船，在海面上监测“嫦 娥一号 卫星的运行轨道，给“嫦娥一号 下达指令，指示“嫦娥”不断变轨，使其按照 固定轨道顺利运行，而v i e w g o o dw 曲i a b l e 系统依赖专业的流媒体技术 1 2 t 1 2 】。此外流 媒体技术在教育业、安防业等众多领域都有广泛的应用，随着3 g 网络的普及化，流媒体 技术与3 g 技术的结合又将是一次新的革命。 在实时流媒体传输控制方面，由于流媒体传输的实时性，其在传输层主要依赖u d p 传 输协议，但是u d p 传输不能解决网络拥塞问题。随着流媒体业务的不断开展，其网络流 量占有量也在不断扩大，由于缺乏网络流量的拥塞控制，不断涌入的流媒体数据就会强占 有限的带宽，导致其他数据流饿死而发生网络拥塞。因此，实时流媒体传输中控制网络拥 塞是相当重要。虽然目前在流媒体传输中一般采用h t t p t c p 协议( t c p 传输控制具有网 络拥塞控制功能一) ，但是随着实时流媒体传输需求的迅速增大，网络拥塞控制又成为流 媒体网络研究的热点。 1 4 本文的研究内容及组织结构 本文主要设计了移动视频监控系统客户端和研究流媒体传输控制算法，包括客户端b s 5 浙江工业大学硕士学位论文 架构的设计和播放器是实现，以及流媒体传输控制算法的设计和在移动监控系统中的应用 实现。 文章的组织结构： 第一章：绪论，从研究课题的背景和课题的研究意义出发，分析了移动视频监控系统 和流媒体技术及传输控制的研究现状及发展的趋势，最后提出了本文的研究内容和文章的 组织结构。 第二章：主要介绍移动视频监控系统的整体结构框架和移动视频监控系统的各个组成 部分，其中包括软硬件的组成。然后根据设计的需要，详细介绍了移动视频监控系统中的 关键技术h 2 6 4 编码和s i p 通信协议。 第三章：设计了移动视频监控系统中流媒体传输控制算法，首先从流媒体传输协议出 发，介绍实时传输协议r t p 和实时传输协议r t c p ，以及r t p r t c p 协议的传输功能。然 后对流媒体网络参数的延迟抖动、传输延迟和丢包率进行分析。最后根据网络状态、丢包 率等判定图像质量，同时分析流媒体传输的服务质量，从而设计流媒体传输控制的速率算 法，并用于实验中。 第四章：视频监控系统客户端软件的设计与实现，客户端软件是基于b s 架构。首先 从b s 架构的开发环境从发，利用a c t i v e x 控件搭建客户端的b s 体系。其次设计客户端 播放器和播放器各个模块的功能实现，包括播放器界面、工具栏和菜单栏等。然后根据 h 2 6 4 编码和r t p 包传输方式，利用d i r e c t s h o w 技术设计了以推模式实现流媒体数据的传 递，并通过接受者( r r ) 报告实现流媒体传输控制算法的应用。最后设计了客户端的安全 登入方法，以及登入系统后视频的接收和系统的测试。 第五章：总结和展望，总结本文做的所有工作，包括文中的不足；并根据移动视频监 控系统的现状和发展趋势，对文中技术的继续研究提出一些方法和建议。 6 浙江工业大学硕士学位论文 第2 章移动视频监控系统及相关技术 如今，视频监控系统已经被广泛应用于政府机关、城市建筑、电力电信、工矿企业、 医疗和金融等系统领域。移动视频监控系统在3 g 网络和高性能终端设备的支持下，使原 有的视频监控系统走向更方便、更人性化、更灵活的时代。在车载系统中，移动视频监控 系统显得更为突出，除了实现实时对车辆进行全方位监控外，还能利用g p s 导航定位，实 行定点跟踪。 2 1 移动视频监控系统 移动视频监控系统从设计到实现是一个比较复杂的过程，既要有整体框架的搭建，又 要有各个组成部分的分工协作，还要有硬件系统和软件系统的协调组合。 2 1 1移动视频监控系统整体框架 整个视频监控系统主要有3 部分组成，网络摄像机、视频服务器组、客户端【1 3 】，如图 2 1 所示。网络摄像机为前端视频源，主要完成监控视频的采集、压缩，并通过无线网络 和互联网传输到视频服务器组，然后经客户端请求后再转发给p c 机客户端或者移动设备 客户端，通过解码器对压缩数据包解码还原后，在利用客户端播放软件进行实时播放。 税颤源l 俐 税壤源：厂丑 ：3 g 网络 铙额源。雨 辊频管理服务嚣 2 - 1 视频监控系统拓扑图 国 立联网碟 本系统充分利用3 g 网络的带宽优势，克服了以往移动流媒体传输带宽问题，在实时监 控中能达到比较理想的效果。该系统安装方便，而且可随意增加或拆除监控点；移动性强， 7 零弋互 端 夕一 移一络一，阑 浙江工业大学硕士学位论文 非常适用于车载系统监控；视频观看方便简单，通过账号和密码，可随时在p c 机或手机 上登入观看。 2 1 2 移动视频监控系统各部分简介 网络摄像机 网络摄像机包括监控摄像头和d v r 设备。监控摄像头为普通版摄像头( 可以是半球形 摄像头) ，主要用于视频采集。d v r 设备是一个基于l i n u x 操作系统的嵌入式平台。d v r 设备主要包含了视频采集卡、主处理芯片c p u 、3 g 通信模块和其他处理模块。实物如图 2 2 所示， 图2 - 2d v r 主板图 图2 - 33 g 通信板 浙江工业大学硕士学位论文 视频采集卡采用的是芯片t w 9 9 1 0 ，它能直接把摄像头采集到的模拟信号直接转换成8 位数字信息并传输到c p u 中进行h 2 6 4 编码。t w 9 9 1 0 是一款具有一路通道的音视频处理 器，此款芯片功耗低，体积小，性价比高。 主板c p u 是基于a r m 9 系列处理器的g m s l 8 0 b d 芯片，核为f a 6 2 6 ，主频3 3 3 m h z ， 内部包含有媒体编解码模块，同时支持h 2 6 4 、m p e g - 4 的编码和解码，为图像和视频提 供高性能的解决方案。g m 8 1 8 0 芯片的基本组成很广泛，其中包含了a m b a 总线架构， 舢皿总线等，结构框图如2 4 所示， 图2 4g m 8 1 8 0 芯片结构框图 3 g 无线通信板是采用中兴通讯公司m c 8 6 3 0 芯片，该模块是通过插槽与主板的u s b 接口连接，进而与g m 8 1 8 0 c p u 通信。3 g 模块起中间桥梁的作用，完成服务器与网络摄 像机之间的通信，一方面3 g 模块将摄像机捕捉的音视频信息通过3 g 网络实时传输到视 频服务器上，另一方面3 g 模块接收来自客户端的请求和服务器的指令，完成对网络摄像 机和云台的控制。实物如图2 3 所示。 其他模块有s d 卡存储模块，电源模块，g p s 模块，音频处理芯片等。 视频服务器组 视频服务器是整个移动视频监控系统流媒体传输的核心，服务器的承受能力直接关系 到整个移动视频监控系统的规模。视频服务器主要完成客户端与网络摄像机之间的通信， 浙江工业大学硕士学位论文 包括流媒体数据的存储和转发，g p s 数据库，设备和用户管理，s i p 管理，客户端管理等。 流媒体存储和转发包含了流媒体数据源的处理和分析，流媒体s e s s i o n ，流媒体协议处理， 异步事件驱动环境等；g p s 数据库包含了地图信息和车辆信息等；设备和用户管理包含了 前端设备信息，用户名信息，用户注册与密码，用户权限等；s i p 管理包含了s i p 信令请求 信息，如云台控制，录像下载与查询，设备设置等；客户端管理包含了与客户端通信的接 口信息。 客户端软件 客户端软件采用服务器客户端( b s ) 架构，其最大的优点是可以在任何有互联网的 地方可以进行视频操作而不需要安装客户端软件，客户端实现了零维护。用户在申请到用 户名和密码之后，利用i n t e m e t 登入服务器就可以使用该系统。客户端软件是在w i n d o w s 操作系统平台下，基于微软基础类( m c ) 的a c t i v e x 控件。该控件运行于以i e 浏览器为 内核的浏览器中，融合了s i p 技术，m f c 技术，d i r e c t s h o w 音视频处理等技术。客户端软 件中包含了流媒体处理和界面交互模块，其框图如图2 5 所示， 编译器 视频处理 ( 预处理) 流式传输 模块 客户端 l 视频源 视频接收 界面交 l 信息 模块 互 流式传输 流媒体 控制模块 服务器 流媒体传输模块客户端软件 图2 5 流媒体处理框图 2 2 流媒体压缩编码 媒体压缩编码是移动视频监控系统中流媒体的关键技术。目前，h 2 6 4 和m e p g 一4 是 在国际上比较流行的压缩编码方法。h 2 6 4 协议是由i t u t ( 国际电信联盟电信标准化部 f - j ) 和i s o ( 国际标准化组织) 成立的联合视频专家组( j v t ，j o i n tv i d e ot e a m ) 提出的 高度压缩视频编解码器标准【14 1 。h 2 6 4 同时也是m p e g 4 ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 标准的第十部分，为了和视频压缩编码m p e g 4 相区别，常常称其为h 2 6 4 几w c ，简称 h 2 6 4 。 h 2 6 4 视频编码标准的推出在编码学科发展历史上具有重大的意义。如今，它已经被广 1 0 浙江工业大学硕士学位论文 泛应用于各种音视频领域，在数字电视、实时监控系统、网络多媒体传输、时移电视和多 媒体短信等领域中发挥着重要的作用。 2 2 1h 2 6 4 编码的特点 h 2 6 4 标准与其他标准相比最大的优势是具有很高的数据压缩比率。在同等的视频图像 质量下，h 2 6 4 的压缩比是m p e g 4 的1 5 2 倍。h 2 6 4 的高压缩比是源自于它的低码率， 大大节省了用户的下载时间和数据流量费用。同时，h 2 6 4 的高压缩比并不影响其传输视 频图像的质量，因此，在网络传输的过程中占用的带宽少，也越来越备受多媒体厂家和用 户的青睐。 h 2 6 4 编码的特点【1 5 - 1 8 】： 高编码效率：低码率是h 2 6 4 编码最大的特色，也是其赖以生存的法宝。在同等视 频图像质量下，经h 2 6 4 编码压缩后的数据量是经m p e g 2 压缩后数据量的1 8 ，是m p e g 4 的1 3 。 高质量的图像：h 2 6 4 编码能在低码率的情况下拥有高质量的视频图像，能在较低 带宽的条件下保证视频数据的实时传输，这是在移动带宽有限的现实下，移动视频监控系 统最具竞争力的压缩编码方法。 强容错能力：在网络不稳定的环境中，h 2 6 4 编码提供了解决容易发生丢包等错误 的必要工具。在高丢包率的无线通信环境中，h 2 6 4 编码可以根据不同的环境提供不同的 传输和播放速率，可以很好的控制或消除丢包和无码。因此，对于移动视频监控系统流媒 体传输来说，选择h 2 6 4 编码是最合理的选择，它既满足了实时监控对视频图像的要求， 又满足了无线复杂网络的要求。 网络适应性强：h 2 6 4 编码不但能在低延迟的模式下工作，如视频会议；而且还可 以在无延迟的模式下运行，如视频存储和视频服务器。 混合编码结构：h 2 6 4 编码采用离散余弦( d c t ) 变换编码加差分脉冲编码调制 ( d p c m ) 的混合编码结构，同时还增加了帧内预测、多帧预测、4 x 4 二维整数变换等新 的编码方式，编码流程将在下一小节中介绍。 编码选项少：h 2 6 4 编码改变了以往在h 2 6 3 编码中设置的相当多选项，减轻了压 缩编码的难度，降低了编码的时间复杂度，提高了效率，可以这么说h 2 6 4 真正做到了力 求简洁的“回归基本”。 较高的复杂度：虽然h 2 6 4 有如此多的优点，但是其编解码的复杂度也随之增加了。 浙江工业大学硕士学位论文 h 2 6 4 编码的计算复杂度大约相当于h 2 6 3 编码的3 倍，而解码复杂度大约相当于h 2 6 3 解码的2 倍。 2 2 2h 2 6 4 编码的分层体系 h 2 6 4 编码标准划分了编码的三个档浏1 9 】：基本档次，主要档次和扩展档次。每个档 次有其特别的编码功能，而且每个档次对编码器和解码器有特定的要求。基本档次不但支 持i 条带帧内编码和p 条带帧间编码，而且支持基于上下文自适应变长编码的熵编码 ( c a v c l ) ，广泛应用于实时视频通信领域，如多媒体短信、3 g 视频、会议视频等。主 要档次采用的帧问编码是b 条带的，帧内编码是加权预测型，同时支持交替视频，而其熵 编码基于上下文算术编码( c a b a c ) ，应用在数字电视、数字视频存储等领域。扩展档次 与主要档次有很大区别，它不支持主要档次的算术编码和交替视频，主要用于支持数据分 割和码流切换( s p s i 条带) ，在实时流媒体服务等领域应用。 从概念和功能上，h 2 6 4 编码可分为视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络抽象 层( n a l ，n e t w o r ka b s t r a c t i o i ll a y e r ) 两层，如图2 5 所示。v c l 层数据主要表示编码处理后 的输出和视频压缩核心内容，负责高效率视频数据的压缩；n a l 层主要负责对v c l 层数 据处理，包括对v c l 数据提供包头信息并进行打包和分发，根据传输层网络的不同，n a l 层从包头信息、包段结构信息、实际v c l 编码数据、定时信息、逻辑信道的信令、网络 传输标志等方面使v c l 视频数据在多种传输层进行传输和进行媒体存储。 控 f视频编码层( v c l ) 制 数 编码后的宏块 据 1r 、，r 。) 强y 口内v j 工j 编磊后的s ，t c e ； 网络抽象层( n a l ) ： 传输层 圆圈匝匦囝匝曰 图2 - 6h 2 6 4 分层体系图 1 2 分区 浙江工业大学硕士学位论文 2 2 3h 2 6 4 标准的关键技术 帧间和帧内预测 帧内预测编码是用来与变换编码一起缩减图像的空间冗余。在v c l 层，编码图像被划 分成宏块( 一般一个宏块由一个亮度像素和附加的两个色度像素块组成) ，相邻的宏块之 间有一定的相似属性。帧问预测是在对某宏块编码时，首先根据宏块周围的宏块对该宏块 进行预测( 一般周围的宏块已经被编码了) ，然后把预测值和实际值的差值编码，这样的 编码方式大大提高了帧内编码效率。 帧间预测编码提高了h 2 6 4 编码的编码效率，这是其区别于以前编码标准的最大特点。 它的预测方式是把前面已经编码的帧作为其参考图像，实现方法主要有三种：不同模式模 块划分、像素运动估计、多参考帧。 不同模式模块划分【2 0 】：将一个1 6 x1 6 的编码宏块分成7 种不同的子块，尺寸大小如图 2 7 所示。这样的划分包含有l 、2 、4 、8 、1 6 个运动矢量，宏块的色度像素与相应的亮度 像素分区相同，就是尺寸存在两倍关系。 像素运动估计：在帧间编码的宏块中，分块或子块都要与参考图像进行预测，其区域 的运动矢量为1 4 亮度像素精度和1 8 色度像素精度，且子像素位置的亮度和色度在参考 图像中并不存在，可以利用内插算法获得邻近整像素点。此种估计减小了h 2 6 4 编码的码 率。 多参考帧：在帧间编码预测时，h 2 6 4 编码参考多个已经编码图像并存储在缓存中，实 行补偿预测。这样不仅能够提高了纠错性能，而且可以更好的改善视频图像质量。主要应 用在周期性运动、平移运动、不同场景之间摄像机镜头的变换等场合。 变换与量化 1 6 t y p e 8 r y p e 8 8 口日田田 8 88 x 44 8 4 x 4 口日田田 图2 7 宏块与子块 浙江工业大学硕士学位论文 在变换方面，h 2 6 4 编码的块为4 4 像素，方法类似于h 2 6 3 中离散余弦变换( d c t ) 的整数变换( 整数的加减和位移操作) 。这样的算法不但能消除在进行反变换时由于取舍 问题而产生的误差，而且还能减少运算量和复杂度。 在量化方面，h 2 6 4 编码有5 2 种不同步长的量化值，变换系数根据不同的量化参数 来进行量化。 熵编码 熵编码【2 1 1 是视频图像编码的最后一步，h 2 6 4 编码有两种不同的熵编码方法：通用变 长编码( u 几c ) 和基于文本的自适应二进制算术编码( c a b a c ) 。u v l c 方法对不同的 数据都采用相同的码表进行编码，编解码都简单方便，但是由于没有考虑符号间的差异， 在码率较高时效果比较差。c a b a c 方法弥补了u v l c 的不足，它充分利用了不同数据流 符号间的相关性，通过建立概率模型，自适应调整视频帧出现的统计特性。符号间的相关 性是通过当前的编码符号与邻近已编码的符号之间概率模型来去除，不同的符号元素保持 不同的模型。 2 2 4h 2 6 4 码流 h 2 6 4 码流【2 2 1 是由n a l 单元构成的，码流的实现方式有两种：单个n a l 单元流和字 节n a l 单元流。单个n a l 单元流是n a l 单元按解码顺序组成序列，封装成独立的包格 式在网络上传输。字节n a l 单元流是在每个n a l 单元前加上起始码0 x 0 0 0 0 0 1 组成字节 流，在解码时只需要寻找字节流的起始码就可以提取出n a l 单元。 n a l 层中的单元流包含了如图2 8 的层次：编码视频序列( c o d e dv i d e os e q u e n c e ) 、 接入单元和n a l 单元。 1 4 浙江工业大学硕士学位论文 n a l 单元流 视频序列层 接入单元层 图2 - 8n a l 单元流层次 n a l 单元是由n a l 单元头和负载两部分组成，如图2 - 9 所示。单元头占一个字节