（计算机应用技术专业论文）视频联网监控平台调度与管理机制研究.pdf

摘要 随着国民经济的篷勃发展，公路担负着国民经济大动脉的重任，而高速公路以“高 速”的突出优势成为公路运输的主要交通设施。作为高速公路使用者和管理者，对高速 公路的基本要求就是安全、通畅、舒适。采用视频监控对高速公路运行状态及其交通 设施和交通环境的监视与控制，是实现高速公路运行管理，保障行车安全和道路通畅的 重要手段。 本文以江苏省高速公路系统的实际需求为背景，依托在交通系统专网上的应用， 基于视频联网监控平台( v i d e on e t w o r k e dm o n i t o r i n gp l a t f o r m ，简称v n m p ) 之上， 并结合几种常见监控系统模式的优缺点及平台建设的需求特点，研究并提出了平台上 的调度与管理机制。项目以“监控管理域”的划分与赋权为基本管理思想，实现了视 频资源的共享及有效利用。在拓扑结构设计中，v n m p 采用分布式c s ( 客户端服务 器) 构架；在系统组织中，按照功能将v n m p 划分成授权服务器，流媒体服务器和调 用服务器三部分，分别负责系统的维护、视频媒体流的获取和转发以及视频图像在客 户机上的软件解码播放；在工作模式上，各个v n m p 之间可以进行多级视频转发，对 不同辖区内的视频资源进行共享。论文主要研究分析了平台的管理模式及视频资源的 调度过程。其中主要包括：平台的总体架构、监控域及管理层次的划分、平台工作模 式、数据的管理与维护、视频资源调度算法及命令协议的设计等。同时，针对系统中 涉及的数字视频，视频压缩编码，硬件解码和软件解码，流媒体，网络通信等方面的 技术进行了理论分析和应用设计。 经过实验室环境及现场实地环境的多次测试与调试，本研究完成了系统的开发及 调度与管理策略的实施，并根据v n m p 在两种环境中的运行状况，给出了测试结果和 性能评价。最终本系统在江苏省高速公路网的实际工程环境中投入实用。 关键词：视频联网监控平台，调度，管理，流媒体，权限，交通监控域 a b s tr a c t w i t ht h ef l o u r i s h i n gd e v e l o p m e n to fn a t i o n a le c o n o m y , h i g h w a ys h o u l d e r st h eh e a v y r e s p o n s i b i l i t yo fn a t i o n a le c o n o m ya o r t a h i g h w a yb e c o m e st h em a i nt r a f f i cr o a dt r a n s p o r t f a c i l i t i e sb yt h eo u t s t a n d i n ga d v a n t a g eo fh i g hs p e e d a st h eu s e r sa n dm a n a g e r so f h i g h w a y , t h e i r b a s i c r e q u i r e m e n t s f o rh i g h w a ya r es a f e ，s m o o t ha n dc o m f o r t a b l e s u r v e i l l a n c ea n dc o n t r o lo nh i g h w a yr u n n i n gs t a t u s ，t r a f f i cf a c i l i t i e sa n dt r a f f i ce n v i r o n m e n t b yu s eo fv i d e om o n i t o ri sa ni m p o r t a n tm e a n s t or e a l i z et h eo p e r a t i o na n dm a n a g e m e n to f h i g h w a y , t oe n s u r et r a f f i cs a f ea n du n o b s t r u c t e d d e p e n d i n go nt h ea p p l i c a t i o no nt h e t r a f f i c s y s t e mn e t w o r k ，b a s e do nv i d e o n e t w o r k e dm o n i t o r i n gp l a t f o r m ( v n m p ) ，a n dc o m b i n i n gt h ea d v a n t a g e sa n dd i s a d v a n t a g e s o fs e v e r a lc o m m o nm o n i t o r i n gs y s t e mm o d ea n dt h ed e m a n dc h a r a c t e r i s t i c so ft h ev n m p b u i l d i n g ，t h i sd i s s e r t a t i o nt a k e st h ep r a c t i c ed e m a n d so fe x p r e s s w a ys y s t e mo fj i a n gs u p r o v i n c ea sb a c k g r o u n d ，a n df i n a l l yp r o p o s e st h em a n a g e m e n ta n ds c h e d u l i n go fv n m p t h ep r o j e c tr e a l i z e st h ee f f e c t i v es h a r i n ga n du s i n go fv i d e or e s o u r c e sb yt h ed i v i s i o no f t r a f f i cm a n a g e m e n td o m a i na n de m p o w e rf o rt h eb a s i cm a n a g e m e n tc o n c e p t i nt o p o l o g y , v n m pt a k e sd i s t r i b u t e c l i e n t s e r v e rc o n s t r u c t i o n i ns y s t e mo r g a n i z a t i o n ，d e p e n d i n go n d i f f e r e n tf u n c t i o n s ，v n m pi sd i v i d e di n t oa u t h o r i z a t i o ns e r v e r , s t r e a m i n gm e d i as e r v e r a n dv i d e od e m a n d i n gs e n r e r t h e yi n d i v i d u a l l yt a k ec h a r g eo ft h es y s t e m sm a i n t e n a n c e ， t h ev i d e os t r e a m sd i s t r i b u t i o n ，a n dt h ed i g i t a lv i d e o ss o f t - d e c o d i n ga n dp l a y i n g i n w o r k i n gp a t t e m ，m u l t i l e v e lv i d e od i s t r i b u t i o nc a nb ea p p l i e db e t w e e ne v e r yt w ov n m p s ， s ot h ev i d e or e s o u r c eo fe a c hd o m a i nc a nb es h a r e di nc o m m o n t h i sd i s s e r t a t i o ns d u d i e s t h em a n a g e m e n tm o d e so fv n m pa n dm e d i as t r e a ms c h e d u l i n gp r o c e s s i tm a i n l yc o n t a n s v n m p sg e n e r a lf r a m ea n dw o r k i n gm o d e ，m a n a g e m e n ta n dm a i n t e n a n c eo fd a t a ，t h e d i v i s i o no ft r a f f i cm a n a g e m e n td o m a i na n dm a n a g e m e n tl e v e l ，v i d e or e s o u r c e sa l g o r i t h m a n dt h ed e s i g n i n go fc o m m u n i c a t i o np r o t o c o l ，e t c m e a n w h i l e ，t h et h e o r ya n a l y s i sa n d p r a c t i c ed e s i g n o ft h et e c h n o l o g i e sr e f e r r e di nt h ep a p e ri s g i v e n t h e s et e c h n o l o g i e s i n c l u d ed i g i t a lv i d e o ，v i d e oc o m p r e s se n c o d i n g ，h a r d w a r ea n ds o f t w a r ed e c o d i n g ，s t r e a m m e d i aa n dn e t w o r kc o m m u n i c a t i o n ，e t c a f t e rt e s t i n ga n dd e b u g g i n gf o rm a n yt i m e si nl a b o r a t o r ya n ds c e n ee n v i r o n m e n t ，t h i s i i r e s e a r c hc o m p l e t e st h es y s t e m sd e v e l o p m e n ta n dt h ei m p l e m e n t a t i o no fs c h e d u l i n ga n d m a n a g e m e n ts t r a t e g y ，a n dg i v e st h et e s tr e s u l t sa n dp e r f o r m a n c ee v a l u a t i o na c c o r d i n g t ot h e s y s t e m sr u n n i n gc o n d i t i o n si nt w od i f f e r e n tk i n d so fe n v i r o n m e n t e v e n t u a l l y , t h i ss y s t e m i su s e di na c t u a lp r o j e c te n v i r o n m e n to fj i a n g s up r o v i n c eh i g h w a yn e t w o r k k e yw o r d s ：v i d e on e t w o r k e dm o n i t o r i n gp l a t f o r m ，s c h e d u l i n g ，m a n a g e m e n t ，s t r e a m m e d i a ，l e v e l ，t r a f f i cm a n a g e m e n td o m a i n i i i 论文独创性声明 本人声明：本人所呈交的学位论文是在导师的指导下，独立进行研究 工作所取得的成果。除论文中已经注明引用的内容外，对论文的研究做出 重要贡献的个人和集体，均已在文中以明确方式标明。本论文中不包含任 何未加明确注明的其他个人或集体己经公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名：马五绳瑚年6 月甲日 论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属学 校。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权 利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成 果时，署名单位仍然为长安大学。 ( 保密的论文在解密后应遵守此规定) 论文作者签名：马五乡该 导师签名： 钐天竣 文口b 辟6 月y 日 移移年月户日 长安大学硕士学位论文 1 1 研究背景 第一章绪论 随着计算机、网络和视频图像处理技术的快速发展，视频监控在国民经济中发挥 着越来越重要的作用，视频监控技术的完善与发展也得到了广泛的关注。如何利用视 频监控有效预测、防范自然灾害和人为危害造成的巨大损失和伤害，切实保障公众安 全、保护生产生活正常高效的运行，更成为研究和讨论的热点问题。视频监控技术以 网络为依托，以数字视频的压缩、传输、存储、查询和播放为核心，以智能实用的图 像分析为特色，不断向智能化、网络化的方向发展。 1 1 1 视频监控的发展 随着信息技术的发展，监控技术也经历了不同的发展阶段。图像视频处理技术是 视频监控的核心，根据图像处理技术的发展，可以将视频监控( v i d e o s u r v e i l l a n c e ) 分为 三个阶段：九十年代初以前的模拟视频监控，九十年代中期的数字视频监控，以及于 九十年代末，二十一世纪初兴起的多媒体网络视频监控阶段b , 2 】。 1 模拟图像监控( a n a l o gi m a g es u r v e i l l a n c e ) 这种监控系统多是以摄像机、分割器、录像机为核心，辅以其他传感器的模拟系 列。每一监视点的视频信号通过模拟线路传输到中心控制室；采用手动方式进行切换， 在电视机构成的监视器上难以同时观察到所有监视点的情况；其存储不但耗费大量的 存储介质，查询取证也很烦琐。这种模拟监控系统大多采用模拟电路与中、小规模数 字集成电路制成的控制器，功能简单、可靠性差，而且易受干扰，系统寿命也短。 2 数字视频监控( d i g i t a lv i d e os u r v e i l l a n c e ) 随着计算机处理能力的提高和数字视频技术的发展，监控系统也逐渐从模拟方式 转向数字处理方式i 引。通过视频采集卡采集视频信号，利用计算机的高速数据处理能 力进行视频处理。利用显示器的高分辨率和高清晰度，实现图像的多画面显示，从而 大大提高了图像质量。随着数字视频压缩编解码技术的日益成熟和存储媒介的发展， 为视频信号的传输、存储提供了极大的方便，提高了信息的可利用率。多媒体技术的 不断发展使得监控不仅能提供各类数据、文本、图形信号，还有视频图像、声音等更 加丰富的信息支持生产和管理活动，提供监视、控制、存储、报警、查询、回放等功 能，监控的系统性能得到了极大的改善和提高。 1 第一章绪论 3 多媒体网络视频监控阶段 监控系统发展中的另一关键技术是计算机网络技术。随着计算机网络技术的发展， 视频监控也经历了两个阶段【4 5 】： ( 1 ) 本地监控( l o c a ls u r v e i l l a n c e ) 最初的监控系统采用直接电缆方式进行传输，将每一监视点的信号传输至中心控 制室，通过多路切换器对多个监控点进行选择。这种有线模拟视频信号的传输对距离 十分敏感，布线工程量极大；同时系统的控制与切换大多采用单片机方式，因而通信 协议的多样化与专用化很难统一；另外计算机的运行速度较低，限制了利用一台p c 机同时处理多路监控信号的能力，很难组建大型监控系统。 ( 2 ) 网络监控( n e t w o r ks u r v e i l l a n c e ) 随着网络带宽和通信技术的发展、计算机处理能力和存储容量的快速提高，组建 大规模远程视频监控系统成为可能。系统体系结构也从集中式转向分布式，每一个组 成部分都能够随时加入或退出网络，系统的稳定性和安全性并不受到影响。随着网络 的快速发展，这种“身临其境”式的远程监控管理已经不仅仅是人们的梦想了。 总之，伴随着网络技术和数字视频技术的飞速发展，监控技术正向着智能化、网 络化的方向不断前进。监控系统功能日益强大，但是依然需要工作人员不间断地分析 监视场景内的活动，日夜值守工作量繁重，同时远程视频传输的时实性、流畅性也还 有待于进一步的研究，因此计算机视觉和应用研究学者适时提出了新一代监控视 觉监控( v i s u a ls u r v e i l l a n c e ) 的概念。视觉监控在不需要人为干预的情况下，利用计算机 视觉和视频分析的方法对摄像机拍录的图像序列进行自动分析，实现对动态场景中目 标的定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而做到既能完成日 常管理又能在异常情况发生时及时做出反应，同时在远程传输中提供更加丰富、流畅 的视频监控效果。视觉监控的概念逐渐为人们所关注，成为视频监控未来的发展方向。 人们希望监控以计算机为核心，融合多媒体技术、计算机视觉技术和网络技术的监控 系统，不但具有多媒体信息处理如压缩、传输、存储和播放等基本功能，还能够实现 自动异常报警、智能存储和快速查询、远程管理、远程监控等高级功能，能够替代人 工职守，成为真正意义上的智能监控。 1 1 2 视频监控系统的应用 从功能上讲，视频监控可用于安全防范、信息获取和指挥调度等方面，可以提供 2 长安人学硕士学位论文 生产流程控制、大型公共设施的安防，也能为医疗监护、远程教育等提供各种服务。 从应用领域上看，视频监控在各行各业都得到了广泛的应用，除了档案室、文件 室、金库、博物馆等重要部门的监视和报警，在公共场所进行安全监控，在其他经济 和生活领域进行管理和控制也是必不可少的。具体应用实例有【2 j ： 金融领域：营业大厅监控、金库的监控、自动提款机及自助银行监控等。 电信电力领域：交换机房、无线机房、动力机房等的远程监控、变电站、电厂等 的远程无人值守监控。 商业市场：商场的保安监控、超级市场的出入口监控、码头、货柜、大型仓库的 监管等。 军事领域：基地安防、公安侦破、监狱法庭管理等。 交通领域：高速公路收费管理、交通违章和流量监控、公共交通车辆牌照管理、 公路桥梁铁路机场等场所的远程图像监控等。 社区物业管理：住宅小区、办公室的安全防范、智能大厦、停车场的无人监控等。 1 2 研究的意义与目的 随着社会经济的不断发展，城市人口和机动车辆的增加，交通监控管理己受到社 会各方面的广泛重视。应用先进的监控技术，建立完善的道路交通监控管理系统，实现 城市道路的现代化管理，从而有效地抑制交通事故的发生，已成为各地交通管理部门 最为关注的问题：与此同时，随着国民经济的篷勃发展，公路担负着国民经济大动脉 的重任，而高速公路以“高速”的突出优势成为公路运输的主要交通设施。随着公路 网的扩大，交通量的增加，如何确保它能安全、高效地运行将成为重要课题。作为高 速公路使用者和管理者，对高速公路的基本要求就是安全、通畅、舒适。采用视频监 控对高速公路运行状态及其交通设施和交通环境的监视与控制，是实现高速公路运行 管理，保障行车安全和道路通畅的重要手段。因此，在高速公路、普通道路等交通领 域实施视频监控，不仅可以实时、直观地知道各路段车流量、车辆通行状况，以便及 时采取相应的措施，减少交通堵塞，最大限度地求得道路系统的利用率，创造安全、 舒适的交通环境。 随着高速公路的进一步发展，使得这些地区的高速公路网日趋复杂，路面超载、 超速、堵塞的现象时有发生。正是在这样的形势下，保障交通安全和道路顺畅，成为 高速公路提高运营服务质量的首要任务，视频监控从原来的各路分管模式向联网监控 3 第一章绪论 的方向发展，同时，道路监控和收费监控进行集中管理、远程监控功能等都成为大势 所趋。 观察我国目前各省内高速公路建设和管理的实际状况，高速公路路段一般仅根据 自身管理需要建设视频监控系统，建成的视频监控系统存在以下两项特点： 1 采用的方案不同 方案不同主要反映在：( 1 ) 监控中心视频矩阵和收费站的视频矩阵没有联网；( 2 ) 监控中心视频矩阵和收费站的视频矩阵进行联网控制；( 3 ) 监控中心数字视频控制设备 和收费站的视频矩阵利用数字视频控制方案进行联网：( 4 ) 前端摄像机和显示器的配置 情况存在差异。 2 采用的设备不同 各条高速公路采用的视频设备厂家、型号、技术指标都存在不同程度的差异。由 于在高速公路建设初期全国各省基本上没做全省高速公路视频联网的规划，己建成的 高速公路采用的视频监控方案和设备均存在不同程度的差异，这是在视频联网过程中 最突出的难点问题。 本文研究的目的是：以江苏省高速公路系统的实际需求为背景，依托在交通系统 专网上的应用，基于视频联网监控平台( v n m p ) 之上，提出系统上有效的调度与管理 机制，以实现视频资源的集中式监控和有效管理。 1 3 研究的内容与目标 实现高速公路的联网监控，对于高速公路的统一管理及调度是非常有意义的。联 网是实现集中式监控的前提，利用监控系统实现视频资源的有效管理和利用才是监控 的最终目的。本文研究的主要内容包含以下几个部分： 1 从技术角度分析了四种常见联网监控系统模型各自的优缺点；研究了各种数字 视频格式，主要是h 2 6 4 和m p e g 4 这两种数字视频格式的编解码，对比其图像流在 网络传输中所占的带宽和码率等技术指标，并在播放画面中对比其分辨率等图像参数， 使其图像效果达到最佳； 2 依托江苏省高速公路管理的工程实际环境与需求，并结合视频联网监控平台 ( v n m p ) 建设的需求特点提出了平台之上的调度与管理机制。主要内容包括：研究系 统功能及应用模式，给出系统整体的设计模型和逻辑拓扑结构；给出监控管理域的划 分及管理层次的划分；给出权限的设计、i d 命名的规则、视频资源调度算法及视频联 4 长安人学硕士学位论文 网监控平台( v n m p ) 通讯协议的设计等。 3 根据基于权限管理的设计思想，给出详细的数据库设计方案，和基于权限的工 作及操作流程； 4 在平台开发的基础上实现调度与管理策略的实施。 本研究课题的最终目标是，以江苏省高速公路管理系统实际需求为背景，结合视 频联网监控平台( v n m p ) 建设的需求特点提出平台之上的调度与管理机制。通过该机 制在平台的实施，使得交通管理部门各用户能够按照一定的规则共享交通视频资源， 并实现视频资源的有效利用和管理。 5 第璋流媒体技术分析 第二章调度与管理机制相关技术分析 2 1 调度管理策略分析 目前常见的视频联网监控系统采用的监控模式主要有四种1 6 , 7 1 ：以矩阵为核心的视 频联网监控( 矩阵系统) 、以d v r 为核心的视频联网监控( d v r 系统) 、以网络编解码 器为核心的全数字监控( 全数字系统) 及以软解码器为基础的视频联网监控方案。以 下将针对上述四种类型，结合江苏省高速公路实际情况进行分析与对比说明。 2 1 1 以矩阵为核心的视频联网监控( 矩阵系统) 阻矩阵为核心的视频联网脏控( 矩阵系统) 其主要构成包括：视频矩阵、控制主机 及d v r 。控制主机采用简单的联网协议，主要通过串口进行通讯，部分矩阵主机支持i p 网络；其核心的实时视频联网监控功能很稳定，这是目前大系统仍采用此方案的关键原 因，但是这种系统还有以下不足之处： 1 虽然矩阵输出的视频可以在d v n 中进行独立存储，但是其无法实现集中录象和录 象资源全网共享； 2 多点通讯物理连接相当复杂，无法实现多厂家设备组网，不支持复杂权限和干线 管理： 3 系统实际上是矩阵和d v r 各自成系统。依赖于d v r 实现数字功能； 4 能保证稳定性，但功能单一且无法整合，后期扩展严重依赖于单一矩阵厂家。 图2 1 以矩阵为核心的视频联眄监控 量星点兰堡主堂垫堡窒 2 1 2 以d v r 为核心的视频联网监控( d v r 系统) 以d v r 为核心的视频联网监控( d v r 系统) 主要是通过各类配置的p c 插卡式d v r 进 行视频联网嗍。受限于主c p i j 性能，加上开发困难，嵌入式d v r 目前仍大多用于本地监控： w i n d o w s 平台的d v r 兼有矩阵、数字存储、视频联网的多项功能通过i p 网络通讯；这种 系统硬件和开发成本低，通过大量定制开发能满足特定用户的功能要求，小型系统使用 较多，侧重于本地存储，体系结构上缺乏对视频联网的支持，无干线概念；另外，其安 全和稳定性差，很难想象几十台或上百台d v r 能组成稳定的联网系统。 图2 - 2 以d w 为搀凸的视频联网监控 2 1 3 以网络编解码器为核心的全数宇监控( 全数字系统) 以网络编解码器为核心的全数字监控( 全数字系统) 其主要构成包括p ，10 j ：网络编 解码器、管理服务器及存储设备。该系统通过网络编码器直接将视频编码送入i p 网络， 然后通过监控中心的管理服务器进行视频调度管理并进行集中存储。这种模式的监控系 统能完整实现d v r 系统的所有功能，并且前端设各稳定，与应用系统容易集成，适合地 域集中的局域网用户实现全数字监控；但是其对模拟系统支持不足，无干线管理概念， 第二章流媒体技术分析 对于w i n d o w s 平台的p c 服务器做管理服务器，大规模联网存在与d v r 同样的稳定性问题 ? 卜嘻姜 毒广言 图23 以网络犏码嚣为核心的视频联网监控 2 1 4 以软解码嚣为基础的视频联网监控方案 以软解码器为基础的视频联网监控系统其主要构成包括：网络编码器、视频管理平 台以及存储设备【i i , 1 1 1 3 1 。系统采用前端硬压缩，后端( 远程监视) 软解压的基本思路， 来实现异构视频源的应用平台统一。网络编码器将视频编码送入i p 网络然后通过监控 中心的视频服务器进行视频调度管理并进行集中存储，监控管理客户端( 远程监视) 采 用软件解压缩技术实现监视察看。对于模拟监控系统，只需增加指定编码器就可实现联 网。方案中使用工业级嵌入式主机，具各电信级的系统稳定性，采用面向视频联网的分 布式体系结构设计，全面覆盖d v r 和全数字系统的功能，引入流媒体专业技术，支持大 容量直播和点播，充分发挥数字系统的优势。 + 甲 ，晨 甚 事 卜一一 艮安大学硕士学位论文 图2 - 4 以软解码嚣为核心的视频联网监控 通过四种监控模式的比较分析，视频联网监控平台采用了第四种监控模式。其在 中心无需增加大量的品种繁多的视频解码器，只需通过视频管理平台即可获得相应的 软解压程序，在本地计算机上实现解压播放。 2 2 流媒体特性分析 2 2 1 流媒体o o s 的要求 1 连续性和实时性 流媒体是由数字图像的时间序列( 每一幅这样的图像称之为一帧) 或音频采样构 成的。流媒体的播放过程，是记录的逆过程，必须按照录制时的计时序列来播放这些 由解码器重构后的视频帧和音频采样。“流”服务暗示了视音频数据包传输的延迟有一 定范围的限制。一旦一个节目流开始播放，它的每个视频帧或音频采样都应该解码 后周期性地到达用户端的播放设备。任何这种计时顺序的偏移都会导致图像或声音的 失真。因此流媒体的传输和播放必须连续、实时”i 。 2 大的存储空间和高的传输码率 第二二章流媒体技术分析 与传统的文件不同，视音频数据即使经过压缩，其数据量仍然很庞大，所需存储空 间要比通常的数据文件大的多。同时，流媒体的播放文件又要求实时性，需要在规定 时问间隔内对待定的数据单元进行解码播放，在传输和播放时要求较大的码率【1 4 , 1 5 】。 2 2 2 影响流媒体o o s 的因素 1 带宽的波动性 如果发送端发送的数据过快过多，高于可以提供的网络带宽，网络就会发生拥塞， 从而导致有效数据包丢失，使其视频质量严重下降。由于网络传输带宽是由媒体流和 其它协议数据流共享，而且不同协议的拥塞控制策略各不相同，因此流媒体所得到的 可用传输带宽也是动态变化的。特别是，这种动态变化会非常剧烈。且不能最大程度 的利用网络资源【16 1 。 2 延迟抖动 由于网络的异构性和传输带宽的波动性，网络中的数据传输时间是不确定的。传 统的数据文件( 数据和图像等非实时数据) 仅要求所传输数据的正确性，而为了能够 保证客户端能够连续的播放，其数据必须在一定的时刻之前到达客户端。如果视频数 据的传输过快或过慢，就会出现客户端缓冲去上溢或下溢，不但会浪费有限的网络带 宽资源，而且还会造成客户端的视频能容缺失，严重影响播放质量【1 6 】。 3 丢包和误码 网络的数据传输会导致码字错误的情况出现，而且这种误码是随机的。由于目前 的视频编码技术都是建立在视频序列帧问预测的基础上的，因此当前帧中的误码或丢 包不仅会影响当前帧重构图像的质量，而且随着序列的不断解码，还有可能会传递到 其后的一些帧，影响其后继帧的重构图像质量【16 1 。 2 3 视频压缩编码标准简述 视频压缩技术是视频监控的基础【1 7 】。学术和应用领域一直都在致力与视频压缩技术 的研究，并且制订了一系列的标准，如：i t u t ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ) 的h 2 6 x 系列及i s o d e c ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n t h ei n t e r n a t i o n a l e l e c t r o t e c h n i c a lc o m m i s s i o n ) 的m p e g x 等。这些标准涵盖了各种范围的应用，从静止 图象、可视电话到高清晰度电视；码速率从几十k b 到几十m b ，覆盖了很大的视频速率范 围和应用领域，并且能够满足不同应用的要求：速率、图象质量、复杂度、容错性和实时 1 0 长安人学硕士学位论文 性。当前在视频监控系统中常用的视频压缩标准包括h 2 6 1 、h 2 6 3 、m j p e g 、m p e g 1 、 m p e g 4 等。面向实际应用，i s o i e c 币i i t u t 两大国际标准化组织共同制定的h 2 6 4 建议 是视频编码技术的新发展。它在多模式运动估计、整数变换、统- - v l c 符号编码、分层 编码语法等方面都有它的独到之处。 2 3 1m p e g - x 系列 m p e g 1 图像编解码标准【18 】：m p e g 1 ( 标准代号i s o i e c l11 7 2 ) 制定于1 9 9 1 年底，处 理的是标准图像交换格式( s t a n d a r di n t e r c h a n g ef o r m a ts 1 f ) 或者称为源输入格式( s o u r c e i n p u tf o r m a t s i f ) 的多媒体流。是基于一般低端应用的视频、音频的编解码标准，它主 要针对3 5 2 2 8 8 ( c i f 格式) 的分辨率和每秒3 0 帧的图像质量，将视频信号和相应的伴音在 可以接受的质量要求下编码成1 5 m b p s 的数据流。感官上，图像较细腻而且很流畅，对 大多数视频会议与图像监控是一个可以接受的标准。 m p e g 1 广泛的应用在v c d 的制作和一些视频片段下载的网络应用上面，可以说 9 9 的v c d 都是用m p e g l 格式压缩的。我们目前习惯的m p 3 ，并不是m p e g 3 ，而是 m p e g l l a y e r 3 ，属于m p e g l 中的音频部分。m p e g l 的像质等同于v h s ，存储媒体为 c d r o m ，图像尺寸3 2 0 x 2 4 0 ，音质等同于c d ，比特率为1 5 m b p s 。 该标准分三个部分：( 1 ) 系统：控制将视频、音频比特流合为统一的比特流。( 2 ) 视 频：基于h 2 6 1 和j p e g 。( 3 ) 音频：基于m u s i c a m 技术。 m p e g 一2 图像编解码标准【1 8 】：m p e g 2 标准制定于1 9 9 4 年，设计目标是高级工业标准 的图像质量以及更高的传输率，它追求的是c c i r 6 0 1 建议的图象质量d v b ，h d t v 和 d v d 等制定的3 m b p s - - 1 0m b p s 的运动图像及其伴音的编码标准。m p e g 2 也可提供并能 够提供广播级的视像$ 1 c d 级的音质。m p e g 2 的音频编码可提供左右中及两个环绕声道 以及一个加重低音声道，和多达7 个伴音声道( d v d 可有8 种语言配音的原因) 。由于 m p e g 2 在设计时的巧妙处理，使得大多数m p e g 2 解码器也可播放m p e g 1 格式的数据 ( 女i v c d 等) 。因为m p e g 2 可以提供一个较广的范围改变压缩比，以适应不同画面质量、 存储容量以及带宽的要求，所以除了作为v c d 和d v d 的指定标准外，m p e g 2 还可用于 为广播、有线电视网、电缆网络以及卫星直播( d i r e c tb r o a d c a s ts a t e l l i t e ) 提供广播级的数 字视频。 m p e g 2 应用在d v d 的制作( 压缩) 方面，同时在一些h d t v ( 高清晰电视广播) 和一些高要求视频编辑、处理上面也有相当的应用面。 第二章流媒体技术分析 m p e g 3 图像编解码标准【18 】：原本针对于h d t v ( 1 9 2 0 1 0 8 0 ) ，后来被m p e g - 2 代替。 m p e g 4 图像编解码标准1 9 , 2 0 1 ：m p e g 一4 的发展目的是基于i p 的视频传送，其最大优 点是考虑了网络的传输问题，而且可在压缩品质和压缩量上取得最佳平衡，以确保传输 时的流畅。m p e g 4 就利用很窄的带宽，通过帧重建技术来压缩和传输数据，以求利用 最少的数据获得最佳的图像质量。m p e g 4 标准主要应用于视频电话( v i d e o p h o n e ) ，视频 邮件( v i d e oe m a i l ) 平l l 电子新闻( e l e c t r o n i cn e w s ) 等。从原理来看，m p e g 4 的编码出发点 与m p e g 2 相比则有较大的差异。m p e g 4 技术从技术角度来看，m p e g 4 标准与m p e g 2 标准的基点大相径庭，m p e g 4 不再将图像看成是一个矩形像素阵列的序列，把音频看 成是一个多声道或单声道的声音，而是深入到组成一个场景的视频、音频对象的语义中 去，对不同的主体采用不同的编码方式，例如把一幅图像中一张桌子和一张床以及背景 中的房间分别进行编码。各种视、音频源不限于自然界，也可以是合成源，最终在解码 端进行组合。因此m p e g 4 是完全基于对象的一种编码方式。当然m p e g 4 采用了比 m p e g 2 更为先进的压缩方式，因此简单说，基于内容的压缩、更高的压缩比和时空可 伸缩性是m p e g 4 的3 个最重要的特点。m p e g 4 主要针对于低码率场合应用，适用范围 相对来说更宽。从发展趋势上看，m p e g 4 的进一步发展，主要适用于基于对象的查询， 并将在i p 网络上会得到进一步发展。 m p e g 4 最常见的有以下应用： 1 实时多媒体监控； 2 极低比特率下的移动多媒体通信； 3 基于内容存储和检索多媒体系统； 4 i n t e r n e t i n t r a n e t 上的视频流与可视游戏； 5 基于面部表情模拟的虚拟会议： 6 d v d 上的交互多媒体应用； 7 基于计算机网络的可视化合作实验室场景应用； 8 演播室和电视的节日制作。 2 3 2i - i 2 6 x 系列 h 2 6 1 图像编解码标准：它是国际电信联盟一电信标准化组织( i t u n 制定的关于 n * 6 4 k 速率下的会议电视视频编码的标准。i t u t ( 前称为c c i t t ) 制定的关于视频编码的 国际标准，广泛用于h 3 2 0 、h 3 2 3 会议电视系统。它提供q c i f ，f c i f 两种编码格式。 1 2 长安人学硕士学位论文 h 2 6 3 图像编解码标准：i t u t 关于低速率下的会议电视视频编码的标准，这个 标准是在h 2 6 1 的基础之上加以改进，在低速率下能得到更好的图像质量的一个编码 标准。主要用于低于3 8 4 k 速率的应用场合，在低速的h 3 2 0 、h 3 2 3 、h 3 2 4 等会议 电视系统应用广泛。它提供了s q c i f ，q c i f ，c i f ，4 c i f ，1 6 c i f 五种编码算法。 h 2 6 4 图像编解码标准 2 1 , 2 2 , 2 3 1 ：h 2 6 4 在1 9 9 7 年i t u 的视频编码专家组( v i d e o c o d i n ge x p e r t sg r o u p ) 提出时被称为h 2 6 l ，在i t u 与i s o 合作研究后被称为m p e g 一4 p a r t l 0 ( m p e g 4a v c ) 或h 2 6 4 ( t ) 。 h 2 6 4 标准的主要目标是：与其它现有的视频编码标准相比，在相同的带宽下提供 更加优秀的图象质量。然而，h 2 6 4 与以前的国际标准如h 2 6 3 和m p e g 4 相比，最 大的优势体现在以下几个方面： 1 将每个视频帧分离成由像素组成的块，因此视频帧的编码处理的过程可以达到块 的级别。 2 采用空间冗余的方法，对视频帧的一些原始块进行空间预测、转换、优化和熵编 码( 可变长编码) 。 3 对连续帧的不同块采用临时存放的方法，这样，只需对连续帧中有改变的部分进 行编码。该算法采用运动预测和运动补偿来完成。对某些特定的块，在一个或多个已 经进行了编码的帧执行搜索来决定块的运动向量，并由此在后面的编码和解码中预测 主块。 4 采用剩余空间冗余技术，对视频帧里的残留块进行编码。例如：对于源块和相应 预测块的不同，再次采用转换、优化和熵编码。 5 低码流( l o wb i tr a t e ) ：和m p e g 2 、m p e g 4 等压缩技术相比，在同等图像 质量下，采用h 2 6 4 技术压缩后的数据量只有m p e g 2 的1 8 ，m p e g 4 的1 3 。显然， h 2 6 4 压缩技术的采用将大大节省用户的下载时间和数据流量收费。 6 高质量的图像：h 2 6 4 能提供连续、流畅的高质量图像( d v d 质量) 。 7 容错能力强：h 2 6 4 提供了解决在不稳定网络环境下容易发生的丢包等错误的必 要工具。 8 网络适应性强：h 2 6 4 提供了网络适应层( n e t w o r ka d a p t a t i o nl a y e r ) ，使得h 2 6 4 的文件能容易地在不同网络上传输( 例如互联网、c d m a 、g p r s 、w c d m a 、c d m a 2 0 0 0 等) 。 从以上对视频压缩编码标准的介绍中得知，m p e g 4 标准支持更高的压缩比和更 1 3 第_ 二章流媒体技术分析 高质量的图像，但由于m p e g 4 编码采用多种高效的压缩算法，计算复杂度较高，因 此对视频数据进行实时压缩的代价较高。而m p e g 1 和m p e g 2 则是较成熟的视频编 码标准，支持它们的视频采集卡较多，价格也较低。m p e g 2 适合于对视频图像的分 辨率要求较高的情况下使用。h 2 6 3 是设计来在标准电话线上传输可视电话的，适合 于低带宽、对于图像质量要求不高的场合。高速公路视频监控系统处理的视频数据主 要是车辆、周边环境、外围设备、事故现场等的录像，这里面有时会有极为关键的信 息，如车牌号、事故的细节等，因此图像的分辨率应尽可能的高。 2 4 视频解码技术 2 4 1 视频编解码器 视频编解码器主要完成视频图像的编解码工作，用于实现为远端监控现场的视频图 像的远程传输，并通过现有通信系统接口及通道对视频的编解码参数进行控制的设备， 其传输的图像质量主要取决于通信系统提供的接口和带宽，视频编码器为远端监控现场 使用的视频压缩传输设备，视频解码器为监控中心使用的视频解压缩设备。根据视频数 字输出接口形式的不同，视频编解码器大致可以分为n e 1 接口和i p 接1 2 1 2 种。 1 n e 1 接口视频编解码器 这种视频编码器主要包括刖d 转换模块、视频压缩模块、复用电路及多e 1 反向复用 电路。外部输入的模拟视频信号通过b n c 接口接入a d 转换模块，将模拟视频信号转换 成非压缩的视频数据。视频压缩模块将这些非压缩的视频数据，以m j p e g 或m p e g 2 方式进行编码压缩，同时对语音信号进行编码。编码压缩后的数字图像信号、语音信号 以及通过数据口接入的r s 4 8 5 控制信号和其他异步数据通过复用电路复用，然后再通过 多e l 反向复用电路复接到1 8 个2 m