（计算机软件与理论专业论文）多媒体数字视频监控系统的设计与实现.pdf

多媒体数字视频监控系统的设计与实现 多媒体数字视频监控系统的设计与实现 专业：计算机软件与理论 硕士生：郭鸣皋 指导教师：李磊教授 摘要 近年来，随着计算机网络与通信技术、多媒体技术的快速发展，传统的 监控系统也不断向着新的发展方向进行着不断的更新与发展。进而出现了结 合计算机网络技术、多媒体技术及通信技术的多媒体数字视频监控系统。本 课题的目标是设计一个功能完备的多媒体数字视频监控系统。 多媒体数字视频监控系统是基于多媒体技术研究出来的一种全新监控平 台，该平台集中体现在多媒体监控系统的视频数字化、系统的网络化、应用 的多媒体化、管理的智能化，充分体现了现代信息技术与监控技术的有机结 合。与传统的监控系统相比，基于p c 机和计算机网络的多媒体数字视频监 控系统大大提高了图像质量和监控效率，并能进行可靠的网络传输。 本文在计算机多媒体技术和网络技术的基础上分析了多媒体数字视频监 控系统相关技术视频采集、数据编码等的基本原理，介绍了实时传输协议， 提出了多媒体数字视频监控系统的硬件结构和软件结构通过设计相应的多媒 体数字视频监控软件系统，分析了各个重要的软件模块的功能。通过系统的 调试，我们开发的多媒体数字视频监控系统已经具备了较好的功能和稳定性。 最后介绍了多媒体数字视频监控系统的测试及应用情况，并就系统功能的实 现和扩充提出了一点设想。 【关键词】计算机网络，多媒体数字视频监控系统，视频采集，实时传输 第l 页 多媒体数字视频监控系统的设计与实现 t h ed e s i g na n di m p l e m e n to fm u l t i m e d i an u m e r i c v i d e om o n i t o r s y s t e m m a j o r ：c o m p u t e rs o f t w a r e t h e o r y n a m e ：m i n g g a og u o s u p e r v i s o t ：p r o f l il e t a b s t r a c t w i t ht h e r a p i dd e v e l o p m e n t o f c o m p u t e r n e t w o r ka n d c o m m u n i c a t i o n t e c h n o l o g y a n dm u l t i m e d i a t e c h n o l o g y ，t r a d i t i o n a l m o n i t o r s y s t e m s h a v e g r e a t l yd e v e l o p e d t o w a r d s an e w d e v e l o p i n g d i r e c t i o nt h e s e y e a r s m u l t i m e d i an u m e r i cv i d e om o n i t o rs y s t e m ( m n v m s ) t h e n a p p e a r s ， w h i c h i s ac o m b i n a t i o no fc o r r e s p o n d i n gt e c h n o l o g y m e n t i o n e da b o v e o u rt a s kj st o d e s i g ns u c has y s t e m w i t hf u l lf u n c t i o n s m n v m si san e wm o n i t o rp l a t f o r mb a s e do nt h em u l t i m e d i at e c h n o l o g y ，a n di t a l s o b r i n g s m o r e d i g i t a l i z a t i o n ，n e t w o r k a n dm u l t i m e d i a t e c h n o l o g y a n d i n t e l l i g e n tm a n a g e m e n t t ot h em o n i t o r s y s t e m i tf u l l y i n c a r n a t e s t h ec o m b i n a t i o no ft h en e wi n f o r m a t i o n t e c h n o l o g y a n dm o n i t o r t e c h n o l o g y c o m p a r e d w i t ht h et r a d i t i o n a lm o n i t o rs y s t e m s ，m n v m s b a s e do np ca n dc o m p u t e rn e t w o r kg r e a t l yi m p r o v e st h eq u a l i t yo ft h ei m a g e sa n d t h ee f f i c i e n c yo ft h es y s t e m ，i ta l s oc a nr e l i a b l yt r a n s f e rt h ed a t at h r o u g ht h e i n t e r n e t t h i s t h e s i s e x p a t i a t e s t h er e l a t i v et h e o r i e so fm n v m s s u c ha sm o t i o nv i d e oc a p t u r e ，d a t a c o d ea n dr e a l - t i m e t r a n s p o r t p r o t o c o l b a s e do nt h e t e c h n o l o g y o fm u l t i m e d i aa n d c o m p u t e r n e t w o r k t h e nt h eh a r d w a r ea n ds o f t w a r em o d e l so fm n v m sa r e p r e s e n t e d i t a n a l y s e s t h ef u n c t i o no fe a c hs o f t w a r em o d u l e b y d e b u g g i n gt h es y s t e m ，t h er e s u l t sp r o v et h a ti th a sg o o df u n c t i o n sa n dg o o d s t a b i l i t y i nt h ee n d ，i tp r e s e n t ss o m e t h i n ga b o u tt h ed e b u g g i n ga n da p p l i c a t i o no f t h es y s t e ma n ds o m ei m a g i n ea n di m p r o v e m e n tm e t h o d so ft h em n v m st or e a l i z e i t sf u n c t i o n sa n dt oe x t e n di t sf u n c t i o n sa n da p p l i c a t i o n s 【k e y w o r d s1 c o m p u t e r n e t w o r k ， m u l t i m e d i an u m e r i cv i d e o m o n i t o r s y s t e m ，m o t i o nv i d e oc a p t u r e ，r e a l t i m et r a n s p o r t i n g 第l i 页 多媒体数字视频监控系统的设计与实现 剐罱 二十一世纪是信息化的时代，信息化产业的发展，己成为衡量一个国家、 一个地区、一个部门现代化水平的重要标志，紧跟科技发展的脚步，占据信 息时代的前言，加快信息化进程，是时代的要求，是企业适应社会发展的要 求。信息技术的发展极大的推动了计算机网络技术、通信技术的发展，多媒 体数字监控技术也日趋成熟，目前已经广泛的应用于社会中的多个领域。多 媒体数字监控系统是传统的监控系统与现代计算机信息技术的有机结合，是 当今大型企业诸如公司、银行以及邮电等信息交流广泛的企业生产与管理的 一种有效的方式。 近年来，随着计算机处理能力的提高、视频技术的发展以及网络带宽的 提高，人们利用计算机的高速数据处理能力进行视频的采集和处理，利用显 示器的高分辨率实现图像的多画面显示，利用网络进行传输，从而大大提高 了图像质量，视频监控也步入了全数字化的网络时代，监控技术也进入了一 个以网络为依托，以数字视频的压缩、传输、存储和播放为核心的新的发展 阶段。 在此次毕业设计及论文的研究中，我的课题为“多媒体数字视频监控系 统的研究与设计”，使我有机会在多媒体视频及监控技术方面进行了一些学 习研究和实际的开发设计。 以实验为基础，我们设计了相应的多媒体数字监控软件，通过对实验中 所做工作及遇到的问题进行总结，写下了本文。 本文第一章主要介绍了本课题的提出背景及课题的研究任务。第二章比 较详细的介绍了多媒体数字视频监控的相关技术的基本原理，其中主要包括 数据压缩、视频采集、基本的数据编码方法，并介绍了m p e g 视频压缩标准、 实时传输协议r t p 等。第三章首先提出了多媒体数字监控系统的总体结构， 然后分别从硬件结构和软件结构对系统的结构进行说明。第四章比较详细的 介绍了多媒体数字监控系统的几个主要的软件模块，主要介绍了它们的基本 功能、实现原理、主要数据结构、主要函数、算法。第五章介绍了系统的测 试、应用、特色及改进。 除缺乏经验外，还由于时间和设计环境的关系，以及对多媒体数字视频监控 系统理解上的一些不足，致使在撰写本文的过程中，不足之处在所难免，恳 请各位领导、老师提出批评、建议。 第1 页 多媒体数字视频监控系统的设计与实现 1 1 课题提出背景 第一章引言 随着信息化时代的到来，计算机网络技术，图像处理技术与通信技术飞 速发展，极大的推动了监控技术的不断发展与更新。监控产品也正经历着从 模拟化向数字化、网络化的革命。多媒体数字监控系统是基于多媒体技术研 究出来的一种全新监控平台，以计算机为核心，采用高新技术，结合监控系 统的实际要求及多年来不断完善的安防理论和经验，建立一套软硬件相结合 的、崭新、完整的监控体系，优化内部结构，减少不必要的环节，提高整体 性能和反映速度，满足技术不断发展的需求，属于一套真正的监控管理平台。 该平台集中体现在多媒体监控系统的视频数字化、系统的网络化、应用的多 媒体化、管理的智能化，充分体现了现代信息技术与监控技术的有机结合。 数字视频压缩编码技术日益成熟，计算机的普及化，为基于p c 机的多媒 体监控创造了条件。这种新型视频监控系统的迅速崛起，部分地取代了以视 频矩阵、图像分割器、录像机为核心，辅以其它传送器的模拟视频监控模式， 使系统结构大为简化：由于采用计算机网络技术，数字多媒体远程网络监控 不受距离限制；由于采用大容量磁盘阵列存盘器或光盘存储器，可以节省大 量的磁带介质，同时有利于系统实现多媒体信息查询。 监控系统的发展大致经历了三个阶段。在九十年代初以前，主要是以模 拟设备为主的闭路电视监控系统，称为第一代模拟监控系统。九十年代中期， 随着计算机处理能力的提高和视频技术的发展，人们利用计算机的高速数据 处理能力进行视频的采集和处理，利用显示器的高分辨率实现图像的多画面 显示，从而大大提高了图像质量，这种基于p c 机的多媒体主控台系统称为第 二代数字化本地视频监控系统。九十年代末，随着网络带宽、讨算机处理能 力和存储容量的快速提高，以及各种实用视频处理技术的出现，视频监控步 入了全数字化的网络时代，称为第三代远程视频监控系统。第三代视频监控 系统以网络为依托，以数字视频的压缩、传输、存储和播放为核心，使监控 技术的发展达到了一个新的高度。 与传统的模拟监控相比，数字监控具有许多优点。 第一，便于计算机处理。由于对视频图像进行了数字化，所以可以充分 利用计算机的快速处理能力，对其进行压缩、分析、存储和显示。通过视频 分析，可以及时发现异常情况并进行联动报警，从而实现无人值守。 第2 页 多媒体数字视频监控系统的设计与实现 第二，适合远距离传输。数字信息抗干扰能力强，不易受传输线路信号 衰减的影响，而且能够进行加密传输，因而可以在数千公里之外实时监控现 场。特别是在现场环境恶劣或不便于直接深入现场的情况下，数字视频监控 能达到亲临现场的效果。即使现场遭到破坏，也照样能在远处得到现场的真 实记录。 第三，便于查找。在传统的模拟监控系统中，当出现问题时需要花大量 时间观看录像带才能找到现场记录；而在数字视频监控系统中，利用计算机 建立的索引，在几分钟内就能找到相应的现场记录。 第四，提高了图像的质量与监控效率。利用计算机可以对不清晰的图像 进行去噪、锐化等处理，通过调整图像大小，借助显示器的高分辨率，可以 观看到清晰的高质量图像。此外，可以在一台显示器上同时观看1 6 路甚至3 2 路视频图像。 第五，系统易于管理和维护。数字视频监控系统主要由电子设备组成， 集成度高，视频传输可利用有线或无线信道。这样，整个系统是模块化结构， 体积小，易于安装、使用和维护。 正是由于数字视频监控具有传统模拟监控无法比拟的优点，而且符合当 前信息社会中数字化、网络化和智能化的发展趋势。从1 7 1 前来看，监控系统 正向着前端一体化、视频数字化、监控网络化、系统集成化的方向发展，而 数字化是网络化的前提，网络化又是系统集成化的基础，所以，最根本的两 个特点就是数字化和网络化。 数字化是2 l 世纪的特征，是以信息技术为核心的电子技术发展的必然， 数字化是迈向成长的通行证，随着时代的发展，我们的生存环境将变得越来 越数字化。视频监控系统的数字化首先应该是系统中信息流( 包括视频、音 频、控制等) 从模拟状态转为数字状态，这将彻底打破“经典闭路电视系统 是以摄像机成像技术为中心”的结构，根本上改变视频监控系统从信息采集、 数据处理、传输、系统控制等的方式和结构形式。信息流的数字化、编码压 缩、开放式的协议，使视频监控系统与安防系统中其它各子系统间实现无缝 连接，并在统一的操作平台上实现管理和控制，这也是系统集成化的含义。 视频监控系统的网络化将意味着系统的结构将由集总式向集散式系统过 渡，集散式系统采用多层分级的结构形式，具有微内核技术的实时多任务、 多用户、分布式操作系统以实现抢先任务调度算法的快速响应，组成集散式 监控系统的硬件和软件采用标准化、模块化和系列化的设计，系统设备的配 置具有通用性强、开放性好、系统组态灵活、控制功能完善、数据处理方便、 人机界面友好以及系统安装、调试和维修简单化，系统运行互为热备份，容 第3 页 多媒体数字视频监控系统的设计与实现 错可靠等功能。系统的网络化在某种程度上打破了布控区域和设备扩展的地域 和数量界限。系统网络化将使整个网络系统硬件和软件资源的共享以及任务和 负载的共享，这也是系统集成的一个重要概念。 近年来，数字监控系统在各行各业得到了广泛的应用，生活中有小区安全 监控，电讯行业有机站监控，银行系统有柜员制监控和金库监控，交通方面有 违章和流量监控等等。随着信息化进程的推进，智能化的数字监控系统已经深 入到社会中的各个领域。有效的交通管理是我国各大都市面临的难题。智能视 频交通控制系统能及时提供各路段的车辆流量和路况信息，记录违章车辆，以 便实现准确快速的交通指挥调度，达到充分利用现有的道路资源，提高突发交 通事故的处理能力，从而为人们的出行提供快捷舒适的交通服务。在当前市场 一体化和经济全球化形势下，企业为了提高竞争能力，纷纷在世界各地建立分 支机构。通过远程视频传输系统，企业管理部门就能随时观察到其在各地机构 的生产、工作状况，与电话汇报相比，既直观真实又方便快捷。在金融行业， 尤其是银行系统，现在也广泛使用数字监控系统。在大范围内的银行及其各分 行、各储蓄所及a t m 取款机、金库等场所，由于安全性等原因，都大范围的使 用了数字监控系统，利用图像进行本地或者远程的监控。在电信行业，可以使 用数字监控系统进行交换机房、无线机房、动力机房的图像及环境远程监控。 在医疗方面，它可以应用于病房监护、远程监护。在教育方面，可以利用它来 进行教室或考场监控，远程教育等。在安防方面，可以利用数字监控系统来进 行远程监控，如智能化小区的安全保卫，超市、工厂、大型公共场所的安全保 卫等等。此外，在2 0 0 8 年的北京奥运会中，数字视频监控系统将大放异彩。它 将广泛用于智能化的交通调度、现代化的体育场馆和优雅舒适的奥运村，为参 加奥运会的各国朋友在北京的比赛、游览提供安全舒适的服务。 1 2 课题来源及意义 由于近年来多媒体技术和计算机网络技术的飞速发展，全新的多媒体数字 视频监控技术的应用已非常广泛。国内近年来也在这方面取得了大量的成果， 研制出了大量以p c 机和计算机网络为核心的多媒体数字监控产品。 本课题的开展，在跟踪国内外先进的计算机网络与多媒体技术的同时，对 于积极开展企业与高校间的产学研结合，推进科研成果产品化的进程具有积极 的意义。同时，本项目的开发完成将直接产生经济和社会效益。 1 3 课题的内容和任务 第4 页 多撵体数字视频监控系统的设计与实现 本课题的主要内容主要是在现有硬件系统的基础上研究多媒体数字视频监 控的实现方案，并在此基础上设计开发多媒体数字视频监控系统的软件系统， 使其实现以下主要功能：连续录像、硬盘循环检测、视频文件的存储、云台及 镜头的控制、报警以及网络视频传输、网络分控等功能。最后完成系统的产品 化。 本项目中研究与设计的多媒体数字视频监控系统已能基本完成该监控系统 的基本功能。我在这次课题中承担的任务是研究现有的多媒体数字视频监控技 术，在w i n d o w s 操作系统平台上设计多媒体数字视频监控系统软件系统中的主 控模块、硬盘循环检测、云台及镜头的控制等主要模块。论文对这样几部分的 原理进行了深入的研究和剖析，并在此基础上详细的论述了实现的主要过程。 同时，这几个模块与课题组开发的其他模块进行整合与测试，形成一个功能比 较完备的多媒体数字视频监控系统。 第s 页 多媒体数字视频监控系统的设计与实现 第二章：多媒体数字视频监控相关技术基础 2 1 多媒体技术概述 2 1 1 多媒体的概念 由于数字化技术在计算机领域广泛的应用，使电视、广播、录像、通信技 术由传统的连续信号和模拟方式向离散信号和数字化方式转换。多媒体技术 是一种全数字技术，文字、图形、图像、视频、动画、声音都以数字化形式 表示，从而方便了多媒体信息的存储、处理和网络传输。多媒体技术是以计 算机为中心，把语音、图像处理技术和视听技术等集成在一起的技术。 2 1 2 多媒体数据的特性与表现形式 在多媒体数据处理中，除了处理常规类型( 如整型、实型等) 外，还要 处理图形、图像、音频、视频等复杂数据类型。多媒体数据主要有数据量大、 数据长度可变、多数据流、数据流的连续记录和检索等特性。 多媒体信息的主要元素主要包括文本、图形与图像、视频、音频与动画。 1 文本 文本包含字母、数字、字、词等基本元素。 2 图形与图像 图形与图像是多媒体中的可视元素。 3 视频 静止的图片称为图像，而动态的图像则称为视频，它是多媒体中一类重 要的媒体。 4 音频 音频是指大约在1 5 1 1 z 2 0 0 0 0 h z 的频率范围的连续变化的波形。常见的音 频处理技术有音频采集、语音编解码、语音识别等。 5 动画 动画是采用计算机动画软件创作并生成的一系列可供实时演播的连续画 面。运动的图像( 视频) 和运动的图形( 动画) 由一系列连续显示的画面组 成，当把运动图像和运动图形显示到计算机屏幕上时，它可能占据整个屏幕 第6 页 多媒体数字视频啦控系统的设汁与实现 空间，也可能只占据屏幕的一部分。连续序列中的每一幅画面称为帧，帧与 帧之间的延迟是恒定的。每秒钟显示的帧数称为帧速率，用帧秒表示。 2 1 3 多媒体关键技术 t 数据存储技术 多媒体数据量较大，因此在介质中所占用的空间也较大，在存储和传输 这些信息时需要很大的空间和时间开销，解决这问题的关键即是数据存储 技术。硬盘是计算机重要的存储设备。 2 多媒体数据压缩编码与解码技术 数字化视频与音频数据的数据量很大，这将给存储器的存储容量、通信 主干信道的传输率( 带宽) 以及计算机的处理速度带来极大的压力。解决大 数据量存储和传输的有效方法是多媒体数据压缩编码技术。采用先进的压缩 编码算法对数字化的视频和音频信息进行压缩既节省了存储空间，又提高了 通信介质的传输效率，同时也使计算机实时处理和播放视频、音频信息成为 可能。 多媒体数据压缩可分为无损压缩和有损压缩两种形式，也叫无失真压缩 和有失真压缩。无损压缩是压缩后的数据经过解压缩后还原得到的数据与原 始数据相同，不存在任何误差，但压缩率比较低，因此无损压缩一般用来实 现对文本和数据的压缩。有损压缩是压缩后的数据经过解压缩后，还原得到 的数据与原始数据之间存在着一定的差异，由于允许有一定的误差，即在压 缩过程中可能会损失掉一部分信息量，因而可以获得较大的压缩比，常用于 对图像、声音、动态视频等信息的压缩。目前主要的数据压缩标准有j p e g 、 m p e ( ；- 1 、m p e g - 2 、m p e g - 4 等。 3 多媒体数据库技术 多媒体数据库除要求处理结构化的数据外，还要求处理大量非结构化数 据。多媒体数据库需要解决的问题主要有：数据模型、数据压缩还原、数据 库操作、浏览及统计查询以及对象的表现。 随着多媒体技术的发展，面向对象技术的成熟以及人工智能技术的发展， 多媒体数据库、面向对象的数据库以及智能化多媒体数据库的发展越来越迅 速，将形成对多媒体数据进行有效管理的新技术。 4 多媒体网络与通信技术 多媒体通信是个综合性技术，涉及多媒体、计算机和通信等领域。多 媒体传输涉及到图像、声音和数据等方面，需要完成大数据量的连续媒体信 第7 页 多媒体数字视频监控系统的设计与实现 息的实时传输、时空同步和数据压缩。 5 智能多媒体技术 智能多媒体技术是多媒体技术与人工智能的有机结合，是一种更加高级 的智能计算。 6 多媒体信息检索技术 多媒体信息检索是根据用户的要求，对图形、图像、文本、声音、动画 等多媒体信息进行检索以得到用户所需的信息。基于特征的多媒体信息检索 系统有着广阔的应用前景，它将广泛的应用于电子会议、远程教学、计算机 协同工作等方面。 2 2 视频信号的特性 视频信号具有高分辨率、色彩逼真等特点。视频信号的处理是多媒体技 术的核心。 视频信号的空间特性主要包括水平分辨率、垂直分辨率、有效线数、纵 向分辨率、单位时间内显示的帧数等。水平分辨率是指能再现黑白相间的垂 直线条的数目。垂直分辨率( 总线数) 指一帧中的扫描线总数。有效线数是 指可见的扫描线数目。纵向分辨率指每一场中可见的扫描线数目。隔行扫描 把帧画面分为两场，主要目的是为了节省频带、降低行频。 视频信号的时间特性主要是指帧速率。视频信号是连续运动的( 1 5 f s ) 要求没有闪烁( 5 0 f s ) 。 2 3 数据压缩 对多媒体信息进行压缩的目的就是减小存储容量和节省传输容量。 2 3 1 数据压缩原理 2 3 1 1 图像信息压缩的原理 压缩编码的理论基础是信息论。从信息论的角度来看，压缩就是去掉信 息中的冗余，也就是用一种更接近信息本质的描述来代替原有冗余的描述。 所以，将香农( c e s h a n n o n ) 的信息论观点运用到图像信息的压缩，所要解决 的问题就是如何将图像信息压缩到最小，但仍携有足够信息以保证能复制出 与原图近似的图像。 第8 页 多媒体数字视频监控系统的设计与实现 图像信息之所以能进行压缩是因为信息本身通常存在较大的冗余量，如 以一个连续画面来说，它的每一帧画面是由若干像素组成的，因为动态图像 通常反映的是一个连续的过程，它的相邻的帧之间存在着很大的相关性，而 一些相似的信息( 或称为冗余信息) 为数据的压缩提供了基础。此外，由于 人的视觉和听觉对某些信号不那么敏感的生理特性，致使信息被压缩之后还 不会发现，也不至于对压缩后的信息产生误解。 数据压缩可以看成是一种变换，变换的实现方法即编码技术，每一种编 码方法都是实现数据压缩的具体操作，对于不同的多媒体数据，可以选择采 取不同的编码方法。 2 3 1 2 对称压缩与不对称压缩 压缩技术的基本方式有两种：即对称压缩和不对称压缩。在对称压缩中， 压缩的算法和解压缩的算法是一样的，它是一种可逆操作。对称压缩的优点 是双方都以同一种速度进行操作，如在视频会议这种实时传递的系统便采用 了对称压缩技术。 另一种压缩技术是不对称压缩，是指压缩和解压缩的运算速率是互不相 同的。 2 3 1 3 影响数据压缩的几个要素 一个好的压缩算法对多媒体信息的存储和传输是至关重要的，影响压缩性 能的主要指标有： 1 压缩比 对压缩前后的文件大小和数据量进行比较，作为压缩率的衡量指标。如 j p e g 压缩标准的压缩比可达5 0 ：1 。 2 图像质量 虽然有损压缩可以获得较大的压缩比，但压缩比过高，还原后的图像质 量就可能降低。图像质量可以采用客观评估和主观评估两种方法进行衡量。 客观评估是通过一种具体的算法来统计多媒体数据压缩结果的损失。主 观评估基于人的视觉感知，方法是进行主观测试，让观察者通过观测一系列 恢复图像，并与原图像进行比较，再根据损伤的可见程度进行评级，以判断 哪种压缩算法的失真少。 客观评价的方法由于只对恢复图像和原始图像进行纯误差数学统计，难 以反映图像的视觉差别。主观评估的优点就是使人一目了然，但是主观评判 的结果往往和客观评判不是一一对应的，有时结果相差很大。所以，在图像 第9 页 多媒体数字视频监控系统的 殳计与实现 处理技术和压缩编码技术飞速发展的今天，能够准确的对图像质量进行客观 评估是亟待解决的问题。 3 ，执行的硬件与软件 采用什么样的硬件与软件去执行压缩解压缩，与采用压缩方案和算法的 复杂程度有着密切的关系。设计复杂的算法需要在功能强大的硬件和软件的 支持下运行，但仅靠算法来提高压缩解压缩的速度还是有限的，在多数情况 下，需要依靠硬件本身提供的功能去完成。 2 3 2 数据压缩标准 视频压缩算法有多个标准，其中一个重要标准是 m p e g ( m o t i o n p i c t u r e e x p e r t s g r o u p ) 系列，它是i s o 组织1 9 8 8 年成立的运动 图像专家组( 负责运动图像及其伴音的编码标准制定工作) 于1 9 9 0 年制定出标 准草案，并于1 9 9 1 年成为国际标准。现已推出了m p e g l 、m p e g - 2 、m p e g 一4 等标准。 其中m p e g - i 是以约1 5 m b s 的速度传输电视质量的视频信号，这个标准 主要是针对具有这种数据传输率的c d r o m 和网络而开发的，用于在c d r o m 上存储数字视频和在网络上传输数字视频。 m p e g 一2 是m p e g 一1 的扩充，它增加了许多新的功能，是一个直接与数字电 视广播有关的高质量图像和声音的编码标准。m p e g 一2 要达到的最基本目标是 位速率为4 9 m b p s ，最高达1 5 m b p s 。 m p e g l 和m p e g - 2 的应用主要是针对中高比特率，而m p e g - 4 是一个数据 速率很低的多媒体通信标准，特别是6 4 k b p s 下的音频一视频压缩，这是为了 在标准电话线上传送可视电话。m p e g 一4 支持的应用包括：因特网多媒体应用、 实时可视通信。例如可视电话、会议电视等；交互式存储媒体应用，广播电 视，远程视频监控等。 m p e g 一2 、m p e g 一4 与m p e g 一1 相比，可以达到更好的效果，但是考虑到成本、 技术的成熟性以及其他方面的因素，在本系统中我们选用硬件实现的m p e g 一1 压缩标准。采用m p e g l 标准压缩后的数据量大约为1 5 m b p s 左右大大减少了 数据量。 2 4 多媒体视频信息处理 2 4 1 视频处理 第10 页 多媒体数字视频监控系统的设计与实现 在多媒体技术中，视频处理一般是指借助于一系列相关的硬件( 如视频卡) 和软件，在计算机上对输入的视频信号进行接收、采集、传输、压缩、存储、 编辑、显示、回放等多种处理。 计算机要处理视频信息，首先要解决的是将模拟视频信号转换为数字视 频信号。计算机需要对输入的模拟视频信息进行采样和量化，并经过编码使 其变成数字化图像。 图像采样就是将二维空间上模拟的连续亮度( 即灰度) 或色彩信息，转化 为一系列有限的离散数值来表示。由于图像是种二维信息，所以具体的做 法就是对连续图像在水平方向和垂直方向等间隔的分割成矩形网状结构，所 形成的矩形微小区域，称之为像素。被分割的图像若水平方向有m 个间隔， 垂直方向有n 个间隔，则一幅视频画面就被表示成m * n 个像素构成的离散像 素的集合。m * n 表示图像的分辨率。 在进行采样时，采样点间隔的选取是一个非常重要的问题，它决定了采 样后的图像是否能真实的反映原图像的程度。般说来，原图像中的画面越 复杂，色彩越丰富，则采样间隔应越小。 采样后得到的亮度值( 或色彩值) 在取值空间上仍然是连续值。把采样后 所得到的这些连续量表示的像素值离散化为整数值的操作叫量化。图像量化 实际上就是将图像采样后的样本值的范围分为有限多个段，把落入某段中的 所有样本值用同一值表示，是用有限的离散数值量来代替无限的连续模拟量 的一种映射操作。在量化时所确定的离散取值个数称为量化级数，为表示量 化的色彩值( 或亮度值) 所需的二进制数位称为量化字长。一般可用8 b i t 、 1 6 b i t 、2 4 h i t 或更高的量化字长来表示图像的颜色。量化字长越长，则越能 反映原有图像的颜色，但得到的数字图像的容量也越大。 在多媒体系统中，视频信号的采样和量化是通过视频卡对输入的画面进 行采集和捕获，并在相应的软件支持下完成的。画面采集可分为单幅画面采 集和多幅动态画面连续采集。单幅画面采集时，用户可将输入的视频信息定 格，然后将定格后的单幅画面以图形文件格式加以存储。为得到活动的视频 画面，要进行连续采集，视频卡可以对视频信号源输入的视频信号进行实时、 动态的捕获和压缩，可以每秒2 5 帧到3 0 帧的采样速度对视频加以采样和量 化。 视频信号经数字化后，需要将数字化信息压缩后加以存储。在使用时， 再将数字化信息从介质中读出，还原成图像信号加以输出。作为一个完整的 信息表示，有时视频信息还需要与音频信息同步播放，这就需要将视频信号 第1 1 页 多媒体数字视频监控系统的设计与实现 与音频信号按某种格式组织起来，在播放时实现二者的同步。 在多媒体的应用领域中，由于数字化的图像资料信息数据过于庞大，面 临图像数据存储和传输的困难。因此视频技术一直是多媒体技术中比较困难 的部分。在多媒体系统中，动态视频图像不仅需要巨大的存储容量，而且对 传输速度也有很高的要求，视频信号的采集、存储、显示、传输都要涉及到 庞大的数据，而现有的计算机由于存储容量和处理速度有限，从而成为视频 处理的瓶颈。一个有效的方法就是对图像进行压缩处理，在视频信号采集的 同时对其进行压缩处理，然后荐存储起来，在播放时先进行解压缩，然后再 输出。 2 4 2 视频采集卡 视频采集卡( m o t i o n v i d e o c a p t u r e ) 也称为视频捕获卡，它的主要功能是 对输入的模拟视频进行采样、量化后转换为数字图像文件。采集的模拟视频 信号源可以是录像机、摄像机、电视机等，使原来保存在介质上的图像通过 视频采集卡转录到计算机内部，利用摄像机也可以将现场的图像实时的输入 计算机。某些视频采集卡提供了硬件压缩功能，它使用专用芯片对视频帧进 行数字化压缩，可以成功的对每秒3 0 帧、全屏幕、全活动的视频图像进行数 字化处理，这些数据在播放时在被解压缩。 2 4 2 1 视频采集卡的工作过程 视频采集卡是一个安装在计算机扩展槽上的一个硬卡。它可以汇集多种 视频信号源的信息，如电视、录像机( v c r ) 、摄像机的视频信息，对被捕获和 采集到的画面进行数字化、存储、输出及其他处理操作，如编辑、缩放等。 图2 - 1 为视频采集卡的功能模块图。视频卡一般有多种视频接口，可接 收来自摄像机、录像机等多种视频信号，通过视频软件可选择所需的视频源。 第1 2 页 多媒体数字视频监控系统的设计与实现 图2 - 1 视频采集卡的工作原理图 从摄像机、录像机或其他视频信号源得到的是彩色电视信号，视频源信 号首先经过a d 转换，然后送到多制式数字解码器。视频解码器( a o c ) 是一个 模数转换器，其任务是对视频信号解码和数字化。 经解码后得到的视频信号被送入视频处理芯片，对其进行剪裁等处理。 视频信息可实时的存到v r a m ( 帧存储器) 中，计算机可以通过视频处理器对帧 存储器的内容进行读写操作，帧存储器的视频像素信息读到计算机后，通过 编程可以通过各种算法完成视频图像的编辑与处理。 视频输出的r g b 信号与v g a 显示卡引过来的r g b 信号是完全同步的，用 适当的方法交替切换两路信号，即可实现两路输出的叠加。通过上述两种方 式得到的r g b 信号经过i ) a c 变成模拟信号，并在显示器的窗口中显示。 由于视频信息量大，如果直接存储，会占用大量的存储空间。所以视频 卡又提供了对视频数字信号的压缩功能，并以压缩的图像文件格式进行存储。 当在计算机上播放视频图像时还得经过解压缩过程，使其还原成图像信息才 能播放。 2 4 2 2 视频采集卡的性能指标 i 输入输出接口 一般而言，有单工卡和双工卡。单工卡只提供视频输入接口，双工卡还 提供输出接口。 2 声音处理 如果视频采集卡只提供视频接口，在捕捉过程中需要一块单独的声卡来 笫13 页 多媒体数字视频监控系统的设计与实现 录制声音。 3 捕捉画面的大小 视频采集卡在捕捉连续影像画面时，不一定是抓取全屏幕的图像，而是 在一个指定窗口中捕捉窗口中的连续影像以限定摘取画面的大小，因为全屏 幕图像的信息量太大，所以，在进行动态视频捕捉的同时要同步的进行数据 压缩。 4 捕捉像素的多少 为了获得更佳的效果，需要分辨率较高的视频采集卡，同时，高分辨率 的录像生成的文件较大，需要占用更大的内存空间。 6 捕捉的速率 大多数低端视频捕获卡可以满足不同的分辨率，最多可达3 0 帧秒，这 是在电视机上重播时有平滑视感的最佳速度。如果以低一些的速度捕获，文 件长度会小一些，但是画面会出现抖动。所以不要选择捕捉速度低于3 0 帧 秒的捕获 。 7 计算机处理能力 由于视频处理的数据量巨大，所以对计算机硬件有一定的要求。当视频 源以正常的速度自动播放时，视频捕捉软件就以一定的帧速率连续不断的捕 捉视频。在这种捕捉方式下，当下一帧视频到来之前，视频卡要把当前帧的 影像复制下来并传输到硬盘，而计算机要对其进行处理加工。因此在这种方 式下，需要较快的c p u 速度和硬盘速度，否则就会出现掉帧及图像漂移现象。 2 4 3 视频文件一m p g 文件 将m p e 6 算法用于压缩全运动视频图像，就可以生成全屏幕活动视频标准 文件m p g 文件。m p g 格式文件在1 0 2 4 7 6 8 的分辨率下可以用每秒2 5 帧( 或 3 0 帧) 的速率同步播放全运动视频图像，并且其文件大小仅为a v i 视频文件的 1 6 。m p e g 一2 压缩技术采用了可变速率( v a r i a b e b i t r a t e ，v b r ) 技术，能够根 据动态画面的复杂程度，适时改变数据传输率以获得较好的编码效果。 2 5 多媒体信息传输 2 5 1 多媒体网络技术 多媒体网络( m u l t i m e d i a n e t w o r k ) 是可以综合、集成的运行多种媒体数据 的计算机网络、网络上的任意结点都可共享运行于其中的多媒体信息，可对 第14 页 多媒体数字视频监控系统的设计与实现 多媒体数据进行获取、存储、处理、传输等操作。多媒体网络具有一体化的 多媒体服务、交互性、同步性、低时延、多方通信等基本特征。 多媒体网络技术的技术基础包括多媒体网络环境、多媒体信息的传输机 制、多媒体数据压缩技术和多媒体网络结点( 主要是多媒体网络终端系统) 。 2 5 1 1 多媒体网络环境 多媒体网络是一个端到端的、能提供多媒体性能服务的网络，它由多媒 体终端、多媒体接入网络、多媒体传输骨干网络以及能够满足多媒体网络化 应用的网络软件等四个部分组成。 首先，多媒体终端通常也称为多媒体计算机，它是一个能实时处理多种 多媒体信息的终端设备。其次，要实现全程的多媒体网络服务，其中多媒体 接入网是一个重要的环节。第三方面是对多媒体传输骨干网的建设。 因为多媒体网络具有集成性、交互性、同步性、实时性等特性，而且传 输和处理的数据量又特别庞大，这就决定了多媒体网络技术对网络环境具有 特殊的要求。首先要求很高的带宽，这是由两方面的要求决定的，一方面， 多媒体中的图像、音频、视频媒体都涉及巨量的数据，所以多媒体网络通信 的数据量极大；另一方面，多媒体网络要能同步、实时的传输与时间相关性 强的音、视频媒体。其次是等时服务( i s o c h r o n o u s s e r v i o e ) ，多媒体网络的 实时性要求它能满足等时服务，以保证网络延迟尽可能小。 2 5 1 2 多媒体信息传输机制 多媒体服务器模型的基础是客户机服务器( c s ) 模式。c s 是通过相对应 的两个独立程序来完成的，一个程序运行在服务器上，提供特定资源；另一 个程序运行在客户机中，它使客户机能够访问服务器上的资源。这种网络运 行的模式称为客户机服务器( c s ) 模式。c s 模型可与o s i r m 结合使用，多 媒体服务器提供对多媒体信息的存储与检索操作，其要点是集成到网络中的 多媒体信息的传输。 通信服务质量( q o s ，o u a l i t y o f s e r v i c e ) 是对多媒体网络效果的主要表示 参数，主要用于描述通信双方的传输质量，基本参数有系统吞吐率、网络传 输稳定性、可用性、可靠性、传输延迟、出错率、传输失败率、安全性等。 2 5 2 多媒体通信的特点 2 5 2 1 多媒体通信的相关因素 多媒体网络系统的功能是允许在计算机之间交换离散媒体数据和连续媒 第15 页 多媒体数字视频监控系统的设计与实现 体数据，因此需要网络提供与此相应的服务和协议。 多媒体通信对网络系统的服务及协议有若干特殊的要求，这些要求由具 体应用所决定： 在处理音频或视频数据时，有截止时间的限制，甚至受到时间间隔的 限制。 “服务“必须在不同的数据流间提供同步机制，或者使用系统中其他 部件提供的原语来实现同步。 多媒体通信必须与现有的广泛使用的通信协议保持兼容。 由于实际视频音频数据的速率变化很大，所以网络提供的服务必须 能对此进行处理。 2 5 2 2 多媒体通信的特点 1 多样性。不同类型的媒体数据对于通信网络的性能和服务有不同的要 求。 2 高带宽。数据量大，连续性要求高。 3 高速率( 低延时) 。 4 同步性。一次传输多种媒体( 如音频+ 视频) 应保持多种媒体传输的正确 性。 2 5 3 实时传输协议r t p 及r t c p 实时传输协议r t p ( r e a l t i m e t r a n s p o r t p r o t o c 0 1 ) 是i n t e r n e t 针对多媒 体数据流的一种实时传输协议，能为具有实时特性的数据( 例如交互的音频和 视频数据) 提供端到端的数据传输服务。由于在t c p 协议的数据传输中采用等 待确认和错误重发机制，它所产生的时延对于实时视频和音频来说是无法忍 受的，因此r t p 是基于u d p i p 网络设计的。 r t p 协议不具备纠错或流量控制机制，也不提供其他q o s 保证。它采用的 实时机制主要是时间戳和顺序编号。由于使用u d p 协议的i p 网络在传输中采 用的是包交换方式和“尽可能”的投递包，也没有提供按序的数据包投递， 因此不同的数据包可能经过不同的传输路径，数据包到达接收端的先后次序 是不可预知的。所以采用对数据包顺序编号和时间戳机制可对无序到达的数 据帧按正确的次序进行帧重构。 r t p 在多媒体数据( u d p 数据包) 的头部加上时标和序号后发出，若接收端 配以适当的缓存，那么接收端就可以根据时标和序号信息“复原”数据包。 第16 页 多媒体数字视频监控系统的设计与实现 r t p 包括数据和控制两种类型的信息包。数据包用于传送多媒体数据，而 控制包则用于传送和r t c p ( r e a l - t i i n e t r a n s p o r t c o n t r o l p r o t o c 0 1 ) 协议相关 的控制信息。 r t c p 是与r t p 同时存在并协同工作的控制协议。它通过定义的各种包来 承载控制信息，以监视网络服务质量、通信带宽以及网上传送的信息，并将 其通知发送端。在一次r t p 会话中参与者定时发送r t c p 包，用来传递关于数 据传输质量的反馈信息。为了监测数据流性能和质量，r t c p 把传输情况的报 告发送给所有参与者。r t p 主要用于连续媒体的实时传输领域。 081 62 43 1 v = 2pc cmp t序号 时间戳 同步源s s r c 标识符 特约信源c s r c 标识符( o - 1 5 域) 图2 - 2r t p 头部的格式 圈2 2 表示了r t p 数据报头部的格式。r t p 数据报由1