（计算机应用技术专业论文）多媒体数字视频监控系统的设计与实现.pdf

学科专业 ： 论文题目 ： 指导教师 ： 硕士研究生： 摘要 计算机应用技术 多媒体数字视频监控系统的设计与实现 曾家智教授 韩阳( 电子科技大学0 0 s 0 6 班) 近年来，随着计算机网络与通信技术、多媒体技术的快速发展， 传统啪监控系统也不断向着新的发展方向进行着不断的更新与发展。 进而出现了结合计算机网络技术、多媒体技术及通信技术的多媒体数 字视频监控系统。本课题的目标是设计一个功能完备的多媒体数字视 频监控系统。 多媒体数字视频监控系统是基于多媒体技术研究出来的一种全新 监控平台，该平台集中体现在多媒体监控系统的视频数字化、系统的 网络化、应用的多媒体化、管理的智能化，充分体现了现代信息技术 与监控技术的有机结合。与传统的监控系统相比，基于p c 机和计算机 网络的多媒体数字视频监控系统大大提高了图像质量和监控效率，并 能进行可靠的网络传输。k 本文在计算机多媒体技术和网络技术的基础上分析了多媒体数字 视频监控系统相关技术视频采集、数据编码等的基本原理，介绍了实 时传输协议，提出了多媒体数字视频监控系统的硬件结构和软件结构 通过设计相应的多媒体数字视频监控软件系统，分析了各个重要的软 件模块的功能。通过系统的调试，我们开发的多媒体数字视频监控系 统已经具备了较好的功能和稳定性。最后介绍了多媒体数字视频监控 系统的测试及应用情况，并就系统功能的实现和扩充提出了一点设想。 【关键词】计算机网络，、多媒体数字视频监控系统；视频采集，、实时 传输 a b s t r a c t s p e c i a lf i e l d ：c o m p u t e ra p p l i c a t i o n st e c h n o l o g y t i t l e ： t h e d e s i g na n di m p l e m e n t o fm u l t i m e d i an u m e r i cv i d e o m o n i t o r s y s t e m a d v i s o r ：p r o f z e n g j i a z h i m a s t e r ：h a ny a n g ( u e s t c ，0 0 s 0 6 ) w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rn e t w o r ka n dc o m m u n i c a t i o n t e c h n o l o g ya n dm u l t i m e d i at e c h n o l o g y ，t r a d i t i o n a lm o n i t o rs y s t e m sh a v e g r e a t l yd e v e l o p e d t o w a r d san e w d e v e l o p i n g d i r e c t i o nt h e s e y e a r s m u l t i m e d i an u m e r i cv i d e om o n i t o rs y s t e m ( m n v m s ) t h e n a p p e a r s ， w h i c hi sac o m b i n a t i o no fc o r r e s p o n d i n gt e c h n o l o g ym e n t i o n e da b o v e o u rt a s ki st od e s i g ns u c has y s t e mw i t hf u l lf u n c t i o n s m n v m si s an e wm o n i t o r p l a t f o r m b a s e do nt h em u l t i m e d i a t e c h n o l o g y ，a n d i ta l s o b r i n g s m o r e d i g i t a l i z a t i o n ，n e t w o r k a n d m u l t i m e d i a t e c h n o l o g y a n d i n t e l l i g e n tm a n a g e m e n t t ot h em o n i t o r s y s t e m i tf u l l y i n c a r n a t e st h ec o m b i n a t i o no ft h en e wi n f o r m a t i o n t e c h n o l o g y a n dm o n i t o r t e c h n o l o g y c o m p a r e d w i t ht h et r a d i t i o n a l m o n i t o rs y s t e m s ，m n v m sb a s e do np ca n dc o m p u t e rn e t w o r kg r e a t l y i m p r o v e st h eq u a l i t yo ft h ei m a g e sa n dt h ee f f i c i e n c y o ft h es y s t e m ，i t a l s oc a nr e l i a b l yt r a n s f e rt h ed a t at h r o u g ht h ei n t e r n e t t h i st h e s i s e x p a t i a t e s t h er e l a t i v et h e o r i e so fm n v m ss u c ha s m o t i o nv i d e oc a p t u r e ，d a t ac o d ea n dr e a l - t i m et r a n s p o r tp r o t o c o lb a s e do n t h et e c h n o l o g yo fm u l t i m e d i aa n dc o m p u t e rn e t w o r k t h e nt h eh a r d w a r e a n ds o f t w a r em o d e l so fm n v m sa r ep r e s e n t e d i ta n a l y s e st h ef u n c t i o no f e a c hs o f t w a r em o d u l e b yd e b u g g i n gt h es y s t e m ，t h er e s u l t sp r o v et h a ti t h a sg o o df u n c t i o n sa n dg o o ds t a b i l i t y i nt h ee n d ，i tp r e s e n t ss o m e t h i n g a b o u tt h ed e b u g g i n ga n da p p l i c a t i o no ft h es y s t e ma n ds o m ei m a g i n ea n d i m p r o v e m e n tm e t h o d so ft h em n v m st o r e a l i z ei t sf u n c t i o n sa n dt o e x t e n di t sf u n c t i o n sa n da p p l i c a t i o n s k e yw o r d s 】c o m p u t e rn e t w o r k ，m u l t i m e d i an u m e r i cv i d e om o n i t o r s y s t e m ，m o t i o nv i d e oc a p t u r e ，r e a l t i m et r a n s p o r t i n g i i l 前言 二十一世纪是信息化的时代，信息化产业的发展，已成为衡量一 个国家、一个地区、一个部门现代化水平的重要标志，紧跟科技发展 的脚步，占据信息时代的前言，加快信息化进程，是时代的要求，是 企业适应社会发展的要求。信息技术的发展极大的推动了计算机网络 技术、通信技术的发展，多媒体数字监控技术也日趋成熟，目前已经 广泛的应用于社会中的多个领域。多媒体数字监控系统是传统的监控 系统与现代计算机信息技术的有机结合，是当今大型企业诸如公司、 银行以及邮电等信息交流广泛的企业生产与管理的一种有效的方式。 近年来，随着计算机处理能力的提高、视频技术的发展以及网络 带宽的提高，人们利用计算机的高速数据处理能力进行视频的采集和 处理，利用显示器的高分辨率实现图像的多画面显示，利用网络进行 传输，从而大大提高了图像质量，视频监控也步入了全数字化的网络 时代，监控技术也进入了一个以网络为依托，以数字视频的压缩、传 输、存储和播放为核心的新的发展阶段。 在此次毕业设计及论文的研究中，我的课题为“多媒体数字视频 监控系统的研究与设计”，使我有机会在多媒体视频及监控技术方面 进行了一些学习研究和实际的开发设计。 以实验为基础，我们设计了相应的多媒体数字监控软件，通过对 实验中所做工作及遇到的问题进行总结，写下了本文。 本文第一章主要介绍了本课题的提出背景及课题的研究任务。第 二章比较详细的介绍了多媒体数字视频监控的相关技术的基本原理， 其中主要包括数据压缩、视频采集、基本的数据编码方法，并介绍了 m p e g 视频压缩标准、实时传输协议r t p 等。第三章首先提出了多媒 体数字监控系统的总体结构，然后分别从硬件结构和软件结构对系统 的结构进行说明。第四章比较详细的介绍了多媒体数字监控系统的几 个主要的软件模块，主要介绍了它们的基本功能、实现原理、主要数 据结构、主要函数、算法。第五章介绍了系统的测试、应用、特色及 改进。 除缺乏经验外，还由于时间和设计环境的关系，以及对多媒体数 字视频监控系统理解上的一些不足，致使在撰写本文的过程中，不足 之处在所难免，恳请各位领导、老师提出批评、建议。 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 e t 期：知哆年5 月2 e t 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 日期：卅年，月7 1 e t 皇至型垫盔堂堡主兰垡笙壅兰堡堡塑主塑塑堕丝墨堑塑堡盐量兰翌 第一章 引言 1 1课题提出背景 随着信息化时代的到来，计算机网络技术，图像处理技术与通信 技术飞速发展，极大的推动了监控技术的不断发展与更新。监控产品 也正经历着从模拟化向数字化、网络化的革命。多媒体数字监控系统 是基于多媒体技术研究出来的一种全新监控平台，以计算机为核心， 采用高新技术，结合监控系统的实际要求及多年来不断完善的安防理 论和经验，建立套软硬件相结合的、崭新、完整的监控体系，优化 内部结构，减少不必要的环节，提高整体性能和反映速度，满足技术 不断发展的需求，属于一套真正的监控管理平台。该平台集中体现在 多媒体监控系统的视频数字化、系统的网络化、应用的多媒体化、管 理的智能化，充分体现了现代信息技术与监控技术的有机结合。 数字视频压缩编码技术日益成熟，计算机的普及化，为基于p c 机 的多媒体监控创造了条件。这种新型视频监控系统的迅速崛起，部分 地取代了以视频矩阵、图像分割器、录像机为核心，辅以其它传送器 的模拟视频监控模式，使系统结构大为简化；由于采用计算机网络技 术，数字多媒体远程网络监控不受距离限制；由于采用大容量磁盘阵 列存盘器或光盘存储器，可以节省大量的磁带介质，同时有利于系统 实现多媒体信息查询。 监控系统的发展大致经历了三个阶段。在九十年代初以前，主要 是以模拟设备为主的闭路电视监控系统，称为第一代模拟监控系统。 九十年代中期，随着计算机处理能力的提高和视频技术的发展，人们 利用计算机的高速数据处理能力进行视频的采集和处理，利用显示器 的高分辨率实现图像的多画面显示，从而大大提高了图像质量，这种 基于p c 机的多媒体主控台系统称为第二代数字化本地视频监控系统。 九十年代末，随着网络带宽、计算机处理能力和存储容量的快速提高， 以及各种实用视频处理技术的出现，视频监控步入了全数字化的网络 时代，称为第三代远程视频监控系统。第三代视频监控系统以网络为 依托，以数字视频的压缩、传输、存储和播放为核心，使监控技术的 发展达到了一个新的高度。 与传统的模拟监控相比，数字监控具有许多优点。 第一，便于计算机处理。由于对视频图像进行了数字化，所以可 电子科技大学硕士学位论文多媒体数字视频监控系统的设计与实现 以充分利用计算机的快速处理能力，对其进行压缩、分析、存储和显 示。通过视频分析，可以及时发现异常情况并进行联动报警，从而实 现无人值守。 第二，适合远距离传输。数字信息抗干扰能力强，不易受传输线 路信号衰减的影响，而且能够进行加密传输，因而可以在数千公里之 外实时监控现场。特别是在现场环境恶劣或不便于直接深入现场的情 况下，数字视频监控能达到亲临现场的效果。即使现场遭到破坏，也 照样能在远处得到现场的真实记录。 第三，便于查找。在传统的模拟监控系统中，当出现问题时需要 花大量时间观看录像带才能找到现场记录；而在数字视频监控系统中， 利用计算机建立的索引，在几分钟内就能找到相应的现场记录。 第四，提高了图像的质量与监控效率。利用计算机可以对不清晰 的图像进行去噪、锐化等处理，通过调整图像大小，借助显示器的高 分辨率，可以观看到清晰的高质量图像。此外，可以在一台显示器上 同时观看1 6 路甚至3 2 路视频图像。 第五，系统易于管理和维护。数字视频监控系统主要由电子设备 组成，集成度高，视频传输可利用有线或无线信道。这样，整个系统 是模块化结构，体积小，易于安装、使用和维护。 正是由于数字视频监控具有传统模拟监控无法比拟的优点，而且 符合当前信息社会中数字化、网络化和智能化的发展趋势。从目前来 看，监控系统正向着前端一体化、视频数字化、监控网络化、系统集 成化的方向发展，而数字化是网络化的前提，网络化又是系统集成化 的基础，所以，最根本的两个特点就是数字化和网络化。 数字化是2 l 世纪的特征，是以信息技术为核心的电子技术发展的 必然，数字化是迈向成长的通行证，随着时代的发展，我们的生存环 境将变得越来越数字化。视频监控系统的数字化首先应该是系统中信 息流( 包括视频、音频、控制等) 从模拟状态转为数字状态，这将彻 底打破“经典闭路电视系统是以摄像机成像技术为中心”的结构，根 本上改变视频监控系统从信息采集、数据处理、传输、系统控制等的 方式和结构形式。信息流的数字化、编码压缩、开放式的协议，使视 频监控系统与安防系统中其它各子系统间实现无缝连接，并在统一的 操作平台上实现管理和控制，这也是系统集成化的含义。 视频监控系统的网络化将意味着系统的结构将由集总式向集散式 系统过渡，集散式系统采用多层分级的结构形式，具有微内核技术的 2 皇王型垫奎堂堡圭兰垡堡壅墨燮堡墼主塑塑些莛墨竺塑塑生量塞銎 实时多任务、多用户、分布式操作系统以实现抢先任务调度算法的快 速响应，组成集散式监控系统的硬件和软件采用标准化、模块化和系 列化的设计，系统设备的配置具有通用性强、开放性好、系统组态灵 活、控制功能完善、数据处理方便、人机界面友好以及系统安装、调 试和维修简单化，系统运行互为热备份，容错可靠等功能。系统的网 络化在某种程度上打破了布控区域和设备扩展的地域和数量界限。系 统网络化将使整个网络系统硬件和软件资源的共享以及任务和负载的 共享，这也是系统集成的一个重要概念。 近年来，数字监控系统在各行各业得到了广泛的应用，生活中有 小区安全监控，电讯行业有机站监控，银行系统有柜员制监控和金库 监控，交通方面有违章和流量监控等等。随着信息化进程的推进，智 能化的数字监控系统已经深入到社会中的各个领域。有效的交通管理 是我国各大都市面临的难题。智能视频交通控制系统能及时提供各路 段的车辆流量和路况信息，记录违章车辆，以便实现准确快速的交通 指挥调度，达到充分利用现有的道路资源，提高突发交通事故的处理 能力，从而为人们的出行提供快捷舒适的交通服务。在当前市场一体 化和经济全球化形势下，企业为了提高竞争能力，纷纷在世界各地建 立分支机构。通过远程视频传输系统，企业管理部门就能随时观察到 其在各地机构的生产、工作状况，与电话汇报相比，既直观真实又方 便快捷。在金融行业，尤其是银行系统，现在也广泛使用数字监控系 统。在大范围内的银行及其各分行、各储蓄所及a t m 取款机、金库等 场所，由于安全性等原因，都大范围的使用了数字监控系统，利用图 像进行本地或者远程的监控。在电信行业，可以使用数字监控系统进 行交换机房、无线机房、动力机房的图像及环境远程监控。在医疗方 面，它可以应用于病房监护、远程监护。在教育方面，可以利用它来 进行教室或考场监控，远程教育等。在安防方面，可以利用数字监控 系统来进行远程监控，如智能化小区的安全保卫，超市、工厂、大型 公共场所的安全保卫等等。此外，在2 0 0 8 年的北京奥运会中，数字视 频监控系统将大放异彩，它将广泛用于智能化的交通调度、现代化的 体育场馆和优雅舒适的奥运村，为参加奥运会的各国朋友在北京的比 赛、游览提供安全舒适的服务。 电子科技大学硕士学位论文多媒体数字视频监控系统的设计与实现 1 2课题来源及意义 由于近年来多媒体技术和计算机网络技术的飞速发展，全新的多 媒体数字视频监控技术的应用己非常广泛。国内近年来也在这方面取 得了大量的成果，研制出了大量以p c 机和计算机网络为核心的多媒体 数字监控产品。 本课题源于四川华易电子科技有限公司与电予科技大学计算机学 院合作研制开发“美视h y 一3 0 1 ”多媒体数字视频监控系统的项目。 本课题的开展，在跟踪国内外先进的计算机网络与多媒体技术的同时， 对于积极开展企业与高校间的产学研结合，推进科研成果产品化的进 程具有积极的意义。同时，本项目的开发完成将直接产生经济和社会 效益。 1 3 课题的内容和任务 本课题的主要内容主要是在现有硬件系统的基础上研究多媒体数 字视频监控的实现方案，并在此基础上设计开发多媒体数字视频监控 系统的软件系统，使其实现以下主要功能：连续录像、硬盘循环检测、 视频文件的存储、云台及镜头的控制、报警以及网络视频传输、网络 分控等功能。最后完成系统的产品化。 本项目中研究与设计的多媒体数字视频监控系统已能基本完成该 监控系统的基本功能。我在这次课题中承担的任务是研究现有的多媒 体数字视频监控技术，在w i n d o w s 操作系统平台上设计多媒体数字视 频监控系统软件系统中的主控模块、硬盘循环检测、云台及镜头的控 制等主要模块。论文对这样几部分的原理进行了深入的研究和剖析， 并在此基础上详细的论述了实现的主要过程。同时，这几个模块与课 题组开发的其他模块进行整合与测试，形成一个功能比较完备的多媒 体数字视频监控系统。 4 电子科技大学硕士学位论文多媒体数字视频监控系统的设计复! 塑 第二章多媒体数字视频监控相关技术基础 2 1 多媒体技术概述 2 1 1 多媒体的概念 由于数字化技术在计算机领域广泛的应用，使电视、广播、录像、 通信技术由传统的连续信号和模拟方式向离散信号和数字化方式转 换。多媒体技术是一种全数字技术，文字、图形、图像、视频、动画、 声音都以数字化形式表示，从而方便了多媒体信息的存储、处理和网 络传输。多媒体技术是以计算机为中心，把语音、图像处理技术和视 昕技术等集成在一起的技术。 2 1 2 多媒体数据的特性与表现形式 在多媒体数据处理中，除了处理常规类型( 如整型、实型等) 外， 还要处理图形、图像、音频、视频等复杂数据类型。多媒体数据主要 有数据量大、数据长度可变、多数据流、数据流的连续记录和检索等 特性。 多媒体信息的主要元素主要包括文本、图形与图像、视频、音频 与动画。 1 文本 文本包含字母、数字、字、词等基本元素。 2 图形与图像 图形与图像是多媒体中的可视元素。 3 视频 静止的图片称为图像，而动态的图像则称为视频，它是多媒体中一 类重要的媒体。 4 音频 音频是指大约在1 5 h z 2 0 0 0 0 h z 的频率范围的连续变化的波形。常 见的音频处理技术有音频采集、语音编解码、语音识别等。 5 动画 动画是采用计算机动画软件创作并生成的一系列可供实时演播的 连续画面。运动的图像( 视频) 和运动的图形( 动画) 由一系列连续 电子科技大学硕士学位论文多媒体数字视频监控系统的设计与实现 显示的画面组成，当把运动图像和运动图形显示到计算机屏幕上时， 它可能占据整个屏幕空间，也可能只占据屏幕的一部分。连续序列中 的每一幅画面称为帧，帧与帧之间的延迟是恒定的。每秒钟显示的帧 数称为帧速率，用帧秒表示。 2 1 3 多媒体关键技术 1 数据存储技术 多媒体数据量较大，因此在介质中所占用的空间也较大，在存储 和传输这些信息时需要很大的空间和时间开销，解决这一问题的关键 即是数据存储技术。硬盘是计算机重要的存储设备。 2 多媒体数据压缩编码与解码技术 数字化视频与音频数据的数据量很大，这将给存储器的存储容量、 通信主干信道的传输率( 带宽) 以及计算机的处理速度带来极大的压 力。解决大数据量存储和传输的有效方法是多媒体数据压缩编码技术。 采用先进的压缩编码算法对数字化的视频和音频信息进行压缩既节省 了存储空间，又提高了通信介质的传输效率，同时也使计算机实时处 理和播放视频、音频信息成为可能。 多媒体数据压缩可分为无损压缩和有损压缩两种形式，也叫无失 真压缩和有失真压缩。无损压缩是压缩后的数据经过解压缩后还原得 到的数据与原始数据相同，不存在任何误差，但压缩率比较低，因此 无损压缩般用来实现对文本和数据的压缩。有损压缩是压缩后的数 据经过解压缩后，还原得到的数据与原始数据之间存在着一定的差异， 由于允许有一定的误差，即在压缩过程中可能会损失掉一部分信息量， 因而可以获得较大的压缩比，常用于对图像、声音、动态视频等信息 的压缩。目前主要的数据压缩标准有j p e g 、m p e g 1 、m p e g 2 、m p e g 4 等。 3 多媒体数据库技术 多媒体数据库除要求处理结构化的数据外，还要求处理大量非结 构化数据。多媒体数据库需要解决的问题主要有：数据模型、数据压 缩还原、数据库操作、浏览及统计查询以及对象的表现。 随着多媒体技术的发展，面向对象技术的成熟以及人工智能技术 的发展，多媒体数据库、面向对象的数据库以及智能化多媒体数据库 的发展越来越迅速，将形成对多媒体数据进行有效管理的新技术。 6 电子科技大学硕士学位论文多媒体数字视频监控系统的设计与实现 3 多媒体网络与通信技术 多媒体通信是一个综合性技术，涉及多媒体、计算机和通信等领 域。多媒体传输涉及到图像、声音和数据等方面，需要完成大数据量 的连续媒体信息的实时传输、时空同步和数据压缩。 4 智能多媒体技术 智能多媒体技术是多媒体技术与人工智能的有机结合，是一种更 加高级的智能计算。 5 多媒体信息检索技术 多媒体信息检索是根据用户的要求，对图形、图像、文本、声音、 动画等多媒体信息进行检索以得到用户所需的信息。基于特征的多媒 体信息检索系统有着广阔的应用前景，它将广泛的应用于电子会议、 远程教学、计算机协同工作等方面。 2 2 视频信号的特性 视频信号具有高分辨率、色彩逼真等特点。视频信号的处理是多 媒体技术的核心。 视频信号的空间特性主要包括水平分辨率、垂直分辨率、有效线 数、纵向分辨率、单位时间内显示的帧数等。水平分辨率是指能再现 黑白相间的垂直线条的数目。垂直分辨率( 总线数) 指一帧中的扫描 线总数。有效线数是指可见的扫描线数目。纵向分辨率指每一场中可 见的扫描线数目。隔行扫描把一帧画面分为两场，主要目的是为了节 省频带、降低行频。 视频信号的时间特性主要是指帧速率。视频信号是连续运动的( 15 f s ) ：要求没有闪烁( 5 0 f s ) 。 2 3 数据压缩 对多媒体信息进行压缩的目的就是减小存储容量和节省传输容 量。 2 3 1 数据压缩原理 2 3 1 1 图像信息压缩的原理 压缩编码的理论基础是信息论。从信息论的角度来看，压缩就是 电子科技大学硕士学位论文多媒体数字视频监控系统的设计与实现 去掉信息中的冗余，也就是用一种更接近信息本质的描述来代替原有 冗余的描述。所以，将香农( c e s h a n n o n ) 的信息论观点运用到图像信 息的压缩，所要解决的问题就是如何将图像信息压缩到最小，但仍携 有足够信息以保证能复制出与原图近似的图像。 图像信息之所以能进行压缩是因为信息本身通常存在较大的冗余 量，如以一个连续画面来说，它的每一帧画面是由若干像素组成的， 因为动态图像通常反映的是一个连续的过程，它的相邻的帧之间存在 着很大的相关性，而一些相似的信息( 或称为冗余信息) 为数据的压 缩提供了基础。此外，由于人的视觉和听觉对某些信号不那么敏感的 生理特性，致使信息被压缩之后还不会发现，也不至于对压缩后的信 息产生误解。 数据压缩可以看成是一种变换，变换的实现方法即编码技术，每 一种编码方法都是实现数据压缩的具体操作，对于不同的多媒体数据， 可以选择采取不同的编码方法。 2 3 1 2 对称压缩与不对称压缩 压缩技术的基本方式有两种：即对称压缩和不对称压缩。在对称 压缩中，压缩的算法和解压缩的算法是一样的，它是一种可逆操作。 对称压缩的优点是双方都以同一种速度进行操作，如在视频会议这种 实时传递的系统便采用了对称压缩技术。 另一种压缩技术是不对称压缩，是指压缩和解压缩的运算速率是 互不相同的。 2 3 1 3 影响数据压缩的几个要素 一个好的压缩算法对多媒体信息的存储和传输是至关重要的，影 响压缩性能的主要指标有： 1 压缩比 对压缩前后的文件大小和数据量进行比较，作为压缩率的衡量指 标。如j p e g 压缩标准的压缩比可达5 0 ：1 。 2 图像质量 虽然有损压缩可以获得较大的压缩比，但压缩比过高，还原后的 图像质量就可能降低。图像质量可以采用客观评估和主观评估两种方 法进行衡量。 客观评估是通过一种具体的算法来统计多媒体数据压缩结果的损 失。主观评估基于人的视觉感知，方法是进行主观测试，让观察者通 过观测一系列恢复图像，并与原图像进行比较，再根据损伤的可见程 电子科技大学硕士学位论文多媒体数字视频监控系统的设计皂璺塑 度进行评级，以判断哪种压缩算法的失真少。 客观评价的方法由于只对恢复图像和原始图像进行纯误差数学统 计，难以反映图像的视觉差别。主观评估的优点就是使人一目了然， 但是主观评判的结果往往和客观评判不是一一对应的，有时结果相差 很大。所以，在图像处理技术和压缩编码技术飞速发展的今天，能够 准确的对图像质量进行客观评估是亟待解决的问题。 3 执行的硬件与软件 采用什么样的硬件与软件去执行压缩t * 压缩，与采用压缩方案和 算法的复杂程度有着密切的关系。设计复杂的算法需要在功能强大的 硬件和软件的支持下运行，但仅靠算法来提高压缩解压缩的速度还是 有限的，在多数情况下，需要依靠硬件本身提供的功能去完成。 2 3 2 数据压缩标准 视频压缩算法有多个标准，其中一个重要标准是m p e g ( m o t i o n p i c t u r ee x p e r t sg r o u p ) 系列，它是i s o 组织1 9 8 8 年成立的运动图像专 家组( 负责运动图像及其伴音的编码标准制定工作) 于1 9 9 0 年制定出标 准草案，并于1 9 9 1 年成为国际标准。现已推出了m p e g - 1 、m p e g 2 、 m p e g 4 等标准。 其中m p e g 1 是以约1 5 m b s 的速度传输电视质量的视频信号， 这个标准主要是针对具有这种数据传输率的c d r o m 和网络而开发 的，用于在c d r o m 上存储数字视频和在网络上传输数字视频。 m p e g 2 是m p e g 1 的扩充，它增加了许多新的功能，是个直 接与数字电视广播有关的高质量图像和声音的编码标准。m p e g 2 要达 到的最基本目标是位速率为4 9 m b p s ，最高达15 m b p s 。 m p e g 1 和m p e g 2 的应用主要是针对中高比特率，而m p e g 4 是一个数据速率很低的多媒体通信标准，特别是6 4 k b p s 下的音频视频 压缩，这是为了在标准电话线上传送可视电话。m p e g 4 支持的应用包 括：因特网多媒体应用、实时可视通信。例如可视电话、会议电视等； 交互式存储媒体应用，广播电视，远程视频监控等。 m p e g - 2 、m p e g - 4 与m p e g l 相比，可以达到更好的效果，但 是考虑到成本、技术的成熟性以及其他方面的因素，在本系统中我们 选用硬件实现的m p e g 一1 压缩标准。采用m p e g 1 标准压缩后的数据 9 电子科技大学硕士学位论文多媒体数字视频监控系统的设计与实现 量大约为1 5 m b p s 左右大大减少了数据量。 2 4 多媒体视频信息处理 2 4 1 视频处理 在多媒体技术中，视频处理一般是指借助于一系列相关的硬件( 如 视频卡) 和软件，在计算机上对输入的视频信号进行接收、采集、传输、 压缩、存储、编辑、显示、回放等多种处理。 计算机要处理视频信息，首先要解决的是将模拟视频信号转换为 数字视频信号。计算机需要对输入的模拟视频信息进行采样和量化， 并经过编码使其变成数字化图像。 图像采样就是将二维空间上模拟的连续亮度( 即灰度) 或色彩信 息，转化为一系列有限的离散数值来表示。由于图像是一种二维信息， 所以具体的做法就是对连续图像在水平方向和垂直方向等间隔的分割 成矩形网状结构，所形成的矩形微小区域，称之为像素。被分割的图 像若水平方向有m 个间隔，垂直方向有n 个间隔，则一幅视频画面就 被表示成m 砗：n 个像素构成的离散像素的集合。m * n 表示图像的分辨率 在进行采样时，采样点间隔的选取是一个非常重要的问题，它决 定了采样后的图像是否能真实的反映原图像的程度。一般说来，原图 像中的画面越复杂，色彩越丰富，则采样间隔应越小。 采样后得到的亮度值( 或色彩值) 在取值空间上仍然是连续值。把 采样后所得到的这些连续量表示的像素值离散化为整数值的操作叫量 化。图像量化实际上就是将图像采样后的样本值的范围分为有限多个 段，把落入某段中的所有样本值用同一值表示，是用有限的离散数值 量来代替无限的连续模拟量的一种映射操作。在量化时所确定的离散 取值个数称为量化级数，为表示量化的色彩值( 或亮度值) 所需的二进 制数位称为量化字长。一般可用8 b i t 、1 6 b i t 、2 4 b i t 或更高的量化字 长来表示图像的颜色。量化字长越长，则越能反映原有图像的颜色， 但得到的数字图像的容量也越大。 在多媒体系统中，视频信号的采样和量化是通过视频卡对输入的 画面进行采集和捕获，并在相应的软件支持下完成的。画面采集可分 为单幅画面采集和多幅动态画面连续采集。单幅画面采集时，用户可 1 0 电子科技大学硕士学位论文多媒体数字埋塑! 堕墼墨堡塑堡丛! i 塑里 将输入的视频信息定格，然后将定格后的单幅画面以图形文件格式加 以存储。为得到活动的视频画面，要进行连续采集，视频卡可以对视 频信号源输入的视频信号进行实时、动态的捕获和压缩，可以每秒2 5 帧到3 0 帧的采样速度对视频加以采样和量化。 视频信号经数字化后，需要将数字化信息压缩后加以存储。在使 用时，再将数字化信息从介质中读出，还原成图像信号加以输出。作 为一个完整的信息表示，有时视频信息还需要与音频信息同步播放， 这就需要将视频信号与音频信号按某种格式组织起来，在播放时实现 二者的同步。 在多媒体的应用领域中，由于数字化的图像资料信息数据过于庞 大，面临图像数据存储和传输的困难。因此视频技术一直是多媒体技 术中比较困难的部分。在多媒体系统中，动态视频图像不仅需要巨大 的存储容量，而且对传输速度也有很高的要求，视频信号的采集、存 储、显示、传输都要涉及到庞大的数据，而现有的计算机由于存储容 量和处理速度有限，从而成为视频处理的瓶颈。一个有效的方法就是 对图像进行压缩处理，在视频信号采集的同时对其进行压缩处理，然 后再存储起来，在播放时先进行解压缩，然后再输出。 2 4 2 视频采集卡 视频采集卡( m o t i o nv i d e oc a p t u r e ) 也称为视频捕获卡，它的主要 功能是对输入的模拟视频进行采样、量化后转换为数字图像文件。采 集的模拟视频信号源可以是录像机、摄像机、电视机等，使原来保存 在介质上的图像通过视频采集卡转录到计算机内部，利用摄像机也可 以将现场的图像实时的输入计算机。某些视频采集卡提供了硬件压缩 功能，它使用专用芯片对视频帧进行数字化压缩，可以成功的对每秒 3 0 帧、全屏幕、全活动的视频图像进行数字化处理，这些数据在播放 时在被解压缩。 2 4 2 1 视频采集卡的工作过程 视频采集卡是一个安装在计算机扩展槽上的一个硬卡。它可以汇 集多种视频信号源的信息，如电视、录像机( v c r ) 、摄像机的视频信息， 对被捕获和采集到的画面进行数字化、存储、输出及其他处理操作， 如编辑、缩放等。 图2 一l 为视频采集卡的功能模块图。视频卡一般有多种视频接口， 电子科技大学硕士学位论文多媒体数字视频监控系统的设计与窒现 可接收来自摄像机、录像机等多种视频信号，通过视频软件可选择所 需的视频源。 r h i 显示器i if l八 j ”i f 视频o5 k = = = = = 刘 厂节 。、 视频源 巷由蒂 荽j f 视频15 一一旁选择 k = = = e z d n! i 视频2 ： “ v p c 总线 ，守、 图2 - i 视频采集卡的工作原理图 从摄像机、录像机或其他视频信号源得到的是彩色电视信号，视 频源信号首先经过a d 转换，然后送到多制式数字解码器。视频解码 器( a d c ) 是一个模数转换器，其任务是对视频信号解码和数字化。 经解码后得到的视频信号被送入视频处理芯片，对其进行剪裁等 处理。视频信息可实时的存到v r a m ( 帧存储器) 中，计算机可以通过视 频处理器对帧存储器的内容进行读写操作，帧存储器的视频像素信息 读到计算机后，通过编程可以通过各种算法完成视频图像的编辑与处 理。 视频输出的r g b 信号与v g a 显示卡引过来的r g b 信号是完全同步 的，用适当的方法交替切换两路信号，即可实现两路输出的叠加。通 过上述两种方式得到的r g b 信号经过d a c 变成模拟信号，并在显示器 的窗口中显示。 由于视频信息量大，如果直接存储，会占用大量的存储空间。所 以视频卡又提供了对视频数字信号的压缩功能，并以压缩的图像文件 格式进行存储。当在计算机上播放视频图像时还得经过解压缩过程， 皇三型垫查兰堡主堂垡笙壅垒堡签塑! 塑塑些塑墨堕塑垦盐兰壅墨 一一 使其还原成图像信息才能播放。 2 4 2 2 视频采集卡的性畿指标 1 输入输出接口 一般而言，有单工卡和双工卡。单工卡只提供视频输入接口，双 工卡还提供输出接口。 2 声音处理 如果视频采集卡只提供视频接口，在捕捉过程中需要一块单独的 声卡来录制声音。 3 捕捉画面的大小 视频采集卡在捕捉连续影像画面时，不一定是抓取全屏幕的图像， 而是在一个指定窗口中捕捉窗口中的连续影像以限定摘取画面的大 小，因为全屏幕图像的信息量太大，所以，在进行动态视频捕捉的同 时要同步的进行数据压缩。 4 捕捉像素的多少 为了获得更佳的效果，需要分辨率较高的视频采集卡，同时，高 分辨率的录像生成的文件较大，需要占用更大的内存空间。 6 捕捉的速率 大多数低端视频捕获卡可以满足不同的分辨率，最多可达3 0 帧 秒，这是在电视机上重播时有平滑视感的最佳速度。如果以低一些的 速度捕获，文件长度会小一些，但是画面会出现抖动。所以不要选择 捕捉速度低于3 0 帧秒的捕获卡。 7 计算机处理能力 由于视频处理的数据量巨大，所以对计算机硬件有一定的要求。 当视频源以正常的速度自动播放时，视频捕捉软件就以一定的帧速率 连续不断的捕捉视频。在这种捕捉方式下，当下一帧视频到来之前， 视频卡要把当前帧的影像复制下来并传输到硬盘，而计算机要对其进 行处理加工。因此在这种方式下，需要较快的c p u 速度和硬盘速度， 否则就会出现掉帧及图像漂移现象。 2 4 3 视频文件一m p g 文件 将m p e g 算法用于压缩全运动视频图像，就可以生成全屏幕活动视 频标准文件一m p g 文件。m p g 格式文件在l0 2 4 * 7 6 8 的分辨率下可以用 每秒2 5 帧( 或3 0 帧) 的速率同步播放全运动视频图像，并且其文件大 电子科技大学硕士学位论文多媒体数字视频监控系统的设计与实现 小仅为a v i 视频文件的1 6 。m p e g 一2 压缩技术采用了可变速率 ( v a r i a b l eb i tr a t e ，v b r ) 技术，能够根据动态画面的复杂程度，适时 改变数据传输率以获得较好的编码效果。 2 5 多媒体信息传输 2 5 1 多媒体网络技术 多媒体网络o t u l t i m e d i an e t w o r k ) 是可以综合、集成的运行多种 媒体数据的计算机网络、网络上的任意结点都可共享运行于其中的多 媒体信息，可对多媒体数据进行获取、存储、处理、传输等操作。多 媒体网络具有一体化的多媒体服务、交互性、同步性、低时延、多方 通信等基本特征。 多媒体网络技术的技术基础包括多媒体网络环境、多媒体信息的 传输机制、多媒体数据压缩技术和多媒体网络结点( 主要是多媒体网络 终端系统) 。 2 5 1 1 多媒体网络环境 多媒体网络是一个端到端的、能提供多媒体性能服务的网络，它 由多媒体终端、多媒体接入网络、多媒体传输骨干网络以及能够满足 多媒体网络化应用的网络软件等四个部分组成。 首先，多媒体终端通常也称为多媒体计算机，它是一个能实时处 理多种多媒体信息的终端设备。其次，要实现全程的多媒体网络服务， 其中多媒体接入网是一个重要的环节。第三方瑶是对多媒体传输骨干 网的建设。 因为多媒体网络具有集成性、交互性、同步性、实时性等特性， 而且传输和处理的数据量又特别庞大，这就决定了多媒体网络技术对 网络环境具有特殊的要求。首先要求很高的带宽，这是由两方面的要 求决定的，一方面，多媒体中的图像、音频、视频媒体都涉及臣量的 数据，所以多媒体网络通信的数据量极大；另一方面，多媒体网络要 能同步、实时的传输与时间相关性强的音、视频媒体。其次是等时服 务( i s o c h r o n o u ss e r v ic e ) ，多媒体网络的实时性要求它能满足等时服 务，以保证网络延迟尽可能小。 1 4 电子科技大学硕士学位论文多媒体数字视频监控系统的设计与实现 2 5 1 2 多媒体信息传输机制 多媒体服务器模型的基础是客户机服务器( c s ) 模式。c s 是通 过相对应的两个独立程序来完成的，一个程序运行在服务器上，提供 特定资源：另一个程序运行在客户机中，它使客户机能够访问服务器 上的资源。这种网络运行的模式称为客户机朋臣务器( c s ) 模式。c s 模型可与o s i r m 结合使用，多媒体服务器提供对多媒体信息的存储与 检索操作，其要点是集成到网络中的多媒体信息的传输。 通信服务质量( q o s ，q u a l i t yo fs e r v i c e ) 是对多媒体网络效果的主要 表示参数，主要用于描述通信双方的传输质量，基本参数有系统吞吐 率、网络传输稳定性、可用性、可靠性、传输延迟、出错率、传输失 败率、安全性等。 2 5 2 多媒体通信的特点 2 5 2 1 多媒体通信的相关因素 多媒体网络系统的功能是允许在计算机之间交换离散媒体数据和 连续媒体数据，因此需要网络提供与此相应的服务和协议。 多媒体通信对网络系统的服务及协议有若干特殊的要求，这些要 求由具体应用所决定： 在处理音频或视频数据时，有截止时间的限制，甚至受到时间 间隔的限制。 “服务“必须在不同的数据流间提供同步机制，或者使用系统 中其他部件提供的原语来实现同步。 多媒体通信必须与现有的广泛使用的通信协议保持兼容。 由于实际视频音频数据的速率变化很大，所以网络提供的服 务必须能对此进行处理。 2 5 2 2 多媒体通信的特点 1 多样性。不同类型的媒体数据对于通信网络的性能和服务有不 同的要求。 2 高带宽。数据量大，连续性要求高。 3 高速率( 低延时) 。 4 同步性。一次传输多种媒体( 如音频+ 视频) 应保持多种媒体传输 的正确性。 电子科技大学硕士学位论文多媒体数字视频监控系统的设计与实现 2 5 3 实时传输协议r t p 及r t c p 实时传输协议r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是 n t e r n e t 针对多 媒体数据流的一种实时传输协议，能为具有实时特性的数据( 例如交互 的音频和视频数据) 提供端到端的数据传输服务。由于在t c p 协议的数 据传输中采用等待确认和错误重发机制，它所产生的时延对于实时视 频和音频来说是无法忍受的，因此r t p 是基于u d p i p 网络设计的。 i 盯