（检测技术与自动化装置专业论文）基于mpeg4的网络视频监控系统（服务器端）.pdf

摘要 本文以m p e gs o f t w a r es i m u l a t i o ng r o u p 提供的m p e g 一4 算法为基础，选用大恒公 司的d h - m p g e 2 0 0 图像采集卡为硬件平台，对如何实现基于m p e g 一4 的视频监控服务 器进行了较深入的研究，在此基础之上，完成了视频数据的聚集和m p e g 一4 编码。 文章叙述了视频监控的现状和发展历程，对目前= f 要产品的市场玑状和监控系统所 涉及的领域做了介绍。在分析目日口监控系统的发展和研究现状的基础上，选择m p e g 一4 柬作为网络视频监控系统的视频压缩方法。文章详细介绍了常用的视频编码技术，并对 当前的一些视频编码标准作了较详细的介绍。 针对m p e g 4 标准，文章详细的叙述了m p e g 4 标准的构成，同时对m p e g - 4 编 码的天键技术如视频对象的提取技术、v o p 视频编码技术和视频编码可分级技术等和 m p e g 一4 视频编码中的基本知识( 包括帧结构、帧场的预测方式、各种编码方法) 作了 细致的分析介绍。 本课题的软件设计分为2 大部分，视频采集和视频编码，文章对两部分的软件实现 都进行了洋细的分析。在视频编码算法上，本文就编码器中的关键部分- 运动估计，在 研究传统运动估计算法的基础上，结合其他自适应搜索算法的优点，对运动估计这部分 进行了改进：根据视频图像的中心偏置特性，加入了搜索起点和搜索模式的判断。经初 步试验统计，这算法的平均搜索速度较全搜索法有较大的提高，而搜索精度与全搜索法 相当。 本系统实现了对视频数据的采集，编码( m p e g 一4 ) ，检索回放等视频服务器的基 本功能。 关键词：网络视频监控，m p e g - 4 ，编码，运动估计 t h e d e s i g n o fn e tv i d e om o n i t o r s y s t e m b a s e do nm p e g 一4 ( s e r v e rp a r t ) a b s t r a c t t h ea r t i c l eb a s i co n p a r t so f t h em p e g - 4 a r i t h m e t i cp r o v i d e d b ym p e g s o f t w a r e s i m u l a t i o n g r o u p ，c h o o s ed a h e n g - i m a g eg r o u p sd h m p g e 2 0 0 v i d e oc a p t u r ec a r da s h a r d w a r e p l a t l b r m ，d e e p l yr e s e a r c h e d o nh o wt oi m p l e m e n tn e tv i d e om o n i t o rs e r v e rb a s e do n m p e g - 4b a s e do dt h e s e ，v i d e od a t a a c q u i m ：g a n de n c o d i n ga r ea c c o m p l i s h e db yt h i ss y s t e m t h i sp a p e rc o m p r i s e st h ee v o h a i o no f v i d e om o n i t o r h a gs y s t e m ，d o m i n a t i n gp r o d u c to i l c u r r e n tm a r k e la n dr e l a t e dr e s e a r c ha r e a s t h i sr e s e a r c hp r o j e c ti sp r o p o s e db a s eo nt h es t u d o n t h el a t e s td e v e l o p m e n t s & v i d e om o n i t o r i n gs y s t e ma n dt h ec o n d i t i o n so f t h el a b o r a t o r y i nt h i s p a p e r ，v i d e oe n c o d i n gt e c h n i q u e s i nc o m m o nu s ea n dt h em a j o rs t a n d a r d so f v i d e oe n c o d i n g a r e p r e s e n t e di n & t a i l w ea i m e da tt h em p e g 4s t a n d a r d ，d e t a i l e dd e p i c t i o nt h es t r u c t u r eo f m p e g 一4 ，a tt h e s a m et i m e ，v o p i c k u p ，v o pe n c o d i n g ，v i d e oe n c o d i n g s c a l a b i l i t yo f t h ek e yt e c h n o l o g y a n d s o m eb a s i ct e c l m o l o g yo f m p e g 一4e n c o d i n gh a v eb e e na n a l y z e d t h es o f t w a r ei n c l u d e st w o p a r t s ：o n e i sv i d e o a c q u i r i n g ，t h e o t h e ri sv i d e oe n c o d i n g b o t h o f t h e mh a v eb e e na n a l y z e di nd e t a i l o nm e b a s i so f s m d y i n gt r a d i t i o n a lm o t i o ne s t i m a t i o na n d c o m b i n i n g o t h e rm o t i o ne s t i m a t i o n sv i r t u e ，t h ep a p e r h a s i m p r o v e d t h ea d a p t i v es e a r c h a l g o r i t h m f o rf a s tm o t i o ne s t i m a t i o n a c c o r d i n gt ot h ec e n t e rb i a s e dc h a r a c t e ro f t h e v i d e o p i c t u r e ，w ei m p r o v e t h et r a d i t i o n a ld i a m o n ds e a r c ha l g o r i t h m st ot h ea d a p t i v es e a r c ha l g o r i t h m f o rf 瓠tm o t i o ne s t i m a t i o n ，t h o s ei m p r o v e m e n t si n c l u d e t h ei n i t i a ls e a r c hp o i n ta n d a d a p t i v e s e a r c hm o d e st b rt h ev i d e os e q u e n c e sw i t hd i f f e r e n tm o t i o n e x p e r i m e n t a c c o u n t st h a tt h e a v e r a g es e a r c hs p e e do f t h i se s t i m a t i n ga l g o r i t h m si sa b o u t f i v et i m e so f t h ef u l ls e a r c h a l g o r i t h m ，b u th a sc o m p a r a b l e s e a r c ha c c u r a c yw i t h i t t h ek i s i c m c t i 。n so f v i d e om o n i t o r i n gs y s t e m ，i n c l u d i n g v i d e od a t aa c q u i r i n g ，e n c o d i n g ( m p e g - 4 ) ，s e a r c h i n g a n d p l a y i n g b a c ka r ea c c o m p l i s h e db yt h i ss y s t e m k e y w o r d s ：n e tv i d e om o n i t o r ，m p e g - 4 , e n c o d i n g , m o t i o n e s t i m a t i o n i l 北方工业大学 v 7 5 2 7 0 2 叠歪壶五垦 学科 学科带头人( 签字)挞 埘j 年6 月f 申日 学位论文任务书 研究生：张志芳 扭鱼兰猩 学院 捡型遮苤壁自动些菱重 专业 过篁扭廑旦 研究方向 论文题目： 基士婴! 鱼二4 的圃终视麴些控丕统班! 月匿釜矍叠筮 选题的来源、意义和价值：奎遂墅塞邃壬j t 麦圣些盍堂重盘塞整窒型婴逯壁：些撞 丕堡垄銮通：堡堑! 堡塞笠众墨过窒全塞塞直煎塑撼直i 基亡适的廑旦! 皇迪e 堡：! 塑 丛e g ：2 簦墓宣缉鱼左洼趋出! 丛里垦鱼：! 缠盟县直夏直的匡缩壅塑基王理题盟复鲍绳 璺笠垡壶! 鉴迦e g ：g 廛旦王堕撞丕筮! 差酲金担查的囝缝篮捡捷鲞! 焦役奎皇婴塞 的丞笪县直二定塞眉俭笪塑叁鲞童竖! 学位论文工作自 ! q ! ! 年 ! ! 月 至2 0 0 5年6月 呈交学位论文日期! ! q j 年月 答辩日期! ! ! ! 年!月! ! 日 0 1 日起 日止 日 导师( 签字) ：毒事 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研 究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得j b 友王些太堂或其他教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示谢意。 学位论文作者签名：扼杰夕势签字日期：百萍6 月i 媚 学位论文版权使用授权书 本学位论文作者完全了解j e 友王、业盍堂有关保留、使用学位论文的规定，有 权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借 阅。本人授权j e 直王、业盍堂可以将学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：诛拓芳 签字日期：商年6 月卵 学位论文作者毕业后去向：、。 工作单位：咖泰1 吵求曙 通讯地址： 导师繇李喜“ 签字日期潍年月c 日 电话： 邮编： 北方t 业大学硕士学位论文 引言 随着信息科学的发展，网络日益变得重要，而通过网络传输数字化的多媒体信息逐 渐成为自动化领域的一项重要技术。 近几年来，电视电话、会议电视、图像监控等各种多媒体业务像雨后春笋般的发展 起来。其中图像监控是现代管理、控制的重要手段之一，它以其直观、方便、信息内容 丰富而被应用于众多领域。在计算机、电了技术和通信技术迅猛发展的过程中，监控系 统的技术水平也从初期的模拟信息传输与控制发展到数字化、网络化信息传输与控制。 网络化的多媒体监控系统集图像压缩技术、视频技术和网络传输于一体，代表了监控技 术的发展趋势。 随着数字视频压缩、计算机和数字通信技术的迅猛发展，使数字图像监控系统的实 现成为可能。它可以利用公共电信网( 如p s t n ，d d n ，i s d n 等) 、计算机网络( 如l a n ， w a n 等1 为其传输媒介，毋需铺设专门线路，节省了丈量开支，同时使用多媒体数据管 理图像纪录，不仅简化了管理工作，而且检索速度也大大提高，具有模拟系统无法比拟 的优势，是当前图像监控领域开发与研究的热点，因此视频监控系统以其直观、方便、 信息内容详实被广泛应用于生产管理、保安监控等场合，是安全防范的重要手段之。 然而数字化的多媒体信息尤其是视频信息具有海量数据性，这对信息存储设备及通 信网络均提出了很高要求，从而成为阻碍人们有效获取和使用信息的重大瓶颈，因此必 须对视频数据进行压缩方能有效地存储和传输。在目前的图像压缩系统中，m p g e - 4 以 其高压缩率，灵活的存取和基于内容的交互性等特点，成为视频控系统中编码方式良好 选择和发展方向。 本文以m p e gs o f t w a r es i m u l a t i o ng r o u p 提供的m p e g 4 部分实现源码为基础，选 用大恒公司的d h m p g e 2 0 0 图像采集卡为硬件平台，实现了监控系统的服务器部分的 软件设计，并对视频压缩算法进行了些改进。 ：i l ；自- i 业大学硕士学位论文 第一章绪论 1 1 视频监控系统的现状和发展前景m 科技的进步和技术的运用的一个主要目的就是为了扩展或延伸人类自身的能力。眼 观八路、耳听四方、放眼千里、过目不望，这一直是人们的梦想。随着数字技术、计算 机技术、通信技术、网络技术的发展和普及应用，人类对视听觉能力扩展的梦想己逐步 变为现实 视频监控系统使人类这梦想逐步变为现实。随着计算机技术的完善普及，基于 t c p 口协议的网络广泛普及，高速宽带主干网的建成以及高速接入网的迅速发展，视 频监控技术步入了一个更高的境界，即数字化、网络化、模块化。 1 1 1 视频监控发展历程 随着社会发展，技术进步，视频监控技术应用越来越广，2 0 0 3 年，由于s a r s 影 响，网络视频监控的发展更加令人关注，总的来看，视频监控的发展大致经历了以下三 个阶段。 第一阶段：七十年代末至九十年代中期，这个阶段以闭路电视监控系统为主，也就 是第一代模拟电视监控系统。其传输媒介为视频线缆。由控制主机进行模拟处理。主要 应用于银行、政府机关等高档场所。 第二阶段，九十年代中期至九十年代末，以基于p c 机插卡式的视频监控系统为 主，此阶段也被业内人士称为半数字时代。其传输媒介依然是视频线缆。由多媒体控制 主机或硬盘录像主机( d v r ) 进行数字处理与存贮。此阶段的应用也多限于对安全程度 要求较高的场所。 第三阶段，九十年代末至今，以嵌入式技术为依托，以网络、通信技术为平台，以 智能图像分析为特色的网络视频监控系统为主，自此，网络视频监控的发展也进入了数 字时代。网络视频监控的应用不再局限于安全防护，逐渐也被用于远程办公、远程医 疗、远程教学等领域。 1 1 2 网络视频监控摄况与优势 网络视频监控系统广泛采用了计算机、网络、通信、编解码等技术，它具有更高 的灵活性与可拓展性。近几年来由于网络视频设备的优越性，其发展速度很快，据有 北方工业大学硕士学位论文 关资料显示，2 0 0 7 年全球在网络视频产品的投入将会超过9 8 亿美元，每年增长达 2 2 ，其中网络视频方面的服务性收入也将上升到1 0 亿美元。 与传统的视频监控系统相比，网络视频监控的优点主要表现在阱下几个方面： 1 ) 网络视频监控系统适用于任何支持t c p i p 的网络，可利用现有局域网、广域 网、互联网实现视频或音视频传输，减少了线材用量，节约成本，同时也解 决了一些应用场所不宜重新布线的问题； 网络视频监控系统突破了地域限制，实现了远程监控功能，在无人职守、监 控点分散的区域更具优势； 3 1 网络视频监控系统可以实现多点对多点监控，即可多人同时监控多个点的互 联互通。 4 1 网络监控系统还有便于访问的优点，只要有访问权限，通过i n t e r n e t 浏览 器就可以对监控点进行监控。 1 1 3 影响网络视频监控发展的因素及其发展状况。1 网络视频监控快速发展的同时，有些因素也在制约或影响着它的发展。这些因素 很多，归纳起来主要表现为以下几点： 1 视频压缩技术 网络视频监控技术发展的关键是视频压缩技术。目前在网络视频监控领域应用到 的视频压缩技术主要是m 。j p e g 、m p g e - 4 与h 2 6 4 。 m 。j p e g 压缩技术，主要是基于静态视频压缩发展起来的技术，基本不考虑视频 流中不同帧之间的变化，只单独对某一帧进行压缩。优势是可以获取清晰度很高的视 频图像，并可灵活设置每路视频清晰度、压缩帧数。劣势是受处理速度所限，无法完 成实时压缩，丢帧现象比较严重，单帧视频占用空间较大。 近两年，m p e g - 4 压缩技术的发展一直倍受业界关注，2 0 0 0 年年初由m p e g 专家 组公布的m p e g 一4 v 2 0 版本已正式成为国际标准。这种压缩方式保有极佳的音质和画 质，压缩率可超过1 0 0 倍；并且满足了低码率应用的需求，可利用较少的数据，获取 最佳的图像质量。更适合于远程监控。 由r r u - t 和m p e g 联合开发的新标准h 2 6 4 ，引入了面向碑包的编码机制，有利 于网络中的分组传输，支持网络中视频的流媒体传输，比h 2 6 3 和m p e g 一4 节约了 5 0 的码率，具有更高的压缩比和更好的信道适应性。 2 北方工业大学硕士学位论文 除以上几种技术外，还处于探索阶段的，比较受业界关注的视频压缩技术是 m p e g 7 与m p e g 一2 1 。m p e g - 7 可对大量的图像、声音信息进行管理和迅速搜索。 m p e g 一2 1 由m p e g 一7 发展而来，据有关消息，m p e g - 2 1 主要规定数字节目的网上实时 交换协议。就目前来说，2 0 0 4 年网络视频监控产品的压缩方式主要表现为m p e g - 4 与 h 2 6 4 。 虽然网络视频监控企业在不断的寻求更好的视频压缩传输方式，但到目前为止， 网络视频传输的实时性仍不是太令人满意，用户期待更好的产品出现。 2 网络普及程度 。 压缩技术的发展是影响网络视频监控发展的关键因素，除此之外，由于网络远程 传输主要通过局域网、广域网、互联网来实现视频或音视频传输，所以网络的普及对 网络视频监控的发展也很重要。目前我国网络视频监控发展的基础条件在不断提高， 随着网络的普及，网络视频监控应用前景也越来越广。 3 网络视频监控产品价格 我国市场对价格一向比较敏感，虽然随着技术的发展进步，有些网络视频监控产 品已调低了价格，但很多采购商还是表示价产品格偏高，尤其是在西南地区。由于西 南地区经济发展慢一些，网络普及程度相对落后一些，受价格因素影响程度也相对大 些。 1 1 4 主要产品市场现状 网络视频监控主要由三部分构成：网络视频前端监控设备、系统服务和管理设 备、网络用户终端。网络视频前端监控设备主要包括数据采集产品、网络视频编码器 和网络链路，系统服务和管理设备主要指视频服务器，用户终端设备主要指视频解码 器与图像显示设备。就目前来说，最具代表性，也最令人关注的网络视频监控产品是 网络摄像机、视频服务器以及带网络功能的硬盘录像机。 1 网络摄像机 网络摄像机也称p 摄像机，出现于二十世纪末，它内置了w e bs e r v e r 、c c d 及d s p 芯片，可以将模拟视频信号转化成符合网络传输协议的数据流，通过网络实现 远程图像监控。由于安装使用方便，随着网络与计算机技术的飞速发展，以及宽带日 益普及的情况下，经过近几年的发展，得到了大部分业内人士的认同，p 摄像机2 0 0 4 年的用量约占到了监控市场摄像机总嶷的4 。有5 1 4 的商家看好母网络摄像机的发 展。 ! ! 查三些盔堂堡主堂焦堡苎 从抽样调查看，目前口摄像机占主流的压缩方式是h 2 6 3 、m - j p e g 与m p e g 4 。 其中采用h 2 6 3 压缩方式的占2 9 2 ，m - j p e g 占2 5 o ，m p e g 4 占2 0 8 。 2 视频服务器 视频服务器在网络视频监控中的发展比婵摄像机稍晚一些。它是通过网络实时传 输动态图像和音频数据的设备。它与网络摄像机一样可将模拟视音频信号转化成符合 网络传输协议的数据流。将普通摄像机连接到网络视频服务器后再接入网络，就可以 实现远程图像监控。据调查，看好视频服务器产品发展的商家比例约为3 4 5 。 根据慧聪行业研究院安防研究所2 0 0 4 年2 月对视频服务器市场的调查，视频服务 器压缩方式主要是m p e g - 4 和m j p e g 两种方式。其中，7 4 + 4 的视频服务器品牌采用 m p e g - 4 的压缩方式，1 3 3 的品牌采用m j p e g 压缩，采用h 2 6 4 压缩方式的品牌较 少。目前，网络视频服务器主要应用于智能建筑、金融系统、工厂企业与政府机关。 3 带网络功能的硬盘录像机 2 0 0 4 年带网络功能的硬盘录像机( d v r ) 约占整个硬盘录像机市场的8 0 ，在这 些带网络功能的摄像机中，工程中真正应用到网络功能进行远程监控的大概有5 0 ， 带网络功能的硬盘录像机已成为网络视频监控市场的主流产品之一。大部分商家认 为，硬盘录像机加网络功能是d v r 发展的必然趋势。 据调查在工程中应用到网络功能的硬盘录像机，采用h 2 6 4 压缩方式的占5 5 6 ， 其次是m p e g 4 ，所占比例为3 8 0 。其它几种压缩方式比例均不大。 其主要应用领域是智能建筑、金融系统与工厂企业。 以上三种产品是近几年来网络监控市场上倍受关注的产品，三者各区别在哪里 昵? 部分业内人士简单归结如下：网络摄像机集镜头与网络视频服务器于一体，安装 使用方便，即插即用。视频服务器可连接普通摄像机，应用上灵活一些，产品开发周 期比较长。带网络功能的硬盘录像机在存储方面比较有优势，远端访问用户可以调用 被记录下来的资料。网络摄像机与视频服务器也可以实现存储功能，不过要软件支 持。 除以上几种产品外，需要补充的一点是，视频监控软件也是网络视频监控的重要 组成部分，它是把产品组成系统的纽带，但目前单独做软件的企业不是很多，在软件 方面客户的要求主要是界面友好，安全性高，通用性好，并具有可拓展性，易于升 级。 4 北方工业大学硕士学位论文 1 1 5 网络视频监控涉及的应用领域与用途 目前网络监控工程涉及应用领域主要是金融系统、智能建筑、政府机关与道路交 通。 金融系统各营业网点比较分散，部门较多，从协调各营业网点之间的工作、节约 成本出发，建立一个安全、高效、先进的远程网络监控体系成为发展趋势。 随着社会经济的发展，各地智能小区、智能大厦等发展迅速，人们经济收入增 长，对居住环境的要求也越来越高，极大促进了建筑智能化市场的发展，网络视频监 控已成为建筑5 a 智能化的必要组成部分。政府机关各机构分散于全国各地，每年的会 议及其他差旅费用相当高，网络视频监控在政府机关方面主要应用为视频会议。 道路交通建设属于国家基础设施建设，由于我国经济的快速发展，交通问题也越 来越突出，据有关资料显示，未来6 年中，我国每年将投入约4 0 0 0 亿元用于道路交通 建设，其中至少1 0 用于完善智能交通系统。道路交通行业由于监控点空间分布比较 散，政府对基础设施建设的重视，为网络远程监控的应用提供了很大空间。 同时网络视频监控工程主要用途己不单是保安监控，视频会议、远程教学、网络 视频聊天、电子商务网上演示等用途也得到比较迅速的发展。 1 2 课题的意义 在如今高度自动化的生活中，安全问题成了第一难事。这需要监督人员时时地在 监控，每时每刻的掌握最新的数据，可监督人员又不可能在现场监控，这时就必须依 靠视频监控系统的帮助，视频监控系统的性能好坏也就直接影响到“安全”这个大问 题。 随着各种新型安保观念的引入，社会各部门、各行业及居民小区纷纷建立起了各 自独立的监控系统或报警系统。建立和不断完善安防系统，对保护人员和设备安全、 提高生产和管理效率、预防和制止犯罪、维护社会经济稳定起到了重要作用。网络通 讯技术及图像压缩处理技术的进步，使远程视频监控及联网报警系统得到很大的发 展。因此，研究高压缩率的网络视频监控系统具有较深的现实意义。 1 3 系统总体介绍 目前，监控方面的产品已经广泛的被应用在小区、超市、校园、机关、高等病 房企业、煤矿项目、酒店和宾馆等领域。给人们的生产和生活带来了更多的安全和 便捷。 北方工业大学硕士学位论文 本系统的主要目的是完成一个小型的网络监控系统，经过比较目前主流的三种网络 监控产品：网络摄像机、视频服务器以及硬盘录像机并结合我们实验室的具体情况，决 定采用视频服务器作为研究的对象。其中本课题的关键技术包括m p e g - 4 的编码和视频 数据的网络传输。 本系统基于客户机，服务器模型，由视频采集端、监控服务器端、客户端等几个部 分组成，可实现视频存储、视频回放、摄像头遥控、报警检测、远程检索播放等功能， 其如构如图1 1 所示。 【辑慷琪卜 。犹 数 视 一 嚣 采频 l 摄像要卜一 视 睾 服 l 云台等 h 辇 务 器 橇傣率卜 粹制信息 l r ：cc # i 侍赌器信氯 图1 1 网络视频监控系统的结构图 系统通过摄像头将模拟的视频信号传送至采集卡。采集卡中的采集模块根据一定的 采样频率采集视频信号，同时将采集到的数据转换为数字信号。然后，监控服务器对视 频采集端提供的数据进行处理，如数据压缩、数据传输、图像报警检测、视频存储等。 视频流压缩后可以通过电话线、i s d n 、a d s l 、局域网，甚至无线等各种方式连入 k l t e m e t ，并送至服务器。为提高服务器的工作效率，可以在服务器端的软件中使用了多 个线程技术，如使每个线程对应一个采集卡，这样能极大地提高服务器的工作效率。在 将视频信息送至服务器后，客户端只要访问服务器就可获取摄像头采集到的视频信息。 客户端可以位于任何地方，只要连入了i r l t e m e t 和安装了客户端软件，并具有相应的访 问权限即可。系统中的客户端可以随时加入或退出网络，整个系统的规模可以动态改 变，具有很强的适应性。 从图卜l 的拓扑结构容易看出，本系统是一个典型的客户端服务器( c s ) 结构。 所以系统的软件分成服务器端和客户端两部分。根据需求分析，监控系统的服务器软件 可按功能划分为几个模块：初始化模块、系统采集模块、编码解码模块、命令处理模 块、网络通信模块。 6 北方工业大学硕士学位论文 1 4 本文所做的主要工作 视频监控系统传输和解压缩部分由孔梁萍同学完成，本文所做的主要工作包括： 1 视频采集。本文的视频流数据的采集采用了两种方法来实现，一种方法的 硬件是基于普通摄像头、图像采集卡，接口软件利用采集卡开发商提供的 硬件驱动程序( 软件开发包s d k ) ；另一种方法的硬件是基于普通的廉价 的网络猫眼，接口软件利用微软的v i d e o f o r w i n d o w ( v f w ) 。 2 视频编码。本课题的视频编码部分实现了对摄像头采集来的原始y u v 视频 流数据进行m p e g 4 编码，这部分是视频服务器的重点部分。 3 在编码算法的运动估计中，本文把搜索起点的预测和搜索模式的判断结合 在一起，对搜索算法做了某些改进。 15 小结 本章概要的叙述了视频监控系统发展历程，并对网络视频监控系统的发展状况和目 前主要产品市场现状作了介绍，列举了网络监控系统的主要应用领域和用途。最后介绍 了课题的意义和监控系统服务器部分所需的工作，并对视频服务器各部分的功能进行了 展开。 7 北方工业大学硕士学位论文 2 1 视频信号处理 多媒体技术的一项重要内容即是：利用计算机综合处理声、文、图信息，而其首 先需解决的问题应该是把声音和视频信息数字化后送到计算机中。视频信号源一般是 摄像机、录音机、扫描仪以及视频光盘等，而它们的输出大多数是标准的彩色全电视 信号，因此视频信号的获取主要是标准的彩色全电视信号的获取。 目前通用的电视标准有n t s c 制式、p a l 制式和s e c a m 制式三种，虽然说这三种制 式的信号处理方式不同( 如彩色空间、相位处理各不相同) ，但其视频获取的流程却 是一样的，即需要：首先将彩色全电视信号经过采集设备分解成模拟的r g b 信号或 y u v 信号，然后进行各个分量的a d 变换、解码，将模拟的r g b 或h 信号转换成 数字的r g b 信号或y u v 信号，存入帧存储器，主机可通过总线对帧存储器中的图像 数据进行处理，帧存储器中的数字r g b 信号或y u v 信号经过d a 变化转换成模拟的 r g b 或y u v 信号，再经编码合成彩色全电视信号，输出到显示器上。其流程如所图 2 1 所示： 图2 1 视频获取流程 2 2 视频压缩的必要性及应用前景 在多媒体信息处理中，最基本的要求是能动态实时地处理声音、动画、视频信 号，而图像的数据量是十分庞大的，若不对视频数据进行压缩处理，实时f 生根本就不 能达到。例如，针对一幅具有中等分辨率( 6 4 0 4 8 0 ) 的彩色( 2 4 b i t s p i x e l ) 数字视频 图像的数据量约7 3 7 m b i t s 帧，帧速率3 0 巾贞秒( n t s c 制式) ，则视频信号的传送速 率大约为2 2 1 1 m b i t s s ，一分钟的视频表演则需要1 3 2 6 6 m 以上的硬盘空间。数据量 大，难以寻求庞大的存储设备存储这些数据，而且计算机也难以实时地从存储器将这 些数据传送到中央处理器，因此，视频数据压缩技术也就成了开发多媒体系统中视频 处理的关键技术。 北方工业大学硕士学位论文 通过对视频数据的分析发现，原始视频数据存在的冗余度为数据压缩的实现提供 了可能。首先，对于每帧图像数据存在很大的空间冗余，视频图像帧内临近像素之间 是空域相关的。其次，对于由每秒3 0 帧组成的视频序列信号，其相继帧之间也具有较 强的相关性，即存在时间冗余。例如，对于电视中的演讲人图像序列，相邻帧之间可 能只有由头部、眼部、嘴部的微小变动而引起的细小差别。再次，因为在多媒体系统 的应用领域中，人是主要接收者，眼睛是图像信息的接收端，这样就有可能利用人的 视觉对于边缘急剧变化不敏感( 视觉掩盖效应) 和眼睛对图像的亮度信息敏感、对颜 色分辨率弱的特点实现高压缩率，从而使有压缩数据恢复的图像信号仍有满意的主观 质量。 一旦优秀的视频压缩技术投入使用，使得低成本、较低速率要求、有限带宽的条 件下得以动态实时地处理高质量的运动图像，它将对社会产生深远的影响并具有广阔 的应用领域。多媒体与互联网相结合，使得多媒体通信系统能提供可视通信、远程监 控、远程教学、机中图像管理和声像资料联网传输等功能，利用多媒体计算机系统进 行教育、训练、演示、咨询、家庭娱乐等，将常规电视数字化及制造高清晰度电视 ( d h t v ) 、交互式电视系统等，而当前多媒体市场的繁荣也证实着这种发展前景正一 步步向人们走近。 视频编码技术的发展 视频编码是数字图像处理中的一个重要的研究领域。视频编码的一个主要目的是 在保证一定重构质量的前提下，以尽量少的比特数表征视频信息。传统的压缩编码是 以香农信息论为出发点，用统计概率模型来描述信源，编码实体是像素或像素块。这 种基于数理统计的、旨在消除视频数据相关冗余的第一代视频编码技术获得了巨大的 成功。j p e g 、m p e g 1 、m p e g - 2 、h 2 6 1 以及h 2 6 3 等压缩编码国际标准的制定及其 对多媒体产业的巨大影响就是有力地证明。这些国际标准主要采用了第一代视频编码 技术，如熵编码、变换编码、预测编码以及运动补偿等。 第一代视频编码技术并未考虑信息接受者的主观特性、视频信息的具体含义和重 要程度等，只是力图去除数据的冗余，这是一种低层次的编码技术。真正代表视频编 码方向的是基于内容的第二代视频编码技术，它所关心的是如何去除视频内容的冗 余。它认为人眼是视频信号的最终接收者，在视频编码时应充分考虑人眼视觉特性的 影响，这是目前视频编码最为活跃的一个领域。m p e g - - 4 标准采用的就是基于内容的第 二代视频编码技术。 北方_ 业大学硕士学位论文 2 3 常用的视频压缩技术 数据压缩的分类方法繁多，在这里对分类方法等问题不进行讨论，只讨论在视频 压缩技术中涉及到的一些常用数据压缩技术p ，5 1 。 预测编码 + 预测编码是基于统计冗余数据压缩理论的一种编码方法。它是按某一模型利用以 往的样本值对新样本进行预测，然后将样本中的实际值与其预测值相减得到一个误差 值，并对这一误差值编码。由于误差值远远小于实际值，从而达到压缩数据的目的。 预测编码是一种无损压缩。 预测编码有线性预测和非线性预测两大类。线性预测编码又称为差分脉冲编码调 制，即d p c m ( d i f f e r e n f i a lp u l s e c o d e m o d u l a t i o n ) 方法。 其工作原理为： 假定已有样本序列x 1 、x 2 、x n - 1 ，预测值为x n ，实际值为x n ，口。( i _ 1 ， 2 ，n 。1 ) 。驹系数，e n 为误差值，则： x n 。善a - x -( 1 1 、 e 。= x 。一x 。( 1 2 ) 最优线性预测就是选择预测系数a 。，使e n 的均方值最小。 帧内预测编码般采用像素预测形式的d p c m ，其优点是算法简单，易于硬件实 现。缺点是对信道噪声和误码很敏感，会产生误码扩散，使图像质量大大下降。帧内 d p c m 的编码压缩比很低，现在已很少独立使用，一般要结合其他编码方法。 帧间编码技术处理的对象是序列图像，它是把几帧的图像存储起来做实时处理， 利用帧间的时间相关陛进一步消除图像信号的冗余度，提高压缩比，其技术基础是帧 间预测技术。 帧间预测编码主要利用视频序列相邻帧间的相关性，即图像数据的时间冗余来达 到压缩的目的，可以获得比帧内预测编码高得多的压缩比。帧间预测编码一般是针对 图像块的预测编码，主要方法有帧重复法、帧内插法、运动补偿法等。其中运动补偿 预测编码效果最好，己为各种图像，视频编码标准所采用t 6 , 7 1 。 运动补偿方法是跟踪画面内的运动情况对其加以补偿之后再进行帧间预测，它能 较好的提高压缩比，得n t 特别的重视和广泛的应用1 8 , 9 1 。 运动补偿预测技术通常由以下几个方面组成： 1 0 北方工业大学硕士学位论文 首先把图像分割为静止和运动的两部分，这里假设运动物体仅作平移； 估计物体的位移值： 用位移估值( 即运动矢量) 进行运动补偿预测； 预测信息编码。 在这里，图像分割是运动补偿预测的基础，实际上把图像分割成不同运动的物体 比较困难，从而通常采用两种比较简单的方法：一种是把图像分为矩形子块，适当选 择块的大小，把子块分为动和不动两种，估计出运动子块的位移，进行预测传输；另 一种方法是对每个象素的位移进行递归估计。 在图像分割的基础上，对运动子块的估计( 或者说运动估值m e ) 便成了运动补 偿预测的关键技术，一旦求得运动物体的运动矢量后，即可将其送入m c 预测器( 如 图2 2 所示) ，进行编码传输。 坠一 每一 圈2 2 运动补偿预测编码器 由于在运动图像编码中较多的关心由被摄物体和摄像机二者之间的运动共同造成 的物体图像的二维运动，高效而简捷的运动矢量求取算法就成了运动补偿技术中的焦 点问题。目前常用的几种对运动矢量进行估值的方法有 1 0 , t l 】： 块匹配算法：b m a ( b l o c k m a t c h i n g a l g o r i t h m ) 是目前常用的运动估计算法，它 假设块内像素只做相等的平移。在该算法中要求确定块尺寸大小的选择，只有在块小 时才可近似认为块内各点做相等的平移，以满足b m a 的基本假设。但若块太小，则估 计结果易受干扰噪声影响不够可靠，且传送运动矢量所需比特数过多；块取大则可减 轻其影响，但b m a 法的基本假设难以满足，影响估计精度，且大块中常包含多个不同 运动的物体，块内运动一致| 生更难满足。作为折中考虑，m p e g 2 标准选取1 6 1 6 像 素点阵作为块匹配单元。 北方工业大学硕士学位论文 像素递归法：它能适应运动补偿内插中对每个像素的运动进行精确到亚像元级的 估计要求，由于每个像素都有一个对应的运动矢量，为了降低码率而避免将其所有的 运动矢量都进行传输，提出了许多解决的办法。如：让接收端在于发射端相同的条件 下用与发射端相同的方法进行运动估计、n e t r a v a l i 像素递归法的迭代修正，块递归和迭 代修正相结合的运动估计等。 相位相关法：由子物体的空间位移与其相位变化相对应，从而可将运动估计转至 频率域进行，这其中需要进行傅立叶变换求得相位相关函数，利用相位相关函数的尖 峰求取运动矢量估值。 在当前的视频压缩中运动补偿技术是关键，而运动矢量的求取又是关键中的关 键，运动估计的实时性和估计精度是一对基本矛盾。在现时的技术条件下及常见应用 中，块匹配算法基本上能同时满足实时性和精度的要求，因而也是我们进行视频压缩 编码主要运用的运动估计算法。随着应用的不断扩大，对运动估计的速度和精度提出 的要求也将更高，从而需要研究更好的运动估计算法以适应新的需要。 正交变换编码【1 2 ，3 变换编码的基本思想是通过变换操作除去由于坐标轴的选择不当而引起的相关 性，而且有可能将难以处理的各种小局部相关眭集中到一起处理。常见的正交变换编 码方法有：k l 变换、d c t 变换、傅立叶变换、哈尔变换、w a l s h h a d a m a r d 变换等， 在图像压缩中常用d c t 变换。 d c t 变抉b q 进行过程是在编码端将原始图像分割成许多子像块，对每一个像块进 行d c t 变换，生成频域中的系数阵，它是一种无损压缩方法。 n n f ( x ) ) 表示m 个其值有限的一维实数信号序列的集合时，x = 0 ，1 ，n - 1 ，则其一维d c t 定义为： 厝c 弘细s 警舻叫， 们、 一维逆变换( d c d 定义为： 似，2 居势刖c o s 矧净，删 、 由此扩展得二维d c t 的定义。设数字图像，( x ，y ) 是具有膨行列的一个矩阵， 运用d c t 将其从空间域( 巧平面) 转换到d c t 变换域( u v 平面) ： f ( “川2 、j 丽2 刖m 刍- 篓f ( x , y ) c o s 訾c o s 鱼磐m ，、 1 2 ! ! 互三些查堂堡主堂垡堡壅 其相应的d c t 逆变换为： 嘲：他川。岳萋势) c ( v 脚) c 。s 1 ( 2 x + 矿1 ) u z c o s l ( 2 y + 广1 ) v n f i 6 ) e q u a t i o nc h a p t e r 3s e c t i o nl 苴中x ，“= 0 ，1 ，m 1 y ，7 亍o ，l ，一1 ，= 妒姜暑 在视频编码中，通常需要研究二维f d c t ，i d c t 的快速算法。 量化编码 一般而言，量化是模拟信号到数字信号的映射，而一旦获取到视频信号并数字化 后，量化则是指由数字量到数字量的多对一映射。量化器所要完成的功能是按一定的 规则对表达式作近似表示，即指量化器用一组有限的实数集作为输出，其中每个数代 表一群最接近于它的取样值，量化编码为有损编码。 量化常分为三类：标量量化( 零记忆量化或一维量化) 、向量量化( 分组量化) 和序列量化。在标量量化中，所有采样使用同个量化器进行量化，每个采样的量化 都和其它所有采样无关。向量量化则是从称为码本的码字集合中选出最紧密适配于序 列的一个码字来近似一个采样序列( 即一个向量) ，这种方法以输入序列与选出的码 字之间失真最小为依据。 在视频编码中较多应用量化的过程是对二维d c t 系数的量化处理，由于对于信号 矩阵实施正交变换后，系数的能量分布一般比较集中，如二维d c t 变换卮的系数矩 阵，能量集中在左上角，从而可想办法对于能量或能量差分重新量化以达到信息压缩 的目的。在这里，量化时对于人眼最敏感的空间频率及能量分布比较大的系数分配较 多的比特数。 信息熵编码 信息是用不确定的量度定义的，所谓信息量则是指从n 个相等可能事件中选出来 一个事件所需要的信息度量或含量，而熵则是指将信源所有可能事件的信息量进行平 均。香农信息论认为，信源所含有的平均信息量( 熵) 是进行无失真编码的理论极 限。信源中或多或少的含有自然冗余度，这些冗余度既来自于信源本身的相关性，又 来自于信源概率分布的不均匀性中，只要找到去除相关性或改变概率分布不均匀性的 方法和手段，也就找到了信息熵编码的方法。这种编码也是基于统计冗余数据压缩理 论的一种编码方法，为无损压缩。 北方工业大学硕士学位论文 在多媒体视频压缩中常用的两种信息熵方法为：霍夫曼编码和游程编码方法。 当已被采样的视频数据拥有相同字节序列时，可以采用更紧密的序列来代替这些 相同字节序列，从而实现压缩，这就是游程编码，也称为游程长编码或r l c 编码。其 主要思路是将一个相同值的连续串用一个代表值和串长来表示。例如，有一信源符合 序列6 6 6 9 9 0 0 0 0 0 6 ，则其游程码为( 6 ，3 ) ，( 9 ，2 ) ，( o ，6 ) 。最常见的一种情形 是，当采样量化后出现大量零系数的情形，利用游程编码来表示连零码，从而降低表 示零码所用的数据量。 霍夫曼编码则是这样一种编码方法，该方法能够根据己知的数据给出最佳编码， 即根据已知