（计算机系统结构专业论文）基于纹理信息的camshift跟踪算法研究.pdf

摘要 摘要 c a m s h i f t 跟踪算法是国际机器视觉领域最近几年才发展起来的新颖算法， 它以随机颜色概率模型为基础，以跟踪目标的颜色分布为特征，在视频的相邻帧 之间通过直方图匹配来进行视频目标的跟踪。c a m s h i f t 算法不但跟踪准确度高、 计算量适中，并且因其实时性好、对遮挡、目标变形鲁棒性好等，被公认为解 决视频跟踪问题的一个优秀算法。对于这个算法，目前国外研究者比较多，国 内的研究工作还刚刚起步，近两年才见有几篇文章发表。 本文源于一个智能交管视频监控系统的开发，在充分研究c a m s h i f t 算法原 理和实现过程的基础上吸取其优点，并引入图像的纹理信息作为算法的匹配特 征，来弥补传统c a m s h i f t 过于依赖色彩信息的不足，再结合k a l m a n 滤波进行 运动预测，构造出了一个新颖的跟踪算法。此算法不仅保证了匹配跟踪的精度 和速度，同时能够很好地应用于黑白视频图像的匹配跟踪，大大拓展了传统 c a m s h i f t 算法的应用范围。 另外，为了应对室外的各种气象条件等的影响，本文在预处理阶段提出了 一整套环境影响排除方法，有力地保证了系统产品级的实用性和全天候适应性。 尤其是在图像的防抖方面，本文基于上述综合跟踪算法又进一步提出了一个基 于多模版特征匹配的电子稳像算法，取得了很好的应用效果。 关键词：视频跟踪，c a m s h i f t 算法，图像纹理描述，模板匹配，电子稳像，智 能交通 a b s t r a c t a b s t r a c t c a m s h i f ii san e wa l g o r i t h mi nv i s u a lt a r g e tt r a c k i n ga r e a i tb a s e so nr a n d o m c o l o rp r o b a b i l i t ym o d e l a n do b j e c t sc o l o rd i s t r i b u t i o na st r a c k i n gf e a t u r e s ow ec a l l t r a c ko b j e c t sb e t w e e nf l a m e sb yh i s t o g r a mm a t c h i n g c a m s h i f ii sa c k n o w l e d g e da s a l le x c e l l e n ta l g o r i t h mf o rn o to n l yi t sh i g h m a t c h i n ga c c u r a c y a n dm o d e r a t e m a t h e m a t i c a lo p e r a t i o n ，b u ta l s oi t sr e a l t i m ep e r f o r m a n c ea n dr o b u s tf o ro c c l u s i o n a n dt a r g e td i s t o r t i o n m a n ys c h o l a r si n f o r e i g nc o u n t r i e sh a v ed e v e l o p e dt h i s a l g o r i t h mi nr e c e n ty e a r s ，h o w e v e r ，f e ws c h o l a r ss t u d yi ti no u rc o u n t r y ，a n daf e w a r t i c l e sc a nb ef o u n dt w oy e a r sa g oe v e r 1 1 1 i s p a p e rc o m e sf r o ma ni n t e l l i g e n tt r a n s p o r t a t i o ns y s t e md e v e l o p i n g p r o c e d u r e w eh a v ec o n d u c t e di n - d e p t hs t u d i e so nc a m s h i f ta n dm a k eu s eo fi t ss t r o n gp o i n t s t h e nw ei n t r o d u c e do b j e c t st e x t u r ea st r a c k i n gf e a t u r et om a k eu pf o rc a m s h i f f si n f e r i o r i t yo f t o t a l l yd e p e n d e n c yo nc o l o r s a n dw ea p p l i e dk a l m a nf i l t e rt op r e d i c to b j e c tm o v i n g t h u s ，w e b u i l to u rn e wo b j e c tt r a c k i n ga l g o r i t h m t h i sa l g o r i t h mh a sv e r yg o o dt r a c k i n gp r e c i s i o na n d s p e e da n dc a l ld e a lw i t hb l a c k - a n d - w h i t ev i d e ow e l lt oe x t e n dc a m s h i f t sa p p l i c a t i o ns c o p e w ea l s od e v e l o p e daa l g o r i t h ms e r i e st oc l e a ra w a yw e a t h e ri n t e r f e r e n c et o i m p r o v eo u rs y s t e m sp r a c t i c a l i t ya n df i t n e s s ，e s p e c i a l l yo u rn e we l e c t r o n i ci m a g es t a b i l i z a t i o n a l g o r i t h m t h i sa l g o r i t h mi sb a s e do no u ro b j e c tt r a c k i n ga l g o r i t h ma n da t t a i n e dt h er e s u l t s e x p e c t e d k e y w o r d ：v i d e oo b j e c tt r a c k i n g ，c a m s h i f ia l g o r i t h m ，t e x t u r ed e s c r i p t i o n ， t e m p l a t em a t c h i n g ，e l e c t r o n i ci m a g es t a b i l i z a t i o n ( e i s ) ，i n t e ll i g e n tt r a n s p o r t a t i o n s y s t e m ( i t s ) i i 南开大学学位论文使用授权书 根据南开大学关于研究生学位论文收藏和利用管理办法，我校的博士、硕士学位获 得者均须向南开大学提交本人的学位论文纸质本及相应电子版。 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在 著作权法规定范围内的学位论文使用权，即：( 1 ) 学位获得者必须按规定提交学位论文( 包 括纸质印刷本及电子版) ，学校可以采用影印、缩印或其他复制手段保存研究生学位论文， 并编入南开大学博硕士学位论文全文数据库；( 2 ) 为教学和科研目的，学校可以将公开 的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文 摘以及论文全文浏览、下载等免费信息服务；( 3 ) 根据教育部有关规定，南开大学向教育部 指定单位提交公开的学位论文；( 4 ) 学位论文作者授权学校向中国科技信息研究所和中国学 术期刊( 光盘) 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文数据库， 通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。 非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。 论文电子版提交至校图书馆网站：h t t p ：2 0 2 1 1 3 2 0 1 6 1 ：8 0 0 1 i n d e x h u n 。 本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩； 提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。 本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。 作者暨授权人签字： 2 0年月日 南开大学研究生学位论文作者信息 论文题目 姓名学号答辩日期年月日 论文类别博士口 学历硕士口硕士专业学位口高校教师口同等学力硕士口 院系所专业 联系电话e m a i l 通信地址( 邮编) ： 备注： 是否批准为非公开论文 注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写( 一式两份) 签字后交校图书 馆，非公开学位论文须附南开大学研究生申请非公开学位论文审批表。 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 学位论文作者签名： 年月 目 第一章绪论 第一章绪论 第一节引言 我们人类主要是通过视觉来感知外界信息的，俗话说“百闻不如一见”，就 是说视觉感知环境信息的效率很高，通常占人类感知外界信息的8 0 以上。让计 算机或机器人具有与人类相比拟，甚至更高水平的视觉，是人类多年以来的梦 想，也是是图形图像科研领域的研究热点问题。虽然目前能够达到的机器视觉 水平还不能像生物视觉系统那样灵活、高效，但是随着这个方面科研水平的飞 速提高，这种梦想正在逐步变为现实。 人类是通过眼睛与大脑来获取、处理与理解视觉信息的。周围环境中的物 体在可见光的照射下，在人眼的视网膜上形成图像，大脑经由感光细胞和神经 纤维来“读取”到这幅图像，进行处理与理解。这就是视觉过程，它不仅指对 光信号的感受，而是包括了对视觉信息的获取、传输、处理、存储与理解的全 过程。信号处理理论与计算机出现以后，人们试图用摄像机获取环境图像并将 其转换成数字信号，用计算机实现对视觉信息处理的全过程，这样，就形成了 一门新兴的学科一机器视觉。 从图像处理与模式识别发展起来的计算机视觉，其研究方向主要是如何利 用二维投影图像恢复三维景物世界。计算机视觉使用的理论方法主要是基于几 何、概率、运动学与三维重构的视觉计算理论，它的理论基础包括射影几何学、 刚体运动力学、概率与随机过程、图像处理、人工智能等。计算机视觉要达到 的最终目的是实现计算机对三维景物世界的理解，即实现人类视觉系统的某些 功能。 对人类视觉系统的研究发现，人眼总是对运动的物体更加关注，这是因为 运动物体往往包含了画面中我们关心的绝大部分信息。同样地，对于视频中运 动物体的捕捉和行为理解也是机器视觉领域中的重要问题和研究热点，具有着 广泛的应用前景，在人机交互、自动导航、医学、三维场景建模与可视化、生 产自动化、工业检测与监控等领域都具有基础性和至关重要的地位。而视频动 目标的跟踪问题是视频理解和事件检测的基础性问题，它是指从视频图像序列 第一章绪论 中抽取出每幅图像中的运动物体区域，并且通过在连续的视频帧间匹配运动物 体，来取得物体的运动轨迹和运动参数，进而进行后继的运动行为识别等。 经过了多年研究，人们在动目标跟踪问题上取得了一些理论性和应用性成 果。但是由于例如光照突变，环境气候干扰，复杂背景和运动背景干扰，以及 变速目标适应，等困扰动目标检测和跟踪的问题，室外监控视频的动目标跟踪 问题目前尚未能找到一套公认广泛有效的算法，已经出现的一些算法也只是各 自能够解决一部分问题。本文也致力于室外视频监控中的有效动目标跟踪算法 的探索，并且针对交通监控视频的智能处理，提出了一整套行之有效的算法， 其核心是提出一个基于方向梯度和k a l m a n 滤波的综合c a m s h i f t 算法，来解决 动目标的跟踪问题。 第二节本文研究背景 本文来源于一个服务于交管领域的视频事件检测系统开发。一直以来，我 国的交通流量监控始终依赖交警警力实地指挥或者巡察，不但耗费大量人力， 而且各种交通情况的判断和责任认定等，都易受人为因素的影响。进入2 1 世纪 以来，随着道路建设和道路设施科技化的突飞猛进，我国的交管工作中逐步引 入并普及了第一代交管视频监控技术，俗称“电子眼 ，使交管人员能够通过观 看实时闭路视频远程监控交通现场，大大节省了警力，提高了管理效率。然而， 随着视频监控设备的大规模普及，第一代视频监控仍然不能脱离人力干预、画 面质量低下等不足日益显现。为了解决这一问题，我们通过第三代视频技术的 研发，解决了交管视频监控中的难题，构建出了具有高度机器智能化、事件检 测和报警无需人员干预、多路处理能力强的智能视频监控系统。 1 2 1 视频监控概述 第一代视频监控技术出现在8 0 年代中后期，主要是基于模拟设备的闭路电 视监控系统。它可以让安防或者交管等人员足不出户却身临其境地监视他们所 关心的实时场景，在其产生初期被认为是具有划时代意义的。 然而，随着视频监控设备的大量安装和应用，模拟信号质量低、易受干扰， 以及闭路电视设备扩容性差的劣势显现了出来。九十年代中期，随着计算机处 2 第一章绪论 理能力的提高和视频技术的发展，人们利用计算机的高速数据处理能力进行视 频的采集和处理，利用显示器的高分辨率实现图像的多画面显示，从而大大提 高了图像质量，这种基于p c 机的多媒体主控台系统称为第二代数字化视频监控 系统。 数字化监控以依托计算机强大的多路处理能力和数字信号的高可靠性，一 度被认为是理想的技术，并加以广泛普及。但是这种监控技术中，计算机系统 偏重于现场视频的记录，而对监控视频的智能分析则非常少，这就导致了需要 大量值守人员来人工识别视频中的各种事件。发展到后期的半自动式监控，也 只能简单地判断画面中是否有物体在动，至于更高级的行为识别和危害判断， 则仍需要人工进行。由于人力成本的日趋昂贵，公共场所的大量摄像头作为视 频监控的功能被闲置，而只是在犯罪高发地作为用来提高电子犯罪成本的装置。 甚至一度有人这样形容：“不用害怕这些摄像头，他们中的大部分只是装在那里 给窃贼看的，没有足够的眼睛来看管他们，监控系统并没有看上去那么有效。” 对美国数百家安全执行机构的调研显示，能够帮助他们对从数量直线上升的监 控摄像头获取的视频进行自动处理的系统，在需求货单上排名榜首。 九十年代末，伴随着上述需求的日益迫切，以及网络带宽、计算机处理能 力和存储容量的快速提高，以及视频处理技术的突飞猛进，视频监控步入了全 数字化的网络时代，称为第三代远程视频监控系统。第三代视频监控系统以网 络为依托，以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像 分析为特色，引发了视频监控领域的又一次技术革命。这种监控技术的突出优 点，就是计算机几乎不依赖人员干预、能够智能提取监控视频事件，进行目标 行为分析并智能处理和报警，极大地解放了人力资源。 1 2 2 本文系统的应用场合 本文的算法研究来源于真实的政府采购项目工作，旨在构建一个高效的智 能交通系统，提升我国交管领域的视频监控水平，填补智能视频事件检测技术 在我国交管领域的应用空白。 智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) ，简称i t s ，是目前世 界交通领域研究的前沿课题。它是在当代科学技术充分发展和进步的背景下产 生的，旨在将先进的信息技术、数据通信技术、电子控制技术及计算机处理技 第一章绪论 术等综合运用于地面交通管理体系，建立起一种大范围、全方位发挥作用的， 实时、准确、高效的交通管理系统。可以认为智能交通系统是将信息技术应用 于交通的设计、规划、管理的一种新型交通系统。智能交通系统是解决城市交 通问题的重要方法，它强调的是系统性、实时性、信息交互性以及服务的广泛性， 与原来的交通管理与交通工程有着本质区别。当然，相应地也就对系统硬件设 备的运算处理能力，尤其是软件算法的运算效能和准确性提出了更高的要求。 智能交通系统的发展是从2 0 世纪六七十年代后逐步开始的。当时欧、美、 日等工业化国家开始采用以提高效率和节约能源为目的的交通管理系统和交通 需求管理对策。随着科学技术的发展，交通监控、交通诱导、信息采集及传输 等系统在交通管理中发挥了很大作用。8 0 年代以来，以计算机技术、通信技术 和控制技术为代表的信息技术在交通管理与控制中得到广泛应用，并取得了良 好的效果。但是，与此同时也暴露出了一些问题。为了解决存在的问题，就进 一步促使人们要探索和建立一种大范围、全方位发挥作用的实时、准确、高效 的综合交通管理系统，这也就形成了所谓的智能交通系统( i t s ) 。 当前国际上的i t s 研究形成了美国、日本和欧洲三大阵营，其中美国政府 于1 9 9 1 年开始投资对i t s 的开发研究，仅美国高速公路安全局1 9 9 3 年的投资 预算就达2 0 1 0 万美元，使得目前美国的i t s 研究开发体系最为完善，已受到国 际i t s 研究领域的广泛认可；欧洲1 9 个国家投资5 0 亿美元到其e u r e k a 项目中， 其i t s 研究和应用水平也己具有迎头赶上之势。目前，美国的i v h s ，法国的 c i t i l o g ，和澳大利亚的s c a t 等智能交通系统都已经具备了较高的实际应用能 力，成为了比较成熟的产品。 我国从2 1 世纪初才开始介入智能视频监控的研究，智能交通系统研发尚处 在起步阶段，较之先进国家在科研水平和产品化成果上均有一定差距，然而许 多国内科研机构也都纷纷投入这个领域的研究和开发，先后取得了一些重要的 成果，例如中国科学院自动化研究所模式识别国家重点实验室视觉监控组对该 领域做了大量的研究，在人运动的视觉分析、交通行为事件分析、交通场景视 觉监控和智能轮椅视觉导航等领域取得了许多科研成果。在科研成果的实际投 入使用方面，我国也有所探索和开发，相继有公司和单位推出了“电子警察” 系统。但是目前的这些系统都或多或少地存在着检测环境要求苛刻、检测事件 单一以及准确度不高等问题。本文项目正是针对改善上述问题的处理，本着提 高我国智能交通系统的应用水平，助推我国i t s 研究产品化事业的目的，进行 4 第一章绪论 了一整套智能交管系统的构建。 1 2 3 算法研发的难点 要构造一套能够广泛适用、准确高效的智能交通系统，对其其核心算法的 适应性、准确性要求是很高的，具体需要解决的难点有： 1 、灰度图像的准确处理能力。 目前公认高性能的目标跟踪算法大都需要针对彩色图像运行，以利用色彩 信息来提高目标识别和跟踪的准确度。但是本文所构建的系统需要能够适应过 去已经安装的黑白交管电子眼的视频监控。无法利用色彩信息给算法的准确性 保障提出了很大挑战。 2 、复杂环境下有效动目标的甄别。 实际的交通环境是非常复杂的，诸如纸屑、树叶、飞鸟等各种干扰物的频 繁出现，以及交通目标的相互遮挡和粘连，要开发产品级的交通视频事件检测 算法，首先要解决的是有效交通元素的甄别。 3 、排除环境变化的干扰。 要实现对真实交通地点的连续实时检测和分析，就必须要有应对自然界雨、 雪、风、雾等不同气象条件对视频拍摄环境的干扰，以及随着时间变化的拍摄 光度等的变化的能力，需要要融入自学习技术的应用以加以解决。 4 、目标图像模板的自适应。 随着目标距离、位置、光照等属性的改变，其图像会有相应的尺度、灰度、 形状等变化，产品级的系统需要对这些变化进行自学习和预测以达到自适应。 5 、目标复杂运动的有效跟踪。 交通视频监控的应用对象是各类道路上的所有交通元素，它们的运动是十 分复杂的，从速度到运动轨迹，随意性都很大：行人和各种车辆间的速度差别 很大，高速道路上和低速道路上行驶的车辆间速度差别很大，甚至对同一辆车， 其这1 秒和下1 秒间的速度差别也可能很大，高效实用的智能交通系统能够适 应如此广泛的速度范围和速度突然变化；另外，交通元素的行驶轨迹复杂多变， 转弯、变线、倒车，等等运动轨迹的变化随时可能出现，突然性大。为了应对 以上种种，我们必须采用高效的目标运动预测技术。 第一章绪论 第三节本文创新点 为了应对复杂的实时交通视频监控任务，本文在高性能算法的开发方面做 了很多工作，其中比较明显的创新点有两个： 首先是将纹理信息引入c a m s h i f t 算法，替代了原来的色彩信息，使得算法 能够很好地处理黑白摄像机拍摄的视频，极大地拓展了算法的适用范围，同时 保证了比较高的跟踪准确度。 其次，是将上述基于纹理信息的综合c a m s h i f t 算法应用于视频防抖问题， 进而提出了一个高效实用的基于特征模板匹配的电子稳像算法。 另外，本文中动目标检测中的分段阈值方法，以及基于面积密度的交通元 素分类方法，也比较新颖。 第四节本文内容安排 论文的各章内容安排如下： 第1 章：绪论。 指出了本文算法的应用背景和应用场合，介绍了视频监控和其中智能交通 领域的一些基本概念、发展过程，和本领域国内外的发展情况。同时点明了本 文算法开发的难点和创新点，为后面章节的展开进行了引导。 第2 章：视频图像预处理与环境干扰的排除。 这一章的内容是进行后续视频动目标检测以及事件分析的基础。其中视频 图像的预处理作为典型图像处理系统所必须的基础环节，为后面的图像分析提 供高质量的处理对象。环境干扰的排除是本文的亮点之一，针对室外环境下的 实际交通场景中可能遇到的各种气候环境干扰进行归纳并提出了行之有效的处 理策略。 第3 章：基于背景差的视频动目标智能检测。 动目标检测显然是目标跟踪的基础性： 作，这章总结介绍了各种动目标 检测方法，并且提出了本文系统针对真实交通场景所采用的动目标检测方法。 其中，目标检测的分段阈值和动目标分类的面积密度准则较具新意。 第4 章：基于梯度方向和k a l m a n 滤波的综合c a m s h i f t 视频跟踪算法。 这一章首先综述了目前已有的各种经典目标跟踪算法，分析了其利弊。而 6 第一章绪论 后根据交通视频监控的实际需要，提出了一个高效实用的基于梯度方向和 k a l m a n 滤波的综合c a m s h i f t 算法，来完成交通动目标的有效跟踪。这是本文的 核心算法。 第5 章：基于综合c a m s h i f t 的多特征模板联合电子稳像算法。 这个电子稳像算法是本文的另一个核心创新算法，是基于第4 章提出的综 合c a m s h i f t 算法构建的，取得了良好的实用效果。 第6 章：总结与展望。 总结本文主要工作和内容，展望今后进一步改进的思路。 7 第一：章视频图象预处理预环境干扰的排除 第二章视频图像预处理与环境干扰的排除 视频监控技术，其本质是综合运用了各种图像处理技术，构建一些面向视 频图像的针对性算法，检测监控视频中的运动事件。因此，典型图像处理系统 遇到的诸如原始画面噪声干扰、图像亮度不均等问题，视频监控系统也要通过 预处理加以解决。另外，由于视频监控的是室外场景，系统不可避免地要受到 气候条件的影响，不同的天气现象会在视频图像中形成不同类型的干扰。因此， 针对性地排除各种天气现象的干扰，为后继的核心算法提供良好的应用条件， 也是做到室外监控产品能够产品级实用的关键环节。本章即旨在介绍系统对这 两方面画面干扰因素的处理和排除方法，为后继章节的算法提供一个可信的应 用环境。 第一节视频图像预处理技术 在各种实时视频应用场合中，视频图像的预处理都是一项非常重要的技术 手段，它通常用来滤除噪声和后续处理所不关心的信息，使图像获得更佳的视 觉效果，因此广泛应用在数码相机，摄像机和视频监控等诸多实时应用领域。 2 1 1 图像平滑 一幅原始图像在获取和传输过程中会受到各种噪声的干扰，使图像质量下 降，对分析图像不利。尤其是在光照并不均一或光照不理想的情况下，摄像输 出画面中的噪声对动目标的检测起到了较大干扰。反映到图像画面上，主要有 两种典型的噪声。一种是幅值基本相同，但出现的位置随机的椒盐噪声，另一 种则每一点都存在，但幅值随机分布的随机噪声。为了抑制噪声、改善图像质量， 要对图像进行平滑处理。图像平滑处理的方法多种多样，有邻域平均、中值滤波， 高斯滤波、灰度最小方差的均值滤波等。这里主要采用高斯滤波器进行图像的 平滑效果。 高斯滤波器是根据高斯函数的形状来选择权值的线性平滑滤波器。高斯平 滑滤波器对去除服从正态分布的噪声是很有效果的。一维零均值高斯函数为 第二章视频图象预处理预环境干扰的排除 - - x g ( 而= p 2 ( 2 1 ) 其中，高斯分布参数叮决定了高斯滤波器的宽度。对图像来说，常用二维 零均值离散高斯函数作平滑滤波器，函数表达式如下： ! ! ! ! d i ，j 】- 口2 ( 2 2 ) 高斯函数具有5 个重要性质： ( 1 ) 二维高斯函数具有旋转对称性，即滤波器在各个方向上的平滑程度是 相同的。一般来说一幅图像的边缘方向是不知道的。因此，在滤波之前是无法 确定一个方向比另一个方向上要更多的平滑的。旋转对称性意味着高斯滤波器 在后续的图像处理中不会偏向任一方向。 ( 2 ) 高斯函数是单值函数。这表明，高斯滤波器用像素邻域的加权均值来 代替该点的像素值，而每一邻域像素点的权值是随着该点与中心点距离单调递 减的。这一性质是很重要的，因为边缘是一种图像局部特征。如果平滑运算对 离算子中心很远的像素点仍然有很大的作用，则平滑运算会使图像失真。 ( 3 ) 高斯函数的傅立叶变换频谱是单瓣的。这一性质是高斯函数傅立叶变 换等于高斯函数本身这一事实的直接推论。图像常被不希望的高频信号所污染， 而所希望的图像特征，既含有低频分量，又含有高频分量。高斯函数傅立叶变 换的单瓣意味着平滑图像不会被不需要的高频信号所污染，同时保留了大部分 所需要的信号。 ( 4 ) 高斯滤波器的宽度( 决定着平滑程度) 是由参数口表证的，而且仃和平 滑程度的关系是非常简单的。盯越大，高斯滤波器的频带就越宽，平滑程度就 越好。通过调节平滑程度参数1 7 ，可在图像特征分量模糊( 过平滑) 与平滑图像 中由于噪声和细纹理所引起的过多的不希望突变量( 欠平滑) 之间取得折衷。 ( 5 ) 由于高斯函数的可分离性，大高斯滤波器可以有效实现。通过二维高 斯函数的卷积可以分两步来进行，首先将图像与一维高斯函数进行卷积，然后 将卷积的结果与方向垂直的相同一维高斯函数进行卷积。因此，二维高斯滤波 的计算量随滤波模板宽度成线性增长而不是成平方增长。这些性质使得它在早 期的图像处理中特别有用，表明高斯平滑滤波器无论在空间域还是在频率域都 是十分有效的低通滤波器。 在高斯滤波器的设计中，高斯函数的最佳逼近由二项式展开的系数决定。 由高斯函数的可分离性得到，二维高斯滤波器能用2 个一维高斯滤波器逐次卷 9 第二章视频图象预处理预环境干扰的排除 积来实现，一个沿水平方向，一个沿垂直方向。实际上，这种运算可以通过使 用单个一维高斯模板，对两次卷积之间的图像和最后卷积的结果图像进行转置 来完成。 对较大的滤波器，二项式展开系数对大多数计算机来说都太多，但是，任 意大的高斯滤波器都能通过重复使用小的高斯滤波器来实现。 2 1 2 图像亮度修整 光照变化，尤其是大范围的光照突变，一直以来都是视频目标检测和跟踪 领域的一个棘手难题。例如闪电、灯光的闪烁等大范围光照突变，会引起视频 图像的全局突变，换句话说，整个图像都会成为动目标，从而无法区分真正的 前景和背景，使动目标检测手段失效。 作为一个老牌难题，大范围光照变化在视频处理研究领域一直都没有成熟 的解决办法，在本文中，我们也对这个问题做出了一定探索，形成了自己的思路， 并且在一定程度上取得了效果，在非极端情况下对视频动目标检测具有一定的 帮助。 针对连续的视频图像序列，我们的亮度修整算法做出了这样一个基本假设， 即相邻视频帧之间的灰度直方图，在没有光照突变的情况下然应该近似一致。 而后继帧遇到大范围光照变化的一个突出反应，就是后继帧中所有物体在纹理 等特征没有变化的情况下，灰度出现了突变。进一步地，出现这种突变的后继帧， 其灰度直方图也就发生了一定得变化。那么，如果在后继帧遇到光照突变时， 各景物的灰度变化具有一定的相关性，就可通过它反映在灰度直方图上同前继 帧的差异，来反向纠正当前帧的灰度分布，进而将前帧中个像素点的灰度值纠 正回没有突变的情况下本来应该具有的值，从而实现了全局光度突变的纠正。 从技术上，这就应用了直方图规定化得方法。希望能够有目的地增强某个 灰度区间的图像，即能够人为地修正直方图的形状，使之与期望的形状相匹配， 这就是直方图规定化的基本思想。换句话说，希望可以人为地改变直方图形状， 使之成为某个特定的形状，直方图规定化就是针对上述要求提出来的一种增强 技术，它可以按照预先设定的某个形状来调整图像的直方图。直方图规定化是 在运用均衡化原理的基础上，通过建立原始图像和期望图像之间的关系，选择 地控制直方图，使原始图像的直方图变成规定的形状，从而弥补了直方图均衡 l o 第_ 章视频图象预处理预环境干扰的排除 不具备交互作用的特性。 直方图规定化的增强原理是先对原始的直方图均衡化： s = t ( r j ( 2 3 ) 同时对规定的直方图均衡化： v = g i z ) ( 2 4 ) 由于都是均衡化，故令s = v ，则： z - g 。1 i v ) = g 1 f r ir ) 】 ( 2 5 ) 这样，就得到了修整后的图像，即公式中的z 。 通过这种方法，用正常前继帧的直方图来归一化当前遇到全局光照突变的 视频帧，就将后者修正到了没有发生突变应有的样子，使得动目标检测算法得 以继续运行。经过实际应用试验，发现本方法对于一般的全局光照突变确实具 有相当的效果，具备实用价值。但是遇到局部光照突变和图像各区域灰度异性 变化的情况时，这种方法的处理效果有所下降，期待进一步地工作能够完善这 一方法，成为更加完善、强健的实用算法。 第二节自然环境干扰因素及排除 我们的视频监控系统架设在室外环境下，因而必须能够适应各种天气情况 给视频画面带来的影响，排除干扰。主要需要处理的天气干扰有雨雪带来的大 量小型运动物体干扰，雾天造成的视频画面灰度差减小，以及强风造成的摄像 机机体瞬态抖动等。 2 2 1 雨雪干扰的排除一形态过滤和中值滤波 从室外实时影像中提取动目标的工作经常会遇到雨雪天气的干扰，飘落的 雪花和雨丝无疑也是视频中动目标的一种，将其与运动的车辆行人区分开，是 排除环境干扰工作的一个重要部分。 在实用清晰度的室外摄像视频中，雨雪干扰的排除一般可以按体积大小不 同来处理：对于体积小于车辆目标且不可比拟的雨丝和雪花，一般采取用中值 滤波滤除的方法；对于体积与车辆目标相仿的雨丝，则根据其形状特征和运动 轨迹特征来滤除。 首先介绍中值滤波滤除小雨丝和雪花的方法。中值滤波是一种非线性的信 第二章视频图象预处理预环境干扰的排除 号处理方法，与其对应的中值滤波器当然也就是一种非线性滤波器。中值滤波 器在1 9 7 1 年由j w j u k e y 首先提出并应用在一维信号处理技术( 时序分析) 中，后来被二维图像信号处理技术所引用。中值滤波在一定条件下可以克服线 性滤波器如最小均方滤波和均值滤波等带来的图像细节模糊，而且，值得一提 的是，中值滤波不会破坏图像的边缘信息，这对于后面要进行的动目标特征点 的提取显然是非常有利的。 顾名思义，中值滤波是一种这样的平滑操作，它把跟当前处理的像素点相 关的像素点的数值进行排序，然后把中间数值赋给当前处理点。中值滤波对数 字图像进行处理可以直观地认为在图像画面中开一个一维的小窗口，它应该包 含奇数个像素，按像素的灰度值从小到大排列起来，然后用中间灰度值来代替 原排列的中间位置像素的灰度值。窗口然后从左到右移动，知道辩解。窗口下 移一行，在从左到右依次进行。 ilifffrl ，r 手r 输入信号 输出信号 ( a ) 阶跃 fifllli il if 输入信号输出信号输入信号输出信 ( c ) 斜坡( d ) 三角形 图2 1 中值滤波输入输出信号示意图 i | 本文系统根据下雨时雨丝的运动特点，采用了左一右、左上一右下和右上一左 下共三个方向的窗口大小为5 的一维中值滤波，对细雨丝取得了比较令人满意 的去除效果。三个方向的滤波窗口卷积核分别为： i liiiii 第一j 章视频图象预处理预环境干扰的排除 0000 000 0 1111 0 000 00 0 o 左一右 l0 o o o 0looo o 0lo o o0 0 lo 00 001 左上一右下右上一左下 图2 2 中值滤波卷积核 二维中值滤波的窗口形状和尺寸对滤波效果影像较大，不同的图像内容和 不同的应用要求，往往采用不同的窗口形状和尺寸。窗口尺寸一般先用3 再取5 ， 逐点增大，知道其滤波效果满意为止。对于包含有尖顶角物体的图像，适宜用 十字形状窗口，而窗口大d , n 以不超过图像中最小有效物体的尺寸为宜。本文 系统根据下雪时雪花的形态特点，采用了窗口大小为5 x 5 的菱形二维中值滤波， 对小雪花取得了比较令人满意的去除效果。 ( a ) 方形 ( b ) 菱形 ( d ) 字形 图2 3 中值滤波核形态 ( e ) 米字形 ( c ) 十字形 经过了上述的滤波处理之后，小到中雨雪带来的动物体干扰一般都已经能 够很好的滤除。然而对于雨较大或者安装条件造成的摄像头近处飘落的雨丝造 成的较大体积动物体干扰，还需要进行根据形态和运动特征的滤除。这就需要 把这些大型雨丝混同车辆检测和处理的方式，进行目标跟踪和形态特征、运动 i o o o o o o o o o o l o o o o o o 0 o o o 上 第j ：章视频图象预处理预环境干扰的排除 轨迹特征提取等处理，客观上会带来一定得负载增加。但是由于这一类型的干 扰物体在中值滤波处理后的视域中数量已经不多，故而经过试验证明，这种负 载的增加在大雨天气是必要且可以承受的。这种大型雨丝的滤除原理主要是根 据其特有的形状，即为较细长的直线状物。故而，在本文系统是在所有体积阈 值以上的动物体中，筛查运动方向外接矩形之长宽比大于7 5 ( 保证绝对大于自 行车的长宽比即可) 的物体，将之认为雨丝并去掉。 2 2 2 雾天干扰的排除一直方图均衡化 当室外环境为下雾天气的时候，会造成整个视域的灰度分布一致地像白色 方向移动，并且会造成各景物之间灰度差值的减小，即造成了我们日常所说的 白蒙蒙的一片，视野模糊。这种情况对于视频动目标的检测的效果也是有很大 影响的，由于物体见灰度差减小，会造成物体与背景灰度差值变小和纹理细节 的模糊不清，一旦灰度差小于差分阈值，会极大地影响动目标的识别和物体特 征的提取。 因此，为了纠正雾天带给视频事件检测系统的这种影响，本系统采用了灰 度直方图均衡化的手段来还原图像的灰度分布，以保护物体与背景的正常灰度 差值和纹理细节。当然，对于连续视频帧进行直方图均衡化的操作，是建立在 下雾的浓淡变化不是突变，而是有一个缓慢变化过程的自然常识基础上。因而， 连续视频帧之间雾的浓度变化非常小，认为几乎不变的情况下，也就是说忽略 了相邻帧之间雾浓度的微小变化，而是将之交给背景适应的功能模块来处理。 简单地说，直方图就是反映一幅图像中的灰度与出现这种灰度的概率之间 的关系的图形。从数学上说，它统计一幅图像中各个灰度出现的次数或概率； 从图形上说，它是一个二维图，横坐标表示图像中各个像素点的灰度，纵坐标 为各个灰度级上图像像素点出现的个数或出现频率。直方图是图像的重要统计 特征，是图像灰度密度函数的近似，它表示图像中具有某种灰度级的像素的个 数，反映了图像中每种灰度出现的频率。 灰度直方图的计算非常简单，用r k 代表灰度，用p r ( r 。) 表示灰度值r 。出现 的相对频数，则： p ，( r k ) = n k n o r k 1 k = o ，1 ，2 ，l 一1 ( 2 6 ) 式中：n 。为图像中出现灰度值r 。的像素数，r l 是图像像素总数，而n 。n 即 1 4 第二章视频图象预处理预环境干扰的排除 为频率，l 是灰度级数。在直角坐标系中作出r 。与p ，( r 。) 的关系图形，即称为该 图像的直方图。 直方图均衡就是这样一种灰度图像变换，把一张已知灰度分布过于集中的 图像通过点运算变成在每一灰度级上都有近似相同的像素点数，即具有均匀灰 度概率分布的新图像，理想情况下的直方图是平的。 设转换前图像的概率密度函数为p ，( r ) ，转换后图像的概率密度函数为p 。 ( s ) ，转换函数为s = f ( r ) 。由概率论知识，可以得到： p 。( s ) = p ，( r ) d r d s ( 2 7 ) 这样，如果想使转换后图像的概率密度函数为1 ( 即直方图为平的) ，则必须 满足： p ，( r ) = d s d r ( 2 8 ) 等式两边对r 积分，可得： 占= ，p ) 2 护( 脚和2 孟l o 日o a ) a # ( 2 9 ) 该转换公式被称为图像的累积分布函数( c d f ) 。 上面的公式是被归一化后推导出的，对于没有归一化的情况，只要乘以最 大灰度值( 即d 对于灰度图就是2 5 5 ) 即可。灰度均衡的转换公式为： d s = ，( 叫= 等f 月舡 ( 2 1 0 ) 对于离散图像，转换公式为： 趾删= 等耋肠 汜 式中h 。为第i 级灰度的像素个数。 本文即使用上式原理，将下雾造成的图像直方图过于集中且偏白色端纠正 为比较理想的均匀分布直方图，保证了足够的景物间灰度差和纹理细节清晰度， 为后续的动目标捕捉和特征提取奠定了良好基础。 第二章视频图象预处理预环境干扰的捧除 浓雾天气下的蓝控视频原图 除雾处理后的视频图像 图2 4 直方图均衡化效果图 2 23 强风造成机体瞬态抖动的电子稳像 本文系统的前端图像采集设备安装在室外的路边，由于强风和重型车辆行 驶等造成的摄像机体瞬态抖动不可避免。这种抖动是全局噪声，对于基于背景 建模的运动目标检测来说是致命的。为了消除这些抖动，需要提取摄像机的真 实全局运动参数，然后采用合适的变换技术补偿摄像机的运动，使视频画面流 畅而稳定，这项技术通常称为视频防抖或视频稳像。 第一章视频图象预处理预环境干扰的排除 由于需要能够兼容使用不具有陀螺仪设备的老式摄像机，本系统的图像稳 像：一 作只能采取软件视频稳像算法，即上述的电子稳像方式。如何在处理能力 的负载范围内快速、准确地检测抖动并且进行相应的电子稳像，同时不影响后 续各个复杂的视频处理算法的运行时间，不造成不可接受的延迟和丢帧，就对 系统所采用的电子稳像算法提出了较高要求。 然而仔细分析，我们发现，对于视频序列图像，发生抖动的相邻帧之间存 在很大的运动相关性，运动相关性是指图像序列中同一帧图像内的不同部分之 间以及相邻帧图像之间运动的关联性，那么视频图像的抖动就可以用视频图像 中背景部分或者其中提取的某些强不变性特征点的一致性运动来描述，从而设 计出基于特征区域匹配的电子稳像算法。从这个意义上说，这一电子稳像技术 与目标跟踪在原理上有着相通之处，本章下面所要介绍的综合c a m s h i f t 算法正 是用于目标跟踪的。因此我们可以把用于跟踪的算法引入到防抖稳像中，只是 算法中的侧重点有所不同。本系统所使用的电子稳像算法正是在提取图像背景 部分特征点的基础上，根据特征点匹配的结果计算摄像机的全局运动参数，然 后用这些参数和建立的仿射变换模型进行估算视频帧的相对运动参数，实现从 抖动帧向基准帧的纠正，从而达到连续拍摄的视频图像的防抖效果。从这个意 义上说，这种电子稳像算法是本章综合c a m s h i f t 算法的延伸和进一步扩展应用 形成的算法。本文系统所采用的这种电子稳像算法也是本文的核心创新点之一， 将在第四章中详细介绍。 第三章基丁背景差的视频动目标智能检测 第三章基于背景差的视频动目标智能检测 第一节视频动目标检测技术概述 道路和路口中行驶的车辆作为交管视频监控系统的有效动目标，是本文算 法的处理对象，因此，把运动着的交通元素同场景背景分割开、从监控视频中 智能、准确地提取出这些有效动目标，是进行目标跟踪匹配和后续系统应用的 关键性前提。由于运动检测处于视频运动分析的最底层，广泛的应用场合使运 动检测算法应该可以处理各种复杂的情况，但很难有一种算法能够适合所有的 应用场合，所以对运动检测方法的研究一直是国内外研究的重点。就国内外发 表的文献来看，现在普遍采用的运动检测方法有： 3 1 1 基于帧间差的动目标检测 基于帧间差的动目标检测是一种比较简单直观的运动检测方法，它利用视 频序列中连续两帧图像取差得到差分图像，差分图像的区域仅仅是目标在前后 帧可能存在的区域。然后对差分图像二值化，像素值大于事先确定的阂值时， 认为该象素为前景象素，否则为背景象素。这样就确定出目标的所在区域。 从理论上看，相邻两帧或者相邻三帧的差分运算实际上是一种动态的边缘 提取运算，从实际效果上看，帧间差分法能够检测出运动对象的部分轮廓信息。 帧间差分法对动态环境有很强的自适应能力，但是在检测结果中，却不能完全 提取出所有的属于运动对象的特征象素点，在运动物体内部容易产生空洞，这 样的检测结果对随后的操作很不利。另外，阀值的选择相当关键，选择过低不 足以抑制图像中的噪声，