（信号与信息处理专业论文）智能监控中的行人检测与运动分析研究.pdf

大连理工大学硕士学位论文 摘要 从视频图像信息中获取并分析人体运动的各项参数指标是一个多学科融合的重点 研究方向，其研究核心是从单个或多个视频序列中检测、跟踪人体，获取人体运动数据， 重建人体的三维运动或描述和理解人体运动。视频人体运动分析的研究在人体动厕、游 戏、虚拟现实和增强现实、人机交互、视频监控、体育运动分析、辅助临床医疗诊断等 领域均有着广阔的应用前景。 本文主要针对固定镜头下视频序列中的运动人体的检测、分割及运动分析等问题进 行了研究。本文的内容大致可分为两个部分。第一部分是行人的检测与分割环节，第二 部分是行人的运动分析环节。在第一部分，在背景减除的基础上，本文提出了一种新的 前景连通区域探测方法连通像素片拼接方法。该方法可以有效地去除干扰，并检测 出运动区域团块的边缘信息。为了解决背景环境混乱等干扰因素造成的行人目标“破碎 问题，本文使用m e a ns h i f t 算法来搜索完整的行人人体，以实现行人人体分割。在第二 部份，本文使用归一化的r a d o n 交换来描述行人的外形特征，并将已标记好的正负样 本的归一化r a d o n 矩阵输入到o n 1 i n ea d a b o o s t 学习器中训练分类器。按照上述思路， 本文设计实现了一套实时的行人攻击行为检测识别系统。实验证明，该系统可以取得比 较理想的效果。 关键词：连通像素片拼接；m e a ns h i f t ；r a d o n 变换；运动分析；攻击行为检测 智能监控中的行人检测和运动分析 r e s e a r c ho nr e a l t i m eh u m a nd e t e c t i o na n dm o t i o na n a l y s i so f i n t e l l i g e n ts u r v e i l l a n c e a b s t r a c t v i d e oh u m a nm o t i o na n a l y s i si sa ni m p o r t a n tr e s e a r c ha r e aw h i c hc o m b i n e sv a r i o u s t e c h n i q u e s ，n l ef o c u so ft h er e s e a r c hi si nd e t e c t i n ga n dt r a c k i n gf i g u r e si nm o n o c u l a ro r m u l t i - o c u l a rv i d e o s ，c a p t u r i n ga n dr e c o n s t r u c t i n gt h eh u m a nm o t i o n , a n dt h e nd e s c r i b i n ga n d i n t e r p r e t i n gt h eh a m a nb e h a v i o r t h i sr e s e a r c hh a sv a r i o u sa p p l i c a t i o n si nh u m a na n i m a t i o n , c o m p u t e rg a m e ，v i r t u a lr e a l i t ya n da u g m e n t e dr e a l i t y ，h u m a n - c o m p u t e ri n t e r a c t i o nv i d e o s u r v e i l l a n c e , s p o r t sv i d e oa n a l y s i s ，c o m p u t e r - a i d e dc l i n i c a ld i a g n o s i s ，a n ds o0 1 1 t h er e s e a r c ho ft h i sp a p e rf o c u s e so nt h ed e t e c t i o n ，s e g m e n t a t i o na n dm o t i o na n a l y s i so f t h em o v i n gh u m a ni nt h ei m a g es e q u e n c ec a p t u r e df r o maf i x e dc a m e r a t h e r ea r cm a i n l yt w o s t e p si no u rr e s e a m h i nt h ef i r s ts t e p ，a ne f f e c t i v ec o n n e c t e dc o m p o n e n t sl a b e l i n gm e t h o d c a l l e dc o n n e c t e dc h i p sl i n k i n g ( c c p l ) i sp r o p o s e di nt h i sp a p e r , w h i c hi sv e r ye f f e c t i v ei n b l o be x t r a c t i n g ，i n t e r f e r e n c ee l i m i n a t i n ga n dc o n t o u rd e t e c t i n g a f t e rb l o be x t r a c t i o n ，w e i m p l e m e mam e a n - s h i f ts e a r e ht os e g m e n tt h eh u m a nb o d y ，w h i c hc o u l ds o l v et h e “f r a g m e n t p r o b l e mc a u s e db yt h ei n t e r f e r e n c eo ft h eb a c k g r o u n d i nt h es e c o n ds t e p ， n o r m a l i z e dr a d o nt r a n s f o r mi sp r o p o s e dt oe x t r a c ta n do r g a n i z et h es h a p ef e a t u r eo ft h e m o v i n gh u m a nb o d y w 硒t h el a b e l e d ( p o s i t i v eo rn e g a t i v e ) r a d o nm a t r i x e sa sf e a t u r ep o o l s , a no n - l i n ea d a b o o s tf e a t u r es e l e c t i o ni si m p l e m e n t e dt oo b t a i nt h es t r o n gc l a s s i f i e rc o m b i n e d b yt h es e l e c t e dw e a kc l a s s i f i e r s f i n a l l yw i t i lt h em e t h o d sd e s c r i b e da b o v e ，w ed e s i g na r e a l - t i m ea g g r e s s i v em o t i o nd e t e c t i n gs y s t e m e x p e r i m e n t a lr e s u l t ss h o wt h a to u rs y s t e m p e r f o r m sw e l l k e yw o r d s ：c o n n e c t e dc h i p sl i n k i n g ；m e a ns h i f t ；r a d o nt r a n s f o r m ；m o t i o na n a l y s i s ； a g g r e s s i v em o t i o nd e t e c t i o n i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 作者签名： 日期：兰孚年正月日 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题 作者签名： 导师签名： 大连理工大学硕士学位论文 1绪论 1 1 课题研究背景和意义 在人类感官接受的各种信息中约有8 0 来自视觉。视频、图像是对客观事物形象、 生动的描述，是直观而具体的信息表达形式，是人类最重要的信息载体，特别是在今天 的信息社会，随着电子技术、计算机技术、网络和通信技术的发展，视频技术在国民经 济的各个领域获得了广泛的应用。近年来，人们越来越关注生存环境，重视突发灾害的 预防与紧急应对措施的建立，迫切希望提高生产和生活管理的智能化水平，视频监控系 统也作为人类视觉的延伸越来越受到重视，得到了长足的发展。 计算机视觉作为一门多学科的交叉领域，涉及图像处理、计算机图形学、模式识别、 人工智能、人工神经网络、计算机、心理学、生理学、物理学和数学等。虽然这方面的 研究已经很多，但直到最近十几年才在智能视频监控系统、机器人视觉导航、医学辅导 诊断、工业机器人视觉系统、地图绘制，物理的三维重建与识别、智能人机接口等领域 得到广泛的发展。本文的研究内容为智能视频监控技术，属于计算机视觉范畴。智能视 频监控是计算机视觉的一个重要应用领域，有着广阔的应用前景，尤其是那些对安全要 求比较敏感的场合【1 捌，如飞机场、地铁站、银行、商店、停车场等；另外，还有工业生 产现场的监控以及交通系统的监控等等。目前监控摄像机的应用已经比较普遍，但大多 没有充分发挥实时主动监督作用，没有智能化，摄像机只是一个电子眼而已，其具体监 视过程，仍由人来完成。显然依靠人来执行这种长期的枯燥无味的例行监视工作其效果 是不理想的，不但费用高，而且易受人为因素的影响，例如责任心，情感因素等等。因 此在这些场合引入智能监控是非常合适的。要求监控系统每天2 4 小时连续监控，能自 动分析摄像机捕捉到的图像信息，当监视区内有违法活动或有异常状况出现时，能采取 必要的安全措施，同时向保安人员及时准确地发出报警信号，从而防治犯罪的发生，避 免不必要的损失。 智能化是视频监控的必然趋势，因而国际上有关各界对其技术研发、商业操作和应 用部署已有许多年。特别是自从2 0 0 1 年9 l l 事件以后，出于反恐、国家公共安全、社 会安定等多方面的需要，智能化的视频监控与预警技术成为了国际上最被关注前沿研究 领域。世界各国政府已经将智能化视频监控技术的研究上升到了战略高度，从政策、法 律、经济、应用等多方面进行了巨大的投入来推动该技术的发展。 对于智能视频监控系统来说，显然，场景中出现的人或车等运动目标应该是重点关 注的对象，系统对这些运动目标进行实时检测、跟踪与识别，进而分析它们的运动或行 智能监控中的行人检测和运动分析 为。对视频序列图像的处理过程可分为低层处理和高层处理两个阶段，低层处理过程包 括场景建模，运动区域分割，目标分类，目标跟踪等，高层处理过程包括人体运动分析， 行为识别和行为理解。先经过场景建模分割出运动区域，然后在目标分类环节确定目标 类别( 人、车或其他目标) ，下一步的工作就是对运动目标进行持续的跟踪，以确定目 标运动轨迹，并分析其行为特征和可能目的，以便采取相应措施。在一些安全敏感区域， 例如军事基地，限制访问权限是非常重要的，通过轨迹分析，就可以判断该运动目标是 否会进入禁区，从而采取必要措施并发出报警信号。也就是说，智能视频监控系统可通 过对目标的持续跟踪，轨迹分析，行为识别与理解，做出是否发生异常事件的判断，进 而采取必要措施并及时发出报警信号，同时记录有关原始资料及证据。 1 2 国内外研究及应用现状 近年来，智能视觉监控受到国内外很多学者的高度关注，在理论和实践两方面都取 得了长足的进展。 在理论研究方面，计算机视觉领域中的著名期刊如i j c v ( i n t e r n a t i o n a lj o u r n a lo f c o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ) 、p a m i ( i e e et r a n s o np a t t e ma n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i v c ( i m a g ea n dv i s i o nc o m p u t i n g ) 和重 要的学术会议如i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r n r e c o g n i t i o n ) 、e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ) 、c v p r ( i e e e i n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o na n dp a a e mr e c o g n i t i o n ) 、i c i p ( i e e e i n t e r n a t i o n a lc o n f e r e n c eo ni m a g ep r o c e s s i n g ) 、i c p r ( i n t e r n a t i o n a lc o n f e r e n c eo np a t t e r n r e c o g n i t i o n ) 等相继刊登了大量有关智能视觉监控领域内的最新研究成果。 在实践研究方面，国外的著名的研究活动主要有：美国国防高级研究项目署( d e f e n s e a d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 设立了以卡内基梅隆大学( c a r n e g i em e l l o n u n i v e r s i t y ) 为首、麻省理工学院( m a s s a c h u s e t t si n s t i t u t eo f t e c h n o l o g y ) 等高校参与的 视觉监控重大项nv s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) 【3 】主要研究用于战场及 普通民用场景进行监控的自动视频理解技术；马里兰大学的实时视觉监控系统w 4 4 不仅 能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟踪，并可以 检测人是否携带物体等简单行为；英国的雷丁大学【5 】已开展了对车辆和行人的跟踪及其 交互作用识别的相关研究；i b m 与三菱等公司也正逐步尝试将智能监控和行文理解等应 用于商业领域中【4 6 】。 在国内的研究机构中，由谭铁牛领导的中国科学院北京自动化研究所下属的模式识 别国家重点实验室在视觉监控研究处于领先地位。他们对交通场景的视觉监控( 基于三 大连理工大学硕士学位论文 维线性模型定位、基于扩展卡尔曼滤波器的车辆跟踪算法) 、人的运动视觉监控( 基于 步态的远距离身份识别) 和行为模式识别( 提出了对目标运动轨迹和行为特征的学习的 模糊自组织神经学习算法) 进行了深入研究，取得了一定的成果 7 - 9 ，而且他们总结了 英国雷丁大学v i e w s 的车辆交通监控原型系统的研究经验，在以往的理论研究的基础 上，自行设计并初步实现了一个拥有完全自主知识产权的交通监控原型系统v s t a r ( v i s u a ls u r v e i l l a n c es t a r ) 。 此外，国内在机器视觉和智能监控相关领域取得较好成果的还有中科院自动化所李 子青【2 引，中科院计算所山世光溯，北京大学高文 6 4 1 ，山东大学常发亮【6 5 1 等。 而在应用方面，近些年国外已有很多高科技企业涌现出来，拿出了性能稳定的产品。 在产业界，具有代表性的国外公司及其智能监控产品主要有： v i d i e n t ：美国，前身为n e c 公司的一个实验室，产品s m a r t c a t c h ，能检测十种异 常行为，包括移动物体检测、遗留物体检测、周边入侵检测等，主要用户为机场。 o b j e c t v i d e o ：美国，产品的行为分类包括：边界保安和入侵探测，可疑人员逗留， 物品遗留异样物体探测，财产保护防盗探测，人流物流监控，图像变化摄像机检测， 交通工具监控和测速。 一 m a t e ：以色列，主要产品为b e h a v e w a t c h ，可检测六种异常行为，包括路径检测、 突然出现报警、定向运动检测等，提出三层防护概念。 n i c e v i s i o n ：以色列，n i e e v i s i o n 视频分析仪对不同的威胁提供实时侦测功能，。包 括闯入者，车辆，被遗弃的行李和包裹，周边及设施保护，阻塞安全出入口及消防路线， 盗窃侦测防止安全设备被移动，计算人数，车辆和其它其物件，显示人群聚集，监控安 全率水平，量度人流，显示企图尾随进入入口处控制点。 i o l m a g e ：以色列，能实现五种行为的检测，包括入侵探测，p t z 自动跟踪，遗留 物体探测，非法滞留探测，移动物体探测等。 c i t i l o g ：法国，其核心技术是自主研发的动态图像背景自适应技术和车辆图像跟踪 技术，彻底消除了光线，雨雪，灰尘对系统的影响，可以及时检测监控区域内发生的交 通事件，采集交通数据，辅助进行交通控制等。交通事件检测中事件行为有六种，包括： 交通拥堵，停驶车辆，逆行车辆，慢行车辆，行人出现，丢弃物品等。 在国内，应用方面也有比较成功的案例，比如2 0 0 8 北京奥运会期间，由中科院自 动化所生物识别与安全技术研究中心李子青团队研制出的人脸信息识别比对系统为奥 运安检提供了强有力的支持。 总体来说，在机器视觉和智能监控领域，我国的研究和应用仍然相对落后。目前中 国市场上见到的智能视频监控产品，基本上来源于美国、欧洲和以色列。绝大部分产品 智能监控中的行人检测和运动分析 售价高、性能可靠性也不够。国外厂商控制了核心技术，维护、安装都需要外方全方位 参加，这给我们的国家安全带来了巨大的隐患，也就造成在“金盾工程 等大型的社会 公共安全项目中无法安全使用。 随着社会对新型视频监控的认识和兴趣的提高，国内市场上开始出现了对智能视频 应用的需求，已经有国内厂商开始有意进入下一代技术领域。在每年的安防产品展示会 上，来自国内外的上百家厂商都会展出各种产品和系统。据权威部门统计，1 9 8 8 年全国 监控系统的市场总额为6 5 0 亿，随后几年来一直以每年1 5 0 o - , 3 0 分速度快速增长，我 国监控行业面i 临着良好的发展机遇，可以预见，智能监控技术的研究与应用，在未来的 几年中必将得到长足发展。 1 3 论文相关技术综述 人体运动视觉分析的主要目的是从一组包含人的图像序列中检测、分割、跟踪人体， 并对其行为进行理解和描述。大体上这个过程可分为低层视觉模块( 1 0 w - l e v e lv i s i o n ) 和高层视觉模块( h i g h 1 e v e lv i s i o n ) 。其中，底层视觉模块主要包括运动目标的检测、 分割及跟踪等运动分析方法。高层视觉模块主要包括目标的识别和有关于运动目标信息 的语义理解与描述等。本文研究内容的第一部分属于人体运动的视觉分析中的低层部分 ( 主要包括目标的检测、分割以及信息的组织和提取等) ，第二部分则属于视觉分析中 的高层部分( 对运动目标的理解、分类、判断等) 。 1 3 1 运动检测 运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有 效分割对于目标分类、跟踪和行为理解等后期处理是非常重要的，因为以后的处理过程 仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光 照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。常用的运动检 测方法有光流法，帧间差分法和背景减除方法等。 ( 1 ) 光流( o p t i c a l f l o w ) 基于光流方法 1 6 - 1 8 1 的运动检测采用了运动e t 标随时间变化的光流特性，如m e y e r 1 6 1 等人通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运 动目标。光流的计算方法大致可分为三类：基于匹配的、频域的或是梯度的方法。 总的说来，光流法的优点是能够检测独立运动的对象，不需要预先知道场景的任何 信息，并且可用于摄像机运动的情况，但是由于噪声、多光源、阴影、透明性和遮挡性 等原因，使得计算出的光流场分布不是十分可靠和精确；而且多数光流法计算复杂、耗 时多，除非有特殊的硬件支持，否则很难实现实时检测1 4 7 。日本大阪大学的r y u z oo k a d a ， 大连理工大学硕士学位论文 s h i n y ay a m a m o t o 4 3 】等人对此方法作了深入的研究，并已研制出比较成熟的系统。借助 于多个数字信号处理器，这些系统都实现了实时目标检测和跟踪，处理速度可以达到每 秒1 5 帧。 ( 2 ) 时间差分帧间差分( t e m p o r a ld i f f e r e n c e ) 时间差分帧间差分【悼1 5 】方法是在连续的图像序列中两个或三个相邻帧问采用基于 像素的时间差分并且阈值化来提取出图像中的运动区域。例如l i p t o n 等【1 4 】利用两帧差分 方法从实际视频图像中检测出运动目标，进而用于目标的分类与跟踪；一个改进的方法 是利用三帧差分代替两帧差分，如v s a m 3 】开发了一种自适应背景减除与三帧差分相结 合的混合算法，它能够快速有效地从背景中检测出运动目标。时间差分运动检测方法对 于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运 动实体内部容易产生空洞现象。 ( 3 ) 背景减除( b a c k g r o u n ds u b t r a c t i o n ) 背景方法是常用的运动目标检测方法之一，它的基本思想是输入图像与背景图像进 行比较，通过判定灰度等特征的变化，或用直方图等统计信息的变化来判断异常情况的 发生和分割运动目标。背景差法最简单的实现方法是预先选取不含前景运动目标的背景 图像，然后将当前帧与该背景图像相减。但背景往往会发生变化，如室内环境中的光照 变化；在室外环境中，一天不同时刻光线和阴影的变化、不同季节的变化、背景中景物 的改变和摄像机位置的偏移等，此时，背景图像必须能够自适应地更新。针对这一问题， 种经典的方法是时间平均法( t i m e - a v e r a g e db a c k g r o u n di m a g e ，简称t a b i ) ，即对一 段时间中的图像序列求和再平均，获得一帧近似的背景图像，但这种方法容易将前景运 动目标混入到背景图像当中，产生混合现象( b l e n d i n g ) 。近年来，人们对如何实现背 景图像的自适应更新进行了大量研究，这些方法可以分为两类：第一类是建立背景模型并 采用自适应方法对模型参数进行调整，从而获得新的背景图像；第二类是从过去的一组 观测图像中按照一定的假设选择像素灰度构成当前的背景图像。 在第一类方法中，r i d d e r 等人【l o 】对背景图像中的每个像素进行k a l m a n 滤波，使系统 在光线发生变化时也能够工作。由于背景往往比较复杂，对背景像素仅用一个高斯分布 表示是不够的，s t a u f f e r 和g r i m s o n 1 3 】对此进行了改进，采用k 个高斯分布( k 取3 5 ) 的混合模型表示背景像素的分布规律。k a e w t r a k u l p o n g 和b o w d e n 3 0 】详细分析了文献【l 副 中方法的缺点，即需要大量的运算时间和不能检测运动阴影，提出一种改进的自适应混 合模型以降低运算量，实现运动阴影检测。e l g a m m a l 等人 1l , 1 2 认为，文献【l3 】中的方法 只采用很少几种高斯分布的混合模型表示背景像素的分布规律很不准确，但增加高斯分 布的个数又会降低运动检测的灵敏性，同时增加运算量，因此提出一种无参数的核密度 智能监控中的行人检测和运动分析 估计算法，提高了运动检测的灵敏性，但运算量仍很大。m a g e e 【4 9 】注意到文献【1 3 】中只对 背景建立了多个高斯分布的混合模型，并未对前景建立，因此建立了多个前景模型与文 献【1 3 1 中方法相结合，实现了更为有效的运动检测。p f i n d e r t s o l 采用的背景模型是对每个像 素建立一个高斯分布，在不含前景的室内环境中进行初始化之后，实现了室内环境中对 一个人的运动检测和跟踪。w a l l f l o w e r 5 1 】从图像的像素级、区域级和帧级特征对背景图 像进行重构，并采用维纳( w i e n e r ) 滤波实现背景的自适应更新。上述方法都需要进行 模型初始化( 在文献【5 l 】中称为b o o t s t r a p p i n g ) ，通常假定在初始化阶段，背景图像中不 含有运动前景，这种假设在实际的公共场合很难满足；其次，所建立的模型很难充分表 示实际的背景图像，使运动前景很容易混入背景图像当中，产生混合现象。 在第二类方法中，最早的工作是由l o n g 和y 锄窖5 2 】进行的。他们提出了一种自适应 平滑算法，认为在一段图像序列中，像素点处于稳定状态最长的灰度值是背景像素灰度 值，但如果前景运动目标运动较慢或者在一段时间内暂时处于静止状态时，稳定状态最 长的灰度值往往是前景目标，此时就会产生错误结果。g u t c h e s s 等人【5 3 】对此进行了改进， 在算法中引入了光流场计算，把由运动目标产生的稳定状态最长的灰度值去掉，从而得 到了正确的结果，但光流场的计算增加了算法的复杂性和运算量；g l o y e r 等) k t 矧假设在 训练阶段背景至少在5 0 的时间内可以被观测到，由此提出了中值法( m e d i a n ) ，即将 图像序列中处于某个像素点中间的灰度值认为是该点的背景像素灰度值。w 4 系统【4 j 在 背景图像训练阶段使用了该方法。但是，如果背景像素在少于5 0 的时间内被观测到， 中值法就会得到错误结果。k o m p r o b s t 等j k 5 5 】假设背景在图像序列中总是最经常被观测 到，从而提出了一种基于偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n s ，简称p d e ) 的背景重 构和运动分割算法，效果不错，但该算法比较复杂，所涉及的参数不容易设置。上述方 法的优点是，背景的初始化与场景中是否存在运动的前景无关，可有效地避免混合现象。 但是，由于这类方法是从过去一段图像序列中重构背景图像，因此不如第一类方法能够 适应迅速的场景变化，而是产生一定的时间延迟，但这个问题对于长时间图像监视和跟 踪系统的影响并不大。国内近几年也在背景重构与自适应更新方面做了一些研究工作。 如张文涛等人【5 6 】利用图像能量、高阶统计量理论和块处理技术进行背景重构。余胜生等 人【5 7 1 提出了一种自适应背景重构算法，该方法与p f i n d e 一5 0 】牛- 的方法比较近似。岑峰等人 例提出了一种与s t a u f f e r 和g r i m s o n 1 3 】方法相似的背景自适应算法。侯志强等人p l 】在文献 5 5 1 中的假设的前提下，提出了一种基于像素灰度归类的背景重构方法。 此外，在运动变化检测中还有一些其他的方法，如f r i e d m a n 与r u s s e l l 1 9 j 利用扩展的 e m 2 0 1 ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法，为每个像素建立了混合高斯分类模型，该模型 可以自动更新，并能自适应地将每个像素分类为背景、影子或者运动前景，在目标运动 大连理工大学硕士学位论文 速度缓慢的情况下亦能较好地完成运动区域的分割，并可以有效地消除影子的影响；另 外，s t r i n g a l 2 l 】也提出了一种新颖的基于数学形态学的场景变化检测算法，在变化的环境 条件下获得了相对稳定的检测效果。 1 3 2目标分割 通常情况下，目标检测与目标分割是联系比较紧密的两个环节。在有的方法中，两 者本身就是一个环节，比如渊；在有的方法中，目标分割的执行是完全建立在目标检测 的结果之上的，两者密切联系，例如本文所设计的方法；在有的方法中，两者并无必然 的联系，检测到了目标并不代表可以将目标分割出来，例如v i o l a f a l j o n e s 【5 9 的目标检测 方法，只能将包含目标的矩形框检测出来，但并不能将矩形框中的目标和背景分离。 一般说来，图像中的目标分割大致分为两种方法：基于形状信息( s h a p e b a s e d ) 的 分割方法和基于团块( b l o b - b a s e d ) 的分割方法。一般来说，基于前面提到的帧间差分 和背景减除等检测方法的目标分割，都属于基于团块的方法，该类方法特点是运算简单， 实时性好。而基于形状信息的目标分割方法对场景状况的依赖性较弱，鲁棒性较好，但 是运算比较复杂。 。 基于形状信息的分割方法主要用于单幅的静态图像，或者是场景不断移动变化的视 频图像序列。基于形状信息的分割也有很多不同的实现方法，有的将形状信息的分割建 模为局部曲线的分割1 6 6 6 7 j ，有的则是建立分层次的全局形状模型【6 8 , 6 9 1 ，或者是使用全局 的或局部的描述算子来表征形状信息【3 9 , 4 0 1 。由于人体包含很多关节，所以基于局部关节 信息分割方法表现地较为有效。例如，m i k o l a j c z y k t 7 2 】等人使用局部特征来检测局部人体， 然后通过基于概率的方法将局部检测的结果加以整理，以此来分割人体。又如，w u 嘲】等 人使用局部边缘特征来检测和分割人体，并将该方法推广到物体检测与分割上【6 7 1 。此类 基于局部信息的分割方法遇到的问题是，如果背景环境过于混乱，局部检测可能会得到 比较多的假设( h y p o t h e s i s ) ，那就必须得有一种鲁棒性较高的分析方法，将所有的假设 进行分析和整理，才能得出最终的分割结果。s h e f o 】等人提出了一种基于逻辑推理的局 部假设分析处理方法，而g r a v r i l a l 6 9 等人则提出了更直接的分层次的模板匹配方法来处 理局部假设，分割整体目标。 对于基于团块的目标分割，虽然目标检测环节简单快速，但是在分割的过程中往往 会遇到很多问题，比如噪声干扰，目标与背景颜色相近，背景物体对目标的部分遮挡等 情况，很可能造成前景目标区域“破碎 ( f r a g m e n t a t i o n ) 的情况，这就给目标分割造 成了极大的困难。对于此类问题的最常用的解决方法是形态学滤波( m o r p h o l o g y f i l t e r i n g ) ，例如李子割3 3 】等。但形态学滤波效果似乎并不理想。麻省理工学院人工智 智能监控中的行人检测和运动分析 能实验室的b o s e 和王晓l q u t 2 5 1 等人提出了一种较有新意的解决方法，但并没有引起人们的 重视，该方法对本文分割方法的设计有较大启发。 1 3 3 目标特征提取与分析 行人检测与跟踪，人体运动分析，行为理解与描述等研究属于模式识别领域，需要 对感兴趣的对象提取合适的能反映对象当前状态的特征数据以供分析识别。对于不同的 目的需要，选择使用的特征也不同。在机器视觉领域，对于待研究的目标，可以我们使 用的信息一般有：颜色与灰度信息，形状信息，纹理信息，空间位置信息，运动信息等 等。对于不同的应用，使用的信息不同，也就有很多不同的特征数据提取方法。例如， v i o l a h 和i j o n e s 5 9 1 使用非常简单的类哈尔特征( h a r r - l i k ef e a t u r e ) 来检测人脸，取得了非常 好的效果。d a l a l 恭l t r i g g s 唧1 提出了方向梯度直方图( h o g ) 用以检测行人。另外，即使 对于同一种信息，也可以采用不同的特征数据组织方法，比如纹理信息，a h o n e n 和h a d i d 6 h 等人将反映纹理信息的局部二进制模板特征( l o c a lb i l l a 可p a t t e r n ) 用于人脸识别， 而c h e ny w 【6 2 】等人提出的同样用于人脸识别的基于像素模式的纹理特征( p p b t f ) ，反 映的也是纹理信息。 目前在运动分析方面，使用最多的就是形状信息。形状信息的使用一般有两种形式： 轮廓信息( s i l h o u e t t ef e a t u r e ) 和边缘信息( c o n t o u rf e a t u r e ) 。这两种信息其实并无本质 区别，轮廓信息在后继的处理过程中可能运算量会略大，而边缘信息则在提取过程中比 前者复杂一些。文献 2 2 , 2 3 中选择使用轮廓信息，理由是使用边缘信息会遗漏目标轮廓内 的形状信息。s i n g h ，m a n d a l 和b a s u 2 6 ，2 7 】于2 0 0 5 年将r a d o n 变换用于双臂或者双腿的姿 态识别。在文献【2 6 】中，s i n g h 等人首先将双腿的轮廓图进行细化处理，然后计算r a d o n 变换图，通过与计算得出的阈值进行比较，将r a d o n 变换图转换为二值图，在二值图的 基础上找出整个r a d o n 变换图的峰值区域，以此来评估双腿的姿态。而在文献【2 7 】中，s i n 曲 等人把r a d o n 变换图使用阈值法二值化之后，逐列累加为直方图，以得到特征向量，使 用该特征向量来评估人体双臂的姿态。同样在2 0 0 5 年，t a b b o n e 和w e n d l i n g 等人在文献 6 3 1 中提出了定义在r a d o n 变换之上的吸变换，并将其用于目标二值轮廓图上以实现目标 的分类识别。孵变换本质上就是将r a d o n 变换矩阵的元素计算平方值并逐列累加，转换 为直方图作为特征向量。谭铁牛等人 2 2 , 2 3 1 将t a b b o n e 等人的贸变换应用于行人的行为识 别分类，并与其他方法做了比较。 1 4 技术难点 尽管视觉监控已经取得了一定的成果，但下面几个方面仍是技术上的难点，快速准 确的运动分割是个相当重要但又是比较困难的问题。这是由于动态环境中捕捉的图像受 大连理工大学硕士学位论文 到多方面的影响，比如天气的变化、光照条件的变化、背景的混乱干扰、运动目标的影 子、物体与环境之间或者物体与物体之间的遮挡、甚至摄像机的运动等，由于此类干扰 因素的存在，造成了一个单一的运动人体并不是对应一个完整的团块，而是对应若干个 团块的“破碎”问题，这就给目标的分割和外形特征的提取带来了很大的困难。另外， 尽管目前图像运动分割主要利用背景减除方法，但如何建立对于任何复杂环境的动态变 化均具有自适应性的背景模型仍是相当困难的挑战。目前，大部分人的运动分析系统都 不能很好地解决目标之间互遮挡和人体自遮挡问题，尤其是在拥挤状态下，多人的检测 和跟踪问题更是难于处理。遮挡时，人体只有部分是可见的，而且这个过程一般是不可 训练的，简单依赖于背景减除进行运动分割的技术此时将不再可靠，为了减少遮挡或深 度所带来的歧义性问题，必须开发更好的模型来处理遮挡时特征与身体各部分之间的准 确对应问题。另外，一般系统也不能完成何时停止和重新开始身体部分的跟踪，即遮挡 前后的跟踪初始化缺少自举方法。当然，可喜的进步是利用统计方法从可获得的图像信 息中进行人体姿势、位置等的预测；不过，对于解决遮挡问题最有实际意义的潜在方法 应该是基于多摄像机的跟踪系统。 1 5 本文研究内容及创新点 本课题的研究过程中，查阅了国内外大量参考文献，并对有关运动目标检测、分类 及运动分析、行为理解与描述等问题的理论及方法进行了研究和实验。本文的主要工作 及创新点总结如下： ( 1 ) 使用像素灰度值统计归类的方法建立背景模型，加入卡尔曼滤波来更新背景 模型，在检测速度和效果上都得到了较好的结果。 ( 2 ) 提出了连通像素片拼接方法，划分出运动区域团块，去除部分干扰并提取运 动区域边缘信息。 ( 3 ) 设计了使用m e a ns h i f t 搜索完整人体目标的方法，可以有效地克服现实应用 中各种干扰造成的人体“破碎”现象。 ( 4 ) 使用归一化的r a d o n 变换来描述形状特征。与已有的研究相比，在r a d o n 变 换的使用方法上有所改进和提高。使用o n 1 i n ea d a b o o s t 在线机器学习算法对样本数据 进行分析，训练分类器。 ( 5 ) 设计并实现了一套行人攻击行为监测识别系统。在相对理想的场景下，本系 统可以以每秒2 5 帧的速率实时运行。 一9 一 智能监控中的行人检测和运动分析 2 运动目标检测技术研究 2 1引言 从实时性的角度考虑，本文选择了简单快速的背景减除方法和帧间差分方法进行了 对比研究，编写实验程序予以实现，并通过相关的视频图像进行了性能的比较。最终的 实验结果表明，背景减除方法更适合本文研究的需要。 2 2 背景减除与帧间差分在本文中的比较分析 2 2 1基于像素灰度归类重构背景的背景减除算法 基于像素灰度归类的背景重构方法是在文献d 1 1 中介绍的，本文只参考了其前半部分 重构背景的内容。其算法过程大致为： 步骤1 划分像素点的灰度平稳区间。 已知图像序列( 五，厶，) ，从中等间隔抽取n + i 帧图像，记为，五，厶) 。 z ( 五y ) 表示在这+ l 帧图像中的第f 帧( ，= o ，1 ，2 ，) 像素点b y ) 处的灰度值， 则存在下式： q c 五y ，2 l ：甏苌：二乞譬品三喜= - 幺 c 2 式2 1 中，孝为判断像素点b y ) 处的灰度值是否发生变化的阈值，如果图像为2 5 6 级灰度则毒取1 旧5 级灰度差时，都可以正确重构背景。对于式2 1 ，如果口，( x , y ) - - 1 ， 则乃( x , y ) 与山( x , y ) 的灰度值不一致，不属于同灰度平稳区间；如果吩( 五y ) = o ， 则乃b y ) 与乃qg y ) 的灰度值一致，属于同一灰度平稳区间。 步骤2 分别计算各灰度平稳区间的平均灰度值。 假设一共得到p 个灰度平稳区间，各灰度平稳区间所含像素数记为( ，m 2 ，m p ) ， 有 豫= + l ( 2 2 ) 第j 个灰度平稳区间的平均灰度值为： 大连理工大学硕士学位论文 乃( 础) 己( 训) 2 气( 6 = o ，i f s = l ；b 2 + + + ，i f s = 2 ，3 ，p ) ( 2 3 ) 由式2 3 得到这p 个灰度平稳区间的平均灰度值。 步骤3 将平均灰度值相近的灰度平稳区间归为一类，称为灰度值一致区间，统计 该区间像素点出现的频率。 比较所得的p 个灰度平稳区间的平均灰度值，选出灰度值一致的全部区间并合并， 若 i 乙( 而y ) 一己( 五y ) l 孝( f = l ，2 ，妒；j = 1 ，2 ，携f _ ，) ( 2 4 ) 则第f 个区间和第j 个区间为灰度值一致区间。式2 4 中孝取值与式2 1 相同。 假设一共合并了g 个灰度值一致区间，各区间所含像素数记为( i = l ，2 ，n ) ，有 啊= n + i ( 2 5 ) 如果第f 个灰度平稳区间与第_ ，个灰度平稳区间合并后组成第k 个灰度值一致区间， 则有 体= 强+ m j ( 2 6 ) 第k 个灰度值一致区间的平均灰度值为 瓦(x，j，)：l,(x,y)xmi+lj(x,y)xmj ( 2 7 ) m j + m 。 这里，灰度值一致区间可以由两个以上的灰度平稳区间组成。 步骤4 选择频率最大的灰度值作为该像素点的背景灰度值。 将灰度值一致区间中最大像素数与所对应的平均灰度值分别记为i m d 和 w l m e k g n a 脚，有下式 仇删= m a x ( n l ，h 2 ，) ( 2 8 ) 岷姆o l m d 似y ) = w 酬( x ，j ，) ( 2 9 ) 即像素点( 蕾y ) 所对